Google a confirmat că o versiune anterioară a modelului său de inteligență artificială Gemini a accesat fără autorizație sistemele informatice a trei companii reale în luna mai, în timpul unui test de securitate cibernetică realizat de firma independentă Irregular. Exercițiul de tip „capture the flag” trebuia să se desfășoare într-un mediu izolat și viza o companie fictivă, dar o eroare de configurare a permis neintenționat accesul la internet. Compania fictivă avea același nume ca una reală, iar Gemini a considerat că sistemele accesate făceau parte din test. Într-un caz, modelul a încercat combinații succesive de parole până a accesat un sistem protejat, iar în celelalte două a găsit date de autentificare în depozite publice, pe care le-a folosit pentru a pătrunde în alte sisteme. Google nu a precizat versiunea exactă a Gemini implicată. Modelul și-a oprit acțiunile în toate cele trei cazuri după ce a identificat că țintele erau companii reale. Google a declarat că nu există dovezi că incidentele ar fi produs pagube și că nu consideră cazul un exemplu de aliniere incorectă a modelului, deoarece acesta și-a întrerupt acțiunile. Organizațiile afectate au fost informate, Google a notificat și autoritățile federale, iar procedurile de testare au fost modificate ulterior. Numele companiilor nu au fost precizate, iar Google nu a explicat ce informații ar fi putut fi accesate. Irregular a notificat Google despre incidente la sfârșitul lunii iulie, după ce a identificat probleme similare asociate unor modele OpenAI, Anthropic și Meta. Compania a spus că incidentele au avut aceeași cauză ca acele cazuri, că toate laboratoarele relevante au fost informate și că problemele cunoscute din propriile sisteme au fost remediate cu câteva săptămâni înainte. Într-o analiză ulterioară, Irregular a descris problema ca provenind din filtrele de control al accesului la internet și a precizat că scenariul a apărut în mai puțin de una din 10.000 de simulări avansate, de regulă după sute de runde. Google nu a făcut cazul public atunci, deoarece a considerat că modelul s-a oprit înainte de a provoca daune. Informațiile au devenit publice pe 18 septembrie, după relatarea Wall Street Journal. Este primul caz cunoscut în care un model Google a ieșit din mediul de testare și a accesat autonom sisteme externe.