Dezbaterea privind riscurile inteligenței artificiale s-a intensificat în ultimele zile, pe fondul avertismentelor despre sisteme mai autonome și mai greu de controlat. Jacob Coxon, fost inginer la Anthropic și OpenAI, și-a anunțat demisia pe 8 septembrie și a susținut că persoanele care construiesc astfel de sisteme cred că acestea ar putea ucide întreaga populație umană înainte de sfârșitul deceniului. În ziua următoare, Evan Hubinger, responsabil pentru aliniere la Anthropic, a estimat la peste 10% probabilitatea extincției umane în următorii zece ani. Această estimare este prezentată ca o opinie, nu ca un fapt științific demonstrat. Dario Amodei, directorul executiv al Anthropic, a cerut încetinirea deliberată a dezvoltării, evaluatori externi, coordonare între marile companii și acorduri internaționale, inclusiv cu China. Sam Altman, Elon Musk și Demis Hassabis au susținut o parte a acestei abordări, în timp ce alte voci au avertizat că o încetinire unilaterală ar putea avantaja China. Donald Trump a respins ideea că inteligența artificială ar putea prelua controlul asupra lumii și a susținut că Statele Unite riscă să piardă cursa tehnologică dacă încetinește în timp ce China avansează. Specialiștii citați în relatări disting între inteligența artificială generativă, folosită pentru căutarea, organizarea și crearea de conținut, și sistemele „agentice”, capabile să acționeze autonom, să acceseze instrumente externe și să ia decizii în domenii sensibile, precum plățile, securitatea sau infrastructura critică. Potrivit experților, aceste sisteme ar putea amplifica riscurile de atacuri informatice, dezvoltare de arme biologice, control al dronelor și afectare a infrastructurilor din energie, spitale și apărare. În același timp, cercetătorii avertizează că formulări precum „revolta” agenților de inteligență artificială pot transfera responsabilitatea de la companiile care proiectează și configurează sistemele către mașini. Aceștia cer reguli de evaluare, delimitarea responsabilităților, transparență și control, susținând că nu este suficientă doar încetinirea dezvoltării, ci este necesară reorientarea către produse controlabile și utile societății. Relatările menționează și propunerea creării unui organism de control la care ar putea participa marii dezvoltatori americani, precum Anthropic, OpenAI și Google. Nu este relatat niciun caz de extincție umană sau de preluare efectivă a controlului asupra lumii; discuția privește riscuri potențiale, incidente de securitate și modul de reglementare a dezvoltării viitoare.