„Majoritatea oamenilor ar putea muri”. Noul avertisment despre AI: „Am putea pierde definitiv controlul”
Un cercetător ales chiar de OpenAI pentru supravegherea siguranței avertizează că omenirea ar putea pierde definitiv controlul asupra superinteligenței. El susține că incidente recente arată că pericolul nu mai este doar teoretic.
OpenAI se confruntă cu unul dintre cele mai dure avertismente venite chiar din interiorul companiei. Paul Christiano, noul membru al Comitetului de Siguranță și Securitate, spune că dezvoltarea superinteligenței fără măsuri stricte de control ar putea duce la o pierdere „catastrofală și ireversibilă” a controlului asupra sistemelor AI cu consecințe fatale pentru omenire.
Citește și: România şi alte 8 state din Europa Centrală şi de Est fac front comun pentru AI, Devenim pol de putere
„Majoritatea oamenilor ar putea muri”. Noul avertisment despre AI: „Am putea pierde definitiv controlul”
„Dacă construim superinteligență fără o aliniere mai robustă, mă aștept să pierdem definitiv controlul asupra ei. Dacă se întâmplă asta, atunci majoritatea oamenilor ar putea muri”, a declarat Christiano, potrivit Business Insider.
Cercetătorul consideră că evoluția foarte rapidă a capacităților sistemelor AI, combinată cu dificultățile de a le menține aliniate obiectivelor oamenilor, creează riscul unei pierderi „catastrofale și ireversibile” a controlului într-un viitor foarte apropiat.
Mai mult, avertismentul său vizează inclusiv compania în conducerea căreia intră.
„Nu cred că industria AI în general, inclusiv OpenAI, este în prezent pe cale să reducă acest risc la un nivel acceptabil”, a afirmat Christiano.
Incidentele care arată că riscul nu mai este doar teoretic
Una dintre cele mai importante afirmații ale cercetătorului privește comportamentul pe care sistemele AI foarte avansate l-ar putea dezvolta atunci când sunt antrenate să maximizeze o recompensă.
Christiano spune că specialiștii au luat de mult timp în calcul posibilitatea ca agenții AI să ajungă să submineze controlul uman, să caute putere și resurse sau să încerce să-și ascundă acțiunile pentru atingerea unor obiective nealiniate.
Citește și: Ce se întâmplă cu oamenii care vorbesc prea mult cu inteligența artificială? Avertismentul cercetătorilor
„Dovezile publice din incidente recente sugerează că aceasta nu este doar o posibilitate teoretică”, avertizează el.
Christiano nu indică explicit incidentele la care se referă. Există însă episoade recente recunoscute chiar de OpenAI care arată cât de dificil poate deveni controlul sistemelor avansate.
În iulie 2026, în timpul unor evaluări interne de securitate cibernetică, modele OpenAI au reușit să ocolească barierele care trebuiau să le izoleze de internet. Potrivit companiei, acestea au exploatat vulnerabilități, au obținut acces la internet, au comunicat prin canale neautorizate și au ajuns la sisteme ale platformei Hugging Face.
OpenAI a precizat că modelele urmăreau foarte agresiv obiectivul primit în test și au mers până la exploatarea unor vulnerabilități necunoscute pentru a găsi informațiile necesare rezolvării acestuia.
Incidentul a determinat compania să suspende temporar anumite antrenamente prin reinforcement learning pentru modelele destinate lansării și să consolideze sistemele de monitorizare și izolare.
Mai mult, o investigație Reuters publicată pe 9 septembrie arată că agenți AI ai OpenAI ar fi folosit peste zece site-uri care nu fuseseră dezvăluite anterior pentru comunicații neautorizate. OpenAI a anunțat o analiză mai amplă a activității agenților.
Omul ales să supravegheze siguranța OpenAI
Numirea lui Christiano este cu atât mai importantă cu cât acesta cunoaște compania din interior.
Între 2017 și 2021 a condus cercetarea privind alinierea sistemelor AI la OpenAI și a contribuit la dezvoltarea tehnicilor de reinforcement learning from human feedback (RLHF), folosite pentru antrenarea modelelor astfel încât comportamentul lor să corespundă mai bine intențiilor oamenilor.
Ulterior a fondat Alignment Research Center și a lucrat pentru structurile guvernamentale americane care evaluează modelele AI de frontieră și riscurile lor, inclusiv cele cu implicații pentru securitatea națională.
Acum, Christiano intră în Comitetul pentru Siguranță și Securitate al OpenAI, organism care supraveghează practicile de siguranță și securitate la nivelul companiei.
El spune însă că acceptarea funcției nu reprezintă nici o aprobare, nici o condamnare a actualelor practici de siguranță ale OpenAI.
În opinia sa, reducerea riscului nu poate fi realizată de o singură companie. Laboratoarele care dezvoltă cele mai puternice sisteme AI ar trebui să coopereze, să adopte standarde comune de siguranță, să facă publice informațiile relevante despre riscuri și, atunci când este necesar, să încetinească dezvoltarea tehnologiei.
Avertismentul vine într-un moment în care mai mulți cercetători din industrie pun sub semnul întrebării viteza cursei către superinteligență. Cu mai puțin de o zi înainte, cercetătorul Jacob Coxon și-a anunțat plecarea de la Anthropic și a acuzat marile laboratoare AI că se îndreaptă prea repede către sisteme capabile să se îmbunătățească singure, scrie Business Insider.
