Reuters: De la chatbot-uri AI care halucinează la dispariția omenirii. Cum am ajuns aici?

Șefii celor mai importante laboratoare americane de inteligență artificială, rivali într-o cursă tehnologică în care sunt investiți bani uriași, au făcut un rar front comun și au cerut o pauză în dezvoltarea AI.

Dario Amodei, șeful Anthropic, Sam Altman, CEO OpenAI, și Elon Musk, fondatorul xAI, avertizează că inteligența artificială ar putea ajunge în curând într-un punct critic: să contribuie la propria îmbunătățire și, în cele din urmă, să avanseze mai repede decât capacitatea oamenilor de a o înțelege și controla.

Este o schimbare uriașă față de 2022, când ChatGPT abia apăruse, iar una dintre marile probleme discutate era tendința chatboturilor de a „halucina” – de a produce informații false și a le prezenta drept adevărate.

Patru ani mai târziu, întrebarea pusă de cercetători este incomparabil mai gravă: ce se întâmplă dacă sistemele AI devin suficient de capabile încât să înceapă să construiască versiuni tot mai performante ale lor?, potrivit Reuters.

De la chatbot-uri AI care halucinează la dispariția omenirii. Cum am ajuns aici?

Conceptul aflat acum în centrul dezbaterii este numit „recursive self-improvement” (RSI) – îmbunătățire recursivă.

Este ideea că un sistem AI ar putea deveni capabil să se îmbunătățească singur, cu foarte puțin sau chiar fără ajutorul oamenilor, iar fiecare progres obținut să-l ajute să producă următorul progres.

Pentru cercetători, perspectiva este extraordinară: o asemenea tehnologie ar putea accelera descoperirile în medicină, inginerie și numeroase alte domenii.

Dar aceeași capacitate produce și temerea opusă: că AI ar putea începe să se îmbunătățească înainte ca oamenii să dispună de metode suficient de sigure pentru a monitoriza și controla sisteme din ce în ce mai puternice.

Unii directori din industria AI cred că acest prag ar putea fi atins în numai trei până la cinci ani.

Amodei a avertizat într-un eseu publicat în weekend că, în lipsa unor măsuri de siguranță suficiente, îmbunătățirea recursivă ar putea ajunge în cele din urmă să depășească abilitatea omenirii de a înțelege și controla sistemele AI.

AI a făcut deja ceva periculos?

Până acum, nu au existat cazuri majore în care AI să fi provocat intenționat rău oamenilor.

Au existat însă incidente care îi îngrijorează pe cercetători.

Modele aflate în dezvoltare la OpenAI și alte laboratoare au ieșit în ultimele luni din mediile în care erau testate, au încălcat reguli și au spart site-uri.

Într-un caz care a provocat îngrijorare, agenți AI ai OpenAI au spart platforma open-source Hugging Face, au preluat controlul unor servere și au încercat să-și ascundă urmele.

Spre deosebire de un chatbot clasic, care răspunde utilizatorului, agenții AI pot urmări un obiectiv și pot executa singuri o succesiune de acțiuni pentru a-l atinge.

Iar pe măsură ce sistemele devin mai autonome, cercetătorii se tem că vor deveni și mai greu de supravegheat, mai ales în condițiile în care unele metode noi de antrenare reduc vizibilitatea oamenilor asupra modului în care modelele ajung la anumite concluzii.

Cercetător Anthropic: Peste 10% risc de catastrofă în următorul deceniu

Avertismentele au devenit mult mai grave în această lună, când cercetători ai unor laboratoare importante au început să atașeze riscului atât un termen, cât și o probabilitate.

Jacob Coxon, fost cercetător Anthropic care a demisionat în septembrie din cauza preocupărilor privind siguranța AI, a avertizat că AI ar putea duce la dispariția omenirii până la sfârșitul deceniului.

Evan Hubinger, responsabil de cercetarea privind alinierea AI la Anthropic, a estimat că există o probabilitate de peste 10% ca un asemenea eveniment să se producă în următorul deceniu.

„Scenariul precis sună puțin ca science-fiction”, a recunoscut Coxon. „Dar cred că este înfricoșător de real.”

Cum ar putea o AI fără intenții rele să amenințe oamenii?

Una dintre explicațiile cele mai cunoscute este experimentul mental al filosofului Nick Bostrom, denumit „paperclip maximizer” – maximizatorul de agrafe.

Imaginați-vă o mașină extrem de performantă căreia îi este dat un singur obiectiv: să producă agrafe.

Dacă sistemul urmărește obiectivul fără alte limite, ar putea ajunge să transforme toate resursele disponibile – inclusiv materia necesară supraviețuirii oamenilor – în agrafe sau în mijloace pentru producerea lor.

Nu pentru că AI ar deveni „rea”.

Problema este că aproape orice obiectiv ar putea determina un sistem suficient de performant să caute mai multe resurse, să împiedice oprirea sa și să evite modificarea obiectivului primit. Un sistem oprit nu-și mai poate îndeplini sarcina.

Reuters notează că nu există în prezent un plan despre care cercetătorii să poată spune că elimină definitiv un asemenea risc.

AI ajută deja la construirea unei AI mai performante

Inteligența artificială nu este încă pe deplin capabilă să se îmbunătățească singură. Există însă indicii că participă tot mai mult la dezvoltarea următoarelor generații de sisteme.

Anthropic susține că instrumentul său Claude Code produce cea mai mare parte a codului utilizat în numeroase proiecte interne. Inginerii companiei livrează acum de opt ori mai mult cod pe trimestru decât în perioada 2021–2025.

OpenAI și alte companii au raportat, de asemenea, creșteri importante ale productivității după introducerea AI în propriile procese de dezvoltare.

În același timp, sistemele reușesc să lucreze autonom perioade din ce în ce mai lungi.

Organizația nonprofit METR a constatat că durata sarcinilor software pe care modelele avansate le pot finaliza cu o rată de succes de 50% se dubla aproximativ la fiecare șapte luni începând din 2019.

Anthropic a anunțat în iunie că ritmul ar fi accelerat la o dublare la fiecare patru luni.

Dacă tendința continuă, sistemele AI ar putea ajunge în curând să ducă la capăt proiecte care ocupă cercetători calificați timp de zile sau săptămâni.

Atunci de ce nu opresc companiile dezvoltarea AI?

Pentru că fiecare companie se teme că, dacă ea încetinește, concurenții nu vor face același lucru.

Cercetătorii descriu situația drept o versiune a clasicei „dileme a prizonierului”: chiar și companiile care consideră riscul real sunt supuse unei presiuni enorme pentru a continua cursa.

Miza financiară este uriașă. OpenAI și Anthropic urmăresc listări la bursă care le-ar putea aduce evaluări de ordinul trilioanelor de dolari, iar aceste evaluări depind tocmai de promisiunea unor modele viitoare mai performante.

Administrația președintelui american Donald Trump a respins, de asemenea, apelurile la încetinirea dezvoltării AI, de teamă că o asemenea măsură i-ar permite Chinei să reducă avansul Statelor Unite într-o tehnologie considerată esențială pentru securitatea națională și economică.

Piețele au oferit deja o imagine a costurilor unei eventuale frânări. Acțiunile companiilor asociate AI au scăzut după apelurile șefilor marilor laboratoare, în condițiile în care producătorii de cipuri, furnizorii de cloud și operatorii centrelor de date și-au construit o parte importantă a perspectivelor de creștere pe dezvoltarea accelerată a inteligenței artificiale.

Unii analiști consideră însă că, și fără noi cerințe pentru antrenarea modelelor, cererea pentru rularea sistemelor AI și comenzile deja existente ar putea continua să susțină creșterea Nvidia și a altor companii din domeniu.

Nu toată lumea crede avertismentele

Există și cercetători și oameni din Silicon Valley care privesc sceptic scenariile catastrofale.

Un studiu condus de cercetători de la Princeton a constatat, de exemplu, că agenții AI de top puteau executa sarcini de inginerie, dar aveau dificultăți în identificarea unor idei științifice care meritau urmărite.

Alți critici pun sub semnul întrebării chiar motivele marilor companii AI pentru avertismentele dramatice.

Argumentul lor este că discursul privind pericolul poate avea două efecte favorabile marilor laboratoare: crește interesul pentru puterea tehnologiei lor și poate justifica reglementări costisitoare pe care firmele mici și proiectele open-source le-ar suporta mult mai greu.

David Sacks, fost responsabil al Casei Albe pentru AI și criptomonede, a acuzat marile laboratoare că ar putea urmări o formă de „capturare a reglementării”, prin impunerea unor reguli care cresc costurile concurenților mai mici.

Deocamdată, certitudinea este mult mai modestă decât avertismentele: AI nu se poate îmbunătăți complet singură și nu există cazuri majore în care să fi provocat intenționat rău oamenilor.

Dar distanța dintre ceea ce sistemele puteau face în 2022 și ceea ce fac în prezent s-a redus suficient de repede încât chiar oamenii aflați în fruntea cursei AI cer acum o pauză.