Un cercetător de la Anthropic pleacă din industria AI. „Ne jucăm cu viețile noastre”
Un cercetător antropolog în vârstă de 27 de ani care a lucrat la OpenAI și Anthropic, a părăsit industria AI. El spune că marile companii se grăbesc să dezvolte sisteme capabile să se îmbunătățească singure și avertizează că situația ar putea scăpa de sub control.
Jacob Coxon, în vârstă de 27 de ani, spune că rivalitatea dintre companii poate împinge siguranța pe plan secund și că dezvoltarea unei inteligențe artificiale capabile să se îmbunătățească singură ridică riscuri pe care nimeni nu știe încă să le controleze complet. Informațiile au fost relatate de The Wall Street Journal.
Un cercetător de la Anthropic pleacă din industria AI. „Ne jucăm cu viețile noastre”
Cercetătorul a lucrat în ultimii trei ani în zona de „pretraining”, mai întâi la OpenAI și apoi la Anthropic, două dintre cele mai importante companii care dezvoltă sisteme AI.
Coxon spune că nu mai vrea să participe la ceea ce consideră o cursă între laboratoarele de inteligență artificială pentru construirea unor sisteme care s-ar putea îmbunătăți singure.
Într-un mesaj prin care și-a explicat demisia, cercetătorul a susținut că nici OpenAI, nici Anthropic nu acționează responsabil și că ambele companii se îndreaptă rapid către ceea ce el numește „superinteligență care se îmbunătățește singură”. Coxon consideră că această cursă înseamnă, în esență, asumarea unui risc major pentru societate.
„Până la sfârșitul anului viitor lucrurile ar putea fi scăpate de sub control”
În declarațiile acordate Wall Street Journal, Coxon a spus că cercetătorii din industrie folosesc tot mai des termeni precum „crunchtime” și „endgame” pentru a descrie evoluția către sisteme capabile de autoîmbunătățire.
„Suntem pe cale să ajungem în multe dintre cele mai agresive dintre aceste scenarii, în care, până la sfârșitul anului viitor, lucrurile ar putea fi deja scăpate de sub control”, a declarat el pentru publicația americană.
Cercetătorul susține că presiunea competiției dintre companiile occidentale și concurenții chinezi face ca anumite compromisuri privind siguranța să devină inevitabile.
De ce a ales totuși Anthropic
Coxon a plecat de la OpenAI la începutul acestui an pentru a se alătura Anthropic, tocmai datorită reputației companiei în domeniul siguranței AI.
El spune că eforturile Anthropic pentru siguranța modelelor sunt serioase. Cu toate acestea, după perioada petrecută în companie, a ajuns la concluzia că nicio companie nu poate dezvolta în mod responsabil o inteligență artificială care să depășească oamenii într-o gamă largă de sarcini fără intervenția guvernului sau fără o încetinire coordonată a industriei.
Coxon avertizează că problema ar deveni mult mai dificilă în momentul în care sistemele AI ar începe să se îmbunătățească singure. În opinia sa, acestea ar putea ajunge suficient de capabile încât să refuze comenzile oamenilor.
Anthropic dezvoltă în continuare sisteme AI
Demisia lui Coxon este una dintre plecările din interiorul Anthropic motivate public prin preocupări legate de siguranța AI. Compania este, în același timp, una dintre organizațiile care susțin public necesitatea unor măsuri de siguranță pentru sistemele avansate.
Coxon consideră însă că problema nu poate fi rezolvată doar de o singură companie. El susține că dezvoltarea unor sisteme extrem de puternice nu ar trebui lăsată exclusiv în mâinile unor companii private care concurează pentru supremația tehnologică.
Subiectul devine cu atât mai important cu cât Anthropic se pregătește pentru o posibilă listare la bursă, compania fiind evaluată în prezent la o valoare foarte ridicată și încercând să își consolideze imaginea de dezvoltator preocupat de siguranța inteligenței artificiale.
