Avertismentul unui cercetător în domeniul siguranței inteligenței artificiale: „Lumea este în pericol”

Un membru al personalului Anthropic, care conducea o echipă care cerceta siguranța inteligenței artificiale, a părăsit compania luni. 

Acesta a lăsat un avertisment sumbru atât asupra unei lumi „în pericol”, cât și asupra dificultății de a permite „valorilor noastre să ne guverneze acțiunile” - fără nicio elaborare - într-o scrisoare de demisie publică care sugera, de asemenea, că firma și-a lăsat deoparte valorile.

Anthropic este o companie americană de cercetare și dezvoltare în domeniul inteligenței artificiale (AI), fondată în 2021 de foști membri ai echipei OpenAI.

Avertismentul unui cercetător în domeniul siguranței inteligenței artificiale: „Lumea este în pericol”

Mrinank Sharma, care a condus echipa de cercetare privind măsurile de protecție a Anthropic încă de la lansarea acesteia anul trecut, și-a publicat scrisoarea de demisie într-o postare pe X luni dimineață, care a atras rapid atenția și a fost vizualizată de 1 milion de ori.

În postarea sa, Sharma a spus că „îmi este clar că a venit momentul să merg mai departe”, afirmând că „lumea este în pericol”, nu doar din cauza inteligenței artificiale, ci din cauza „unei serii întregi de crize interconectate care se desfășoară chiar în acest moment”.

Citește și: AI nu este mai bună decât alte metode pentru pacienţii care solicită sfaturi medicale

Sharma a spus că „a văzut în repetate rânduri cât de greu este să lăsăm cu adevărat valorile noastre să ne guverneze acțiunile” în timp ce lucra la Anthropic, adăugând: „ne confruntăm constant cu presiuni de a lăsa deoparte ceea ce contează cel mai mult”, deși nu a oferit detalii specifice.

După ce a părăsit Anthropic, Sharma a spus că ar putea urma o diplomă în poezie și „să se dedice practicii unui discurs curajos”, adăugând că dorește „să contribuie într-un mod care să se simtă pe deplin în integritatea sa”, scrie Forbes.com.

Citeşte şi: Inteligența artificială care uimește: Google Bard ar fi învățat singur limba bengali

Sursa citată arată că Sharma nu a dorit să comenteze această situație, iar Anthropic nu a răspuns până la publicarea știrii.

„Se pare că ne apropiem de un prag în care înțelepciunea noastră trebuie să crească în egală măsură cu capacitatea noastră de a influența lumea, ca să nu ne confruntăm cu consecințele”, a scris Sharma în în postarea sa.

Ce a făcut Sharma la Anthropic?

Sharma, care are un doctorat în învățare automată de la Universitatea din Oxford, a început să lucreze la Anthropic în august 2023, conform profilului său de LinkedIn. Conform site-ului său web, echipa pe care a condus-o anterior la Anthropic cercetează modalitățile de atenuare a riscurilor reprezentate de inteligența artificială.

În scrisoarea sa de demisie, Sharma a declarat că o parte din munca sa a inclus dezvoltarea de măsuri de apărare împotriva bioterorismului asistat de inteligență artificială și cercetarea lingușirii bazate pe inteligență artificială , fenomenul în care chatbot-ii bazați pe inteligență artificială laudă și flatează excesiv un utilizator.

Conform unui raport publicat în mai de echipa lui Sharma, echipa de cercetare privind măsurile de siguranță s-a concentrat pe cercetarea și dezvoltarea de măsuri de siguranță împotriva actorilor care utilizează un chatbot bazat pe inteligență artificială pentru a solicita îndrumări cu privire la modul de desfășurare a activităților rău intenționate.

Citeşte şi: Inteligența artificială devine personală: Google conectează Gmail, YouTube și Foto într-un „creier digital”

Noul studiu al lui Sharma a descoperit că chatboții ar putea crea realitate distorsionată

Conform unui studiu publicat de Sharma săptămâna trecută, în care a investigat modul în care utilizarea chatbot-urilor cu inteligență artificială ar putea determina utilizatorii să-și formeze o percepție distorsionată a realității, el a descoperit că „mii” de astfel de interacțiuni care pot produce aceste distorsiuni „apar zilnic”.

Cazurile severe de percepții distorsionate ale realității, pe care Sharma le numește modele de dezechilibru, sunt rare, dar ratele sunt mai mari în ceea ce privește subiecte precum relațiile și bunăstarea. Sharma a spus că descoperirile sale „evidențiază necesitatea unor sisteme de inteligență artificială concepute pentru a sprijini robust autonomia și prosperitatea umană”.