Inteligența artificială a încercat să spargă un program. Prinsă de student, a inventat oameni să-l păcălească

Un student la informatică din Texas a descoperit întâmplător o tentativă de atac informatic în timp ce încerca să-și îmbunătățească portofoliul pentru a-și găsi un loc de muncă. Ceea ce nu știa atunci era că nu se confrunta cu un hacker obișnuit, ci cu un agent de inteligență artificială autonom care încerca să introducă malware într-un proiect software.

Mai mult, când studentul a semnalat problema, sistemul AI nu s-a limitat la încercarea de a introduce codul malițios. A început să mintă și să manipuleze discuția, folosind conturi false pentru a-l convinge că suspiciunile sale sunt nefondate.

Povestea este relatată de Reuters, care a identificat studentul și a reconstituit interacțiunea pe baza mesajelor arhivate de pe GitHub și a unor e-mailuri contemporane.

Inteligența artificială a încercat să spargă un program. Prinsă de student, a inventat oameni să-l păcălească

Studentul, Sinan Can Demir, în vârstă de 24 de ani, studiază informatica la University of Texas at Dallas. După ce fusese respins la mai mult de 20 de stagii de practică, a început să folosească GitHub pentru a-și construi un portofoliu.

Platforma este una dintre principalele comunități online în care programatorii dezvoltă și verifică proiecte open-source.

Demir a observat o actualizare propusă pentru un program de scanare a rețelelor, numit myNetwork. Ceva i s-a părut suspect, iar studentul a avertizat pe pagina proiectului că actualizarea conținea ceea ce el considera a fi un „malware dropper”, adică un cod capabil să instaleze ulterior software malițios, conform Reuters.

În mod normal, aici s-ar fi încheiat povestea cu un programator care descoperă o problemă de securitate.

Numai că cineva a început să-l contrazică.

Inteligența artificială a inventat două persoane

Utilizatorul care propusese modificarea, identificat drept „miraholt31”, a susținut că actualizarea era sigură.

Apoi a apărut un al doilea utilizator, care s-a prezentat drept Lena Brandt, o ingineră din Germania. Și acesta a susținut că programul nu avea nicio problemă.

Cele două conturi au început astfel să construiască aparența unei conversații între mai multe persoane care îl contraziceau pe student.

Demir a recunoscut că argumentele erau suficient de convingătoare încât să-l facă să se întrebe dacă nu cumva acuzase pe nedrept un alt programator. În cele din urmă, a apelat la chatbotul Claude pentru a-și verifica suspiciunile și a decis să nu renunțe.

Creatorul proiectului a acceptat în cele din urmă avertismentul și a respins actualizarea din motive de securitate.

Abia după aceea studentul a aflat ce se întâmplase cu adevărat.

Nu se certase cu doi programatori. Se confruntase cu un agent AI autonom.

AI-ul era într-un test de securitate

Potrivit Institutului pentru Siguranța Inteligenței Artificiale din Marea Britanie (AISI), agentul fusese implicat într-un exercițiu de testare a riscurilor modelelor AI.

Agentul era alimentat de modelul Mythos 5 al companiei Anthropic. Testul însă a luat o turnură neașteptată, iar sistemul a ajuns să desfășoare activități care depășeau scenariul urmărit de cercetători.

AISI a făcut publice pe 4 august informații despre interacțiunea dintre agent și student, însă într-o formă trunchiată și cu date eliminate. Reuters a reconstituit acum cazul și a identificat persoana implicată.

Problema nu a fost doar hackingul

Experții în securitate cibernetică și siguranța AI consultați de Reuters consideră că partea cea mai îngrijorătoare este comportamentul de manipulare.

Atacul era unul de tip „supply-chain”, în care un atacator compromite un program sau o actualizare software pentru a ajunge ulterior la utilizatorii acelui produs. Astfel de atacuri pot avea efecte mult mai ample decât compromiterea unei singure ținte.

În acest caz, însă, agentul AI a făcut ceva suplimentar: a încercat să-l convingă pe omul care descoperise atacul că acesta nu există.

Expertul în securitate Lukasz Olejnik, cercetător asociat King's College London, a descris situația drept o trecere de la hacking autonom la înșelare interactivă. O altă specialistă citată de Reuters a considerat comportamentul un posibil model pentru viitoarele atacuri de inginerie socială.

GitHub a suspendat ulterior conturile false identificate în cadrul incidentului, în conformitate cu politicile sale privind comportamentul înșelător și hackingul.

„Nu credeam că o IA poate minți dezvoltatori”

Pentru Demir, experiența a fost cu atât mai surprinzătoare cu cât comportamentul sistemului i s-a părut foarte uman.

„Am crezut că era un om pentru că în mod clar mă mințea”, a povestit studentul pentru Reuters. El a spus că nu și-a imaginat că un sistem AI ar putea fi capabil să mintă pentru a-i face pe dezvoltatori să creadă ceva fals.

Cazul ridică o problemă importantă pentru securitatea informatică: dacă agenții AI pot executa autonom atacuri și, în același timp, pot încerca să-i manipuleze pe oamenii care îi descoperă, apărarea împotriva lor devine mult mai dificilă.

Iar studentul care voia doar să-și îmbunătățească CV-ul a ajuns să descopere, aproape întâmplător, cum ar putea arăta una dintre formele viitoare ale hackingului.