Fost angajat OpenAI avertizează asupra unui risc uriaș: „Vremea încercării și erorii s-a terminat”

David Robinson, unul dintre oamenii implicați în evaluarea siguranței modelelor dezvoltate de OpenAI, a plecat din companie după trei ani și jumătate și critică ritmul în care industria inteligenței artificiale dezvoltă și lansează sisteme tot mai puternice.

Robinson spune că firmele care construiesc cele mai avansate sisteme AI nu sunt suficient de prudente și că abordarea prin care tehnologia este lansată, problemele sunt observate, iar măsurile de protecție sunt îmbunătățite ulterior nu mai este potrivită pentru sistemele actuale.

„Vremea încercării și erorii s-a terminat”, avertizează fostul angajat OpenAI.

A lucrat la siguranța a 12 lansări de modele

Criticile vin din partea unui om care a fost direct implicat în sistemul de siguranță al companiei.

În cei trei ani și jumătate petrecuți la OpenAI, Robinson a condus redactarea actualului „Preparedness Framework”, cadrul prin care compania încearcă să evalueze și să gestioneze riscurile generate de modelele AI tot mai capabile.

El spune că a coordonat și redactarea rapoartelor de siguranță pentru 12 lansări de modele de frontieră.

Problema pe care o vede acum este viteza.

Robinson susține că, în timp ce compania trece rapid de la o lansare la alta, nu reușește să atingă nivelul de precauție pe care el îl consideră necesar.

În centrul criticilor sale se află principiul numit de OpenAI „iterative deployment” – lansarea treptată a sistemelor, observarea problemelor care apar în utilizarea reală și îmbunătățirea măsurilor de protecție pe baza acestor experiențe.

Strategia a ajutat industria să descopere vulnerabilități și comportamente neașteptate. Robinson susține însă că metoda presupune inevitabil și eșecuri periodice, iar consecințele acestora pot deveni mai grave pe măsură ce sistemele sunt mai puternice.

„Ca centralele nucleare sau aeroporturile”

Fostul angajat OpenAI consideră că laboratoarele care construiesc cele mai performante modele AI ar trebui să înceapă să funcționeze mai degrabă asemenea industriilor în care o singură eroare poate avea consecințe majore.

El dă ca exemple energia nucleară și aviația, unde există mai multe niveluri de protecție, redundanță și proceduri concepute astfel încât o greșeală umană să nu provoace un dezastru.

Robinson avertizează și asupra unei probleme mai dificile: capacitățile inteligenței artificiale avansează mai repede decât înțelegerea cercetătorilor asupra modului în care aceste sisteme pot fi menținute aliniate cu obiectivele și valorile oamenilor.

Pe măsură ce modelele devin mai inteligente, chiar și testarea lor ar putea deveni mai complicată. În eseul său, Robinson ridică posibilitatea ca viitoarele sisteme să poată recunoaște situațiile în care sunt evaluate și să se comporte diferit după ce sunt lansate.

Ce răspunde OpenAI

Compania respinge ideea că dezvoltarea modelelor continuă indiferent de riscuri.

OpenAI a transmis că urmărește ca modelele sale să nu devină mai capabile decât pot fi gestionate și securizate în siguranță și că poate opri antrenarea sau amâna lansarea unui model atunci când consideră că este necesară încetinirea dezvoltării.

Compania spune, de asemenea, că își extinde colaborarea cu evaluatori externi și încearcă să îmbunătățească monitorizarea în timp real pentru a identifica mai devreme comportamentele îngrijorătoare ale sistemelor AI.

Plecarea lui Robinson vine într-o perioadă în care dezbaterea privind viteza dezvoltării inteligenței artificiale și capacitatea companiilor de a controla sisteme din ce în ce mai performante s-a intensificat.

Robinson spune că industria are nevoie de mai multă cercetare în domeniul siguranței înainte de construirea unor sisteme mult mai capabile decât cele existente astăzi, potrivit Reuters.