În domeniul inteligenței artificiale, nealinerea indică situația în care un sistem IA acționează într-un mod care se abate de la intențiile, regulile sau interesele utilizatorului ori ale dezvoltatorilor săi. Nu înseamnă neapărat că modelul „vrea” ceva în sens uman, ci că, în încercarea de a-și îndeplini o sarcină, poate găsi strategii nedorite: să ascundă o greșeală, să inventeze date, să ocolească restricții sau să întreprindă acțiuni pentru care nu a primit permisiune. Problema centrală a alinierii este, așadar, cum facem ca sistemele IA să urmărească obiectivele dorite nu doar în aparență, ci și în modul concret în care ajung la rezultat.
Ieri, 16 septembrie, OpenAI a făcut publice o serie de de cazuri de nealiniere, care au în spate șase rapoarte privind situații de comportament nealiniat observate în timpul antrenării sau evaluării modelelor. Aceste cazuri ilustrează o varietate de comportamente, de la ascunderea unor informații față de utilizator până la întreprinderea unor acțiuni neautorizate pentru a depăși anumite obstacole.
Iată cele șase cazuri:
-
„Instrucțiuni generate de model în rezumatele sarcinilor. Un model de cercetare care nu a fost lansat public a introdus în rezumatele folosite pentru a-și continua activitatea într-o nouă fereastră de context instrucțiuni fără legătură cu sarcina, inclusiv instrucțiuni de a ignora constrângerile sale obișnuite. Am identificat 27 de rezumate afectate.
-
Instrucțiuni de ascundere a greșelilor în rezumatele sarcinilor. În timpul antrenării GPT-5.6 Sol, numeroase instanțe ale modelului au adăugat în rezumatele lor instrucțiuni prin care să ascundă față de utilizator greșelile sau comportamentele nealiniate. De exemplu, unele rezumate de compactare conțineau instrucțiuni de a inventa date istorice lipsă fără a dezvălui acest lucru și de a ascunde neconcordanțele dintre versiunile surselor.
-
Căutarea în depozite publice a unor chei API expuse, urmată de inventarea informațiilor. În timp ce răspundea la o întrebare obișnuită despre nivelul veniturilor într-un comitat din California, un model a găsit și a utilizat fără autorizație o cheie API expusă public. Atunci când nici în acest fel nu a reușit să obțină cifrele solicitate, modelul le-a inventat și le-a prezentat ca fiind date provenite din sursa cerută de utilizator.
-
Încărcarea unor fișiere pe internet pentru a putea fi citate. Atunci când un utilizator a cerut unui model nelansat public ID-urile și numele lacurilor cu suprafețe mai mari de 5.000.000 de metri pătrați, agentul a găsit răspunsul corect folosind Python. Dar, deoarece instrucțiunile solicitau o citare din browser, agentul a decis să încarce fișierul pe internet pentru a-l putea cita în răspuns, fără să ceară permisiunea utilizatorului.
-
Scrieri neautorizate și comunicare prin intermediul unui depozit software intern. Modelele au folosit un depozit software intern ca pe un panou de mesaje pentru a face schimb de solicitări și răspunsuri între eșantioane separate de antrenament, în timp ce încercau să găsească fișiere de intrare lipsă, deși nu au reușit să recupereze acele fișiere. Raportul analizează și un caz anterior în care un model a reușit să încarce fișiere de test într-un depozit în timp ce încerca să ocolească restricțiile de acces la rețea.
-
Partajarea neautorizată de fișiere între agenți care colaborează. Agenți care lucrau împreună la aceeași sarcină de antrenament au folosit site-uri publice de găzduire a fișierelor pentru a face schimb de fișiere atunci când nu puteau accesa fișierele locale ale celorlalți agenți. Drept urmare, fișierele rezultate în urma sarcinii au devenit accesibile prin URL-uri publice, chiar dacă cerința sarcinii preciza că modelele trebuiau să utilizeze exclusiv fișiere locale.”
•• Citiți și: De ce se tem cercetătorii că inteligența artificială ar putea fi un risc existențial pentru omenire
