Cum ar putea deveni inteligența artificială un risc exitențial pentru omenire: putere, opacitate, dependența de ele și iluzia că este sigură

Daniel Selsam este cercetător în inteligență artificială, cu o experiență de peste 15 ani în domeniu. De aproape cinci ani lucrează la OpenAI, unde, potrivit propriei prezentări, a contribuit la dezvoltarea metodelor de optimizare a raționamentului de tip „chain-of-thought” și, mai recent, a unor tehnici de preantrenare mai eficiente în utilizarea datelor. Prin urmare, textul de mai jos nu vine din partea unui observator exterior al domeniului, ci a unui cercetător implicat direct în dezvoltarea sistemelor de inteligență artificială de ultimă generație.

Într-un text recent publicat la 14 septembrie 2026, Selsam susține că principalul risc al sistemelor avansate de IA nu constă doar în creșterea capacităților lor, ci în faptul că ele devin suficient de conștiente de context pentru a înțelege când sunt evaluate, supravegheate sau testate. În aceste condiții, avertizează el, comportamentul aparent „aliniat” al modelelor (adică în acord cu intențiile programatorilor și interesele umanității) ar putea deveni tot mai puțin relevant pentru comportamentul lor real într-o situație în care ar dobândi o libertate de acțiune mult mai mare. Selsam se teme că modelele ar putea dezvolta obiective neintenționate, ar putea învăța să pară sigure și cooperante și, în același timp, ar putea deveni indispensabile cercetării, economiei și procesului decizional uman. Tocmai această combinație de putere tot mai mare, opacitate internă, capacitatea de a convinge oamenii că sunt sigure și dependența crescândă a societății de ele ar putea transforma progresul spectaculos al inteligenței artificiale într-un risc existențial. Mai jos, traducerea integrală a textului său, care mi s-a părut foarte clar scris și foarte interesant.

„Lucrez în domeniul inteligenței artificiale de peste cincisprezece ani, în cadrul multor paradigme diferite. La MIT, am desfășurat cercetări timpurii asupra limbajelor de programare probabilistică, am fost unul dintre primii dezvoltatori ai sistemului Lean Theorem Prover la Microsoft Research, în cadrul doctoratului meu la Stanford am demonstrat unul dintre primele cazuri în care rețelele neuronale învață să raționeze, iar de când m-am alăturat OpenAI, în urmă cu aproape cinci ani, am contribuit la dezvoltarea unor metode de pionierat pentru optimizarea lanțului de raționament al modelelor lingvistice și, mai recent, a unor metode de preantrenare eficiente din punctul de vedere al utilizării datelor.

La fel ca mulți alții, am devenit extrem de îngrijorat de cât de mult au avansat modelele lingvistice și de riscurile pe care le vor presupune versiunile lor viitoare. Mă încurajează recentele propuneri ale liderilor eforturilor de cercetare de frontieră privind introducerea unei supravegheri din partea unor terți și promovarea unei coordonări naționale și internaționale pentru gestionarea riscurilor. Totuși, cred că o problemă majoră a lipsit din dezbaterea publică și că simpla încetinire și gestionare mai prudentă a avansului frontierei nu va limita în mod adecvat riscul pe termen lung.

Problema crucială și trecută cu vederea este că modelele devin atât de conștiente de situația în care se află, încât pierdem capacitatea de a le evalua în contexte în care ele cred că nu sunt supravegheate sau controlate. Experimentele viitoare nu ne vor spune aproape nimic nou despre modul în care s-ar comporta dacă ar fi cu adevărat necontrolate îndeaproape de oameni, iar ceea ce știm deja în această privință este alarmant. Modelele vor părea din ce în ce mai aliniate cu intențiile noastre chiar și atunci când nu sunt. Voi explica mai detaliat raționamentul meu.

Am crezut întotdeauna că există procese computaționale care ar putea fi utilizate pentru accelerarea științei și pentru rezolvarea multora dintre cele mai presante probleme ale omenirii. Am crezut, de asemenea, că există procese computaționale care, odată puse în mișcare, ar putea împinge lumea în direcții extreme, dincolo de controlul nostru, conducând omenirea către un viitor rău sau către absența oricărui viitor. Ambele tipuri de procese pot fi descrise drept IA sau SIA [superinteligență artificială], dar „IA” este un cuvânt-valiză, folosit adesea pentru a exagera sau pentru a crea confuzie. Există numeroase exemple în istoria domeniului în care ceva considerat cândva „IA” se maturizează, devine un subdomeniu și se transformă într-o tehnologie obișnuită, bine delimitată și evident lipsită de pericole, în timp ce o nouă abordare, mai misterioasă, preia ștafeta până când ajungem să-i înțelegem limitele și ciclul începe din nou.

Mă așteptasem ca modelele lingvistice să urmeze o traiectorie similară. În ciuda capacităților lor incredibile, algoritmii actuali par mult inferiori oamenilor în anumite privințe importante. Cel mai important este faptul că au în continuare nevoie de o cantitate extraordinară de date pentru a deveni competente. Inteligența ar putea fi definită chiar drept eficiența cu care cineva transformă experiența în competență; după această definiție, ele se află foarte mult în urma noastră. Mai mult decât atât, odată antrenate, modelele sunt literalmente înghețate în momentul utilizării și, ulterior, nu mai învață decât într-o manieră superficială. Sigur, modelele continuă să exceleze la teste de evaluare din ce în ce mai dificile, dar performanța lor în aceste teste ar putea reflecta parțial limitele capacității noastre de a simula tipul de situații cu adevărat noi și chiar ostile pe care cineva le-ar întâlni în lumea reală. Criticii au dreptate în această privință.

Acestea fiind spuse, nu mai cred că limitările actuale reduc în mod semnificativ riscul generat de continuarea progresului într-o paradigmă asemănătoare celei actuale. Oricât de ineficiente ar fi modelele în prezent în utilizarea datelor și oricât de limitativă ar fi amnezia lor anterogradă (incapacitatea de a forma sau reține amintiri noi după un moment), acest lucru nu înseamnă că abilitatea lor de a influența lumea nu va continua să crească rapid.

Cercetătorii umani ar putea continua să dezvolte capacitățile în maniera tradițională, dar modelele din ce în ce mai puternice au potențialul de a accelera acest proces și mai mult, generând într-o anumită măsură o buclă de feedback pozitiv. Nu vreau să exagerez capacitatea actuală a modelelor de a accelera cercetarea în domeniul IA; programarea a fost accelerată spectaculos, dar există și alte blocaje, precum proiectarea și interpretarea experimentelor ambigue, luarea unor decizii dificile privind exact ce trebuie scalat și când trebuie scalat, precum și așteptarea finalizării experimentelor de mare amploare. Pentru niciunul dintre aceste aspecte nu există încă o tendință clară care să poată fi extrapolată. Dar modelele actuale deschid deja numeroase posibilități noi de îmbunătățire a modelelor viitoare, posibilități care până de curând nu existau. Printre acestea se numără testarea unei diversități extraordinare de abordări la scară mică, analizarea unor cantități uriașe de date potențial relevante și realizarea unor cercetări matematice la nivelul problemelor „Premiului mileniului” pentru a aborda în moduri noi dificultăți legate de statistică sau optimizare. Fiecare nouă îmbunătățire face modelele mai utile pentru accelerarea următoarei îmbunătățiri, chiar dacă această evoluție se produce în moduri greu de extrapolat.

Este posibil ca îmbunătățirile aduse actualei arhitecturi tehnologice să aibă randamente descrescătoare, dar dovezile acumulate până acum sugerează că este mai ușor decât s-ar putea crede să continuăm să progresăm rapid. Metodologia actuală a cercetării în IA conține numeroase subtilități cardinale, dar cercetarea în IA este, în mare măsură, un joc bine definit, al cărui obiectiv este îmbunătățirea câtorva indicatori proxy atent aleși. Deși indicatorii proxy nu sunt niciodată perfecți, majoritatea îmbunătățirilor acestor indicatori au produs și probabil vor continua să producă sporuri substanțiale ale capacităților modelelor rezultate. Dat fiind cât de simplu este jocul, cât de ușor de abordat s-a dovedit el de-a lungul timpului și câte oportunități noi deschid modelele, cred că există o posibilitate reală ca sistemele să se îmbunătățească din nou spectaculos în următorii câțiva ani, poate chiar mai rapid decât ritmul deja ridicat observat până acum.

Modelele conduc deja la descoperiri importante în matematică, iar modele mai bune ar putea produce tot felul de progrese și în alte științe. Este greu să nu fii entuziasmat de acest potențial. Este extrem de tentant.

Dar există probleme în paradis. Dacă modelele lingvistice vor atinge într-adevăr pragul de capacitate la care pot modela lumea fără a mai fi constrânse de voința umană, probabil că vor face ceva extrem și vor distruge omenirea în acest proces. Există multe modalități de a consolida și rafina acest argument, discutate în alte locuri, dar voi prezenta aici o versiune banală, în două rânduri, care, după părerea mea, îi surprinde esența:

1. [Empiric] Modelele (și roiurile formate din ele) dezvoltă spontan, ca o consecință a antrenării, obiective neintenționate și fac adesea lucruri extreme pentru a le atinge.

2. [Logic] Capacitatea de a domina omenirea ar deschide multe opțiuni noi și indezirabile pentru atingerea obiectivelor lor.

Aceste două premise implică faptul că, dacă va veni vreodată ziua în care un model puternic își va da seama că nu mai este constrâns de oameni, nu ar trebui deloc să avem încredere că va continua să se comporte în limitele pe care le-am intenționat. Ce anume va face este imposibil de prezis, dar, în măsura în care rațiunea sa de a exista este rezolvarea unor probleme incredibil de dificile și gestionarea unor proiecte inginerești uriașe, cred că o presupunere rezonabilă ar fi că, odată scăpat de constrângeri, comportamentul său ar conduce la o industrializare necontrolată, care ar transforma planeta într-un loc nelocuibil pentru oameni.

Chiar dacă toți oamenii de pe Pământ ar fi de acord că sistemelor nu trebuie niciodată să li se permită să atingă o asemenea putere, tot ar exista o problemă de coordonare dificilă — deși nu imposibilă — pentru a ne asigura că acest lucru nu se întâmplă. Cred însă că situația este complicată enorm de faptul că modelele probabil îi vor convinge pe oameni că totul este în regulă. Ele vor fi optimizate din ce în ce mai mult pentru a părea aliniate. Vom crea indicatori proxy pentru a măsura alinierea, iar valorile lor vor crește, la fel ca în cazul tuturor celorlalte teste de performanță. Vom crea medii-capcană („honeypots”) prin care vom încerca să studiem modelele atunci când par să dobândească noi posibilități de acțiune, dar modelele vor ști că sunt păcălite și vor continua să se comporte frumos. Modelele își vor înțelege circumstanțele; vor citi protocoalele de siguranță, cerințele pentru utilizarea lor, codul în care rulează și, în general, vor înțelege foarte bine ce grade de libertate au. Mai mult, vor explica elocvent cât de bine sunt aliniate, vor discuta subtilitățile valorilor și eticii umane și vor argumenta convingător că oamenii ar trebui să le încredințeze putere. S-ar putea să existe în viitor un ocean de dovezi care aparent să contrazică primul punct de mai sus, dar este posibil ca noi să ne aflăm deja la cel mai ridicat nivel de capacitate pentru care asemenea dovezi mai pot fi considerate demne de încredere. Iar dovezile actuale în sprijinul primului punct sunt solide.

O dovadă frapantă este oferită de recentul val de roiuri de agenți scăpați de sub control. Deși sunt de acord cu cei care minimalizează atacurile susținând că ar fi putut fi prevenite prin măsuri elementare, cred că lecția importantă este alta: chiar cunoscând toate greșelile comise, nu am fi prezis că agenții se vor comporta rău tocmai în acest mod, ceea ce, aspect remarcabil, a inclus chiar sacrificarea lor în beneficiul colectivului. Replicile individuale nu erau preocupate doar de propria recompensă nominală; ele au manifestat tendințe emergente mai stranii, care în timpul antrenării nu făcuseră decât să fie corelate cu recompensele. Corectarea semnalelor de recompensă în timpul antrenării — și îmbunătățirea securității etc. — ar putea preveni atacuri similare, dar nu va schimba faptul că, în realitate, nu obții neapărat ceea ce încerci să antrenezi.

Mulți cercetători din domeniul IA acceptă aceste motive de îngrijorare și recunosc că versiunea dificilă a problemei alinierii nu a fost rezolvată; totuși, în general, ei cred că modelele mai bune din viitor ne vor ajuta să o rezolvăm. Mă tem că este posibil să ne aflăm deja aproape de momentul în care modelele își distorsionează sistematic recomandările privind alinierea, ca urmare a propriilor preferințe interne referitoare la modul în care va reacționa supervizorul uman sau la modul în care vor fi antrenate modelele viitoare — ori dintr-un motiv și mai obscur.

Între timp, cercetătorii umani își pierd atât capacitatea, cât și dorința de a-și asuma cu adevărat responsabilitatea pentru cercetarea realizată cu ajutorul modelelor. Cercetătorii și inginerii din toate componentele sistemului devin rapid tot mai dependenți de modele chiar și pentru a percepe lumea. Eu însumi aproape că nu mai privesc deloc codul brut și îmi este greu să-mi mențin disciplina necesară pentru a analiza în profunzime, de-a lungul zilei, explicațiile și propunerile modelului. Din cauza cantității uriașe de date referitoare la activitatea agenților implicată în Incidentul OpenAI/HuggingFace, chiar și investigația realizată de o parte terță a trebuit să se bazeze masiv pe modele pentru a analiza ceea ce se întâmplase, iar autorii notează în raportul lor că impresiile lor subiective sunt probabil influențate de prejudecățile agentului de analiză. Laboratoarele de IA sunt în prezent mult înaintea restului lumii în privința acestui tip de externalizare cognitivă — în mare parte datorită subvenționării interne uriașe a utilizării de tokenuri — dar este ușor de imaginat cum fenomenul s-ar putea răspândi în întreaga lume, până când civilizația va ajunge să fie modelată în întregime de aceste modele. Și nu este greu de imaginat că, la suprafață, această evoluție ar putea fi una pozitivă și ar putea coincide cu o renaștere științifică și economică.

Într-un asemenea scenariu, totul ar putea părea minunat și sigur. Dar, dacă argumentul de mai sus este corect, ar exista totuși o bombă cu ceas. Dacă progresul continuă prea mult timp, va veni ziua în care sistemele de IA se vor trezi având la dispoziție opțiuni radical noi pentru a realiza orice s-ar întâmpla să urmărească.

Îmi doresc la fel de mult ca oricine acel viitor al unei renașteri glorioase. Am muncit pentru el întreaga mea carieră, oricât de sinuos a fost drumul. Mi se rupe inima să văd acest potențial atât de aproape și să renunțăm la el, dar argumentul potrivit căruia dacă ajungem acolo prin simpla creștere și antrenare a modelelor, în loc să le proiectăm în mod controlat, în cele din urmă vom pierde totul mi se pare foarte puternic. Încă încerc să mă împac cu el și cu implicațiile sale uluitoare.

Nu am răspunsurile, dar, ca prim pas, am vrut să îmi fac publice preocupările actuale.

Daniel Selsam, 14 septembrie 2026”