O eroare AI a pus armata SUA în alertă

Armata americană ar fi fost la un pas de a intercepta o navă chineză după ce un raport realizat cu ajutorul AI a indicat în mod eronat că aceasta ar fi transportat componente pentru un program de arme nucleare.

Idei principale

• Armata SUA s-a pregătit să intercepteze o navă chineză pe baza unui raport de informații realizat cu ajutorul AI
• Un chatbot AI a identificat greșit încărcătura navei drept componente asociate unui program de arme nucleare
• Trupele se pregăteau să urce la bord, iar aeronave militare se aflau deja în aer când a fost descoperită eroarea, potrivit presei
• Analistul ar fi folosit AI atât pentru analiza informațiilor, cât și pentru redactarea raportului care prezenta concluziile
• Incidentul arată riscurile tratării răspunsurilor aparent convingătoare ale AI drept informații verificate
• Supravegherea umană funcționează doar atunci când oamenii verifică independent dovezile, nu când se limitează la aprobarea concluziilor generate de AI

Armata SUA se pregătea să abordeze o navă chineză – trupele erau gata de intervenție, iar aeronave militare se aflau deja în aer – când oficialii au descoperit că informațiile care stăteau la baza operațiunii erau greșite.

Potrivit unei investigații CNN, un chatbot bazat pe inteligență artificială identificase eronat încărcătura navei. Informația falsă a ajuns apoi într-un raport oficial de informații și a fost distribuită prin canalele militare.

În viața de zi cu zi, o „halucinație” AI poate însemna o recomandare proastă sau o informație incorectă. Într-un context militar, consecințele pot fi cu totul altele.

Cum a ajuns o eroare AI într-un raport militar

Incidentul a avut loc în această primăvară, pe fondul războiului cu Iranul, potrivit CNN, care citează patru persoane familiarizate cu situația.

Un analist care lucra cu un comandament pentru operațiuni speciale ar fi cerut unui chatbot AI să analizeze informații despre manifestul de marfă al unei nave chineze care traversa Orientul Mijlociu.

Sistemul a combinat informații din surse deschise cu date clasificate obținute de serviciile americane de informații prin interceptarea semnalelor. CNN nu a putut stabili dacă chatbotul era un produs disponibil comercial sau un sistem dezvoltat pentru guvern.

Chatbotul a concluzionat că nava transporta materiale asociate unui program de arme nucleare.

Concluzia era greșită.

Analistul ar fi apelat apoi din nou la AI, de această dată pentru a transforma concluziile într-un raport standard de informații, care a fost distribuit prin canalele militare. Documentul a declanșat pregătirile pentru interceptarea navei chineze.

Militari americani înarmați se pregăteau să urce la bord, iar aeronave militare decolaseră deja, potrivit surselor CNN.

Cu puțin timp înaintea operațiunii, oficialii care au analizat raportul mai atent au descoperit problema: chatbotul identificase greșit încărcătura navei. CNN precizează că nu a putut determina ce transporta aceasta în realitate.

Una dintre surse a descris raportul pentru CNN drept „complet fals”, iar alta a spus că incidentul „aproape a declanșat un război”.

AI poate părea sigur pe răspuns chiar și atunci când greșește complet

Sistemele de inteligență artificială generativă nu fac neapărat diferența între a „ști” ceva și a genera un răspuns care doar pare plauzibil.

Așa-numitele halucinații AI apar atunci când un model generează informații inexacte sau inventate și le prezintă într-o manieră convingătoare. În funcție de situație, AI poate inventa o sursă, poate confunda persoane sau locuri, poate interpreta greșit date sau poate formula concluzii care nu sunt susținute de informațiile disponibile.

Incidentul arată că o informație falsă generată de AI poate căpăta credibilitate pe măsură ce circulă în interiorul unei organizații.

În acest caz, eroarea nu a rămas într-o conversație cu un chatbot. A fost introdusă într-un raport și distribuită prin canale în care destinatarii se așteaptă, în mod normal, ca informațiile să fi trecut deja prin verificările necesare.

Pentagonul accelerează utilizarea AI

Incidentul are loc într-o perioadă în care armata americană își extinde rapid utilizarea inteligenței artificiale.

În ianuarie, Departamentul de Război al SUA a anunțat o strategie pentru accelerarea utilizării AI, menită să integreze tehnologii avansate de inteligență artificială în operațiunile militare, de informații și administrative.

Strategia prevede folosirea AI în domenii care variază de la luarea deciziilor pe câmpul de luptă și analiza informațiilor până la activități de rutină, departamentul considerând viteza un avantaj competitiv important.

Extinderea a continuat. La începutul acestei luni, departamentul a anunțat că ChatGPT și Grok s-au alăturat Gemini printre sistemele AI disponibile în GenAI.mil – un mediu securizat pentru inteligență artificială generativă.

Sursele CNN descriu însă adoptarea AI în armată și în comunitatea de informații drept decentralizată, diferite instrumente fiind utilizate în baza unor reguli și măsuri de protecție diferite. Potrivit acestora, nu există un standard unic care să stabilească modul în care trebuie verificate informațiile generate de AI.

Factorul uman rămâne important

Nava chineză nu a fost vizată în mod autonom de un sistem AI. Oamenii au fost cei care:

• au primit informațiile
• le-au interpretat
• au început pregătirile pentru operațiune
• au descoperit în cele din urmă eroarea și au oprit intervenția

Supravegherea umană nu conferă protecție dacă persoana care verifică un răspuns generat de AI pornește de la premiza că sistemul a făcut deja corect partea dificilă a muncii.

Lecția depășește domeniul informațiilor militare:

• Angajații din aproape toate domeniile folosesc tot mai des AI pentru a rezuma documente, a face cercetare, a analiza date, a redacta rapoarte și a formula recomandări
• Consumatorii apelează la AI pentru întrebări despre sănătate, finanțe și securitate
• Elevii și studenții îl folosesc pentru documentare
• Companiile integrează AI în fluxuri de lucru în care rezultatele generate pot influența decizii reale

AI poate fi extrem de util, dar informațiile pe care le generează trebuie verificate, nu acceptate ca adevărate doar pentru că par convingătoare.

Pe subiect:

Giganții tech spun că atacurile cu AI vor lua amploare

Noul Apple Watch îți ascultă conversațiile. Ce înseamnă asta pentru viața privată?

Ce este real și ce este generat cu AI? YouTube ia măsuri