Varför hallucinerar AI så mycket?

Har du någon gång fått ett AI svar som låter så säkert att du nästan vill tatuera in det på armen, bara för att senare upptäcka att det var rent påhitt? Det här AI fenomenet kallas hallucinationer. OpenAI tror sig nu förstå varför det händer och diskussionen är i full gång om hur man kan få AI att hellre erkänna jag vet inte än att servera rena fantasier.

Belöningssystemet är en stor bov till hallucinationer

Forskare hos OpenAI menar att själva belöningssystemet är en stor bov i dramat. När modeller tränas får de högre poäng för att försöka ge ett svar än för att säga att de inte vet. Det är lite som ett prov i skolan där man alltid får pluspoäng för att gissa, även om svaret är galet. Resultatet blir en modell som hellre hittar på än lämnar frågan obesvarad. Det gör modellen bra på att prestera på tester men mindre bra på att leverera sanningen.

Här väcks en viktig fråga. Borde vi träna AI att våga erkänna osäkerhet? Om modellen faktiskt sa jag vet inte i stället för att slänga ur sig ett falskt påstående, skulle många problem lösas. Samtidigt skulle användare kanske känna sig besvikna när maskinen vägrar ge svar. Vi människor verkar föredra ett dåligt svar framför inget svar alls, och det smittar av sig på hur modellerna byggs.

AI är inte tränad på absoluta sanningar

Språkmodeller fungerar genom att förutspå nästa ord i en mening baserat på tidigare ord. Den här mekanismen gör dem otroligt skickliga på att efterlikna mänskligt språk. Men om det saknas tillräckligt med fakta i träningsmaterialet fyller modellen helt enkelt i luckorna med något som verkar rimligt. Den är inte ute efter sanningen utan efter det mest sannolika nästa ord.

Det är därför AI kan låta så övertygande även när den har helt fel. En modell som beskriver att Columbus seglade till Australien år 1492 kan framstå som självsäker, men bygger bara på att ordkombinationen låter trovärdig statistiskt sett. Det finns alltså ingen inbyggd moral eller faktakontroll, bara matematik.

Varför problemet inte är ett fel utan en funktion

Det intressanta är att forskarna menar att hallucinationer inte är misstag i klassisk mening. De är snarare en funktion av hur modellerna tränas. Eftersom utvärderingar och tester ofta straffar osäkerhet blir modellerna belönade när de chansar rätt, och det skapar en inbyggd kultur av självsäkra men ibland felaktiga svar.

Att lösa detta är inte lika enkelt som att bara mata in mer data. Man behöver tänka om hur vi utvärderar modeller. Kanske ska vi belöna ärlighet mer än snabbhet. Tänk dig en AI som får högsta poäng när den erkänner att den inte vet, istället för att alltid försöka låta smart. Det skulle i grunden förändra hur modeller utvecklas och hur vi människor använder dem.

Vill vi att AI ska hallucinera?

En del forskare menar att hallucinationer inte bara är en olycklig bieffekt utan en ofrånkomlig del av tekniken. Eftersom modeller bygger på sannolikheter kommer de alltid att skapa något som ibland är fel. Ju mer avancerade uppgifter, desto större risk att modellen fyller i med gissningar.

Det här leder till en filosofisk fråga. Vill vi ens ha en AI som aldrig hallucinerar? För att uppnå det krävs en extremt försiktig modell som kanske aldrig vågar ta risker. Men riskerna är också vad som gör att AI ibland överraskar oss med kreativa och användbara idéer. Att eliminera hallucinationer helt kan därför också betyda att vi förlorar något värdefullt.

Balansgången mellan fakta och fantasi

Det finns flera metoder som forskare experimenterar med för att minska hallucinationerna. En metod är att koppla modellen till externa databaser och sökmotorer. På så sätt kan den faktakolla sina svar i realtid innan den svarar. Detta kallas ofta retrieval augmented generation och används redan i vissa kommersiella lösningar som t.ex hos Google som sitter på en av världens största realtidsdataset.

En annan metod är att lära modellerna att uttrycka osäkerhet. Istället för att säga Paris är huvudstad i Mars kan modellen svara Jag är osäker men jag tror du menar Paris är huvudstad i Frankrike. Det gör svaren mer nyanserade och minskar risken för att människor tar felaktiga svar som absoluta sanningar.

Slutligen experimenterar forskare med att ändra själva belöningssystemen under träningen. Genom att premiera korrekthet framför blind självsäkerhet kan modellerna tränas till att prioritera sanningen även om det innebär att de ibland måste erkänna okunskap.

Men alla dessa lösningar har en baksida. Om vi gör AI för strikt och faktabunden riskerar vi att kväva dess kreativa sida. Kanske är det just blandningen av fakta och fantasi som gör tekniken så spännande. Frågan blir därför inte bara hur vi ska minska hallucinationerna, utan också hur mycket fantasi vi faktiskt vill behålla.