Meta lär sin AI förstå kod på riktigt med CWM

Meta har tröttnat på att AI-botar bara kan gissa sig fram till nästa rad kod som en förvirrad praktikant. Med sin nya modell, Code World Model (CWM), vill de skapa en AI som faktiskt förstår vad koden gör, inte bara hur den ser ut. Det här kan bli början på en ny era där AI inte längre skriver kod som blir till enda röra av att felsöka.

Den heta kampen mot dum AI kod

AI som skriver kod har länge varit som en papegoja med tangentbord, den kan upprepa mönster men saknar förståelse för varför något fungerar. Traditionella språkmodeller tränas för att förutspå nästa rad kod, ungefär som att skriva meningar utan att förstå grammatiken. Meta menar att det här är som att försöka laga en bil genom att gissa vilket verktyg som låter rätt, imponerande ibland, men katastrofalt ofta.

CWM däremot försöker tänka mer som en riktig utvecklare. Den lär sig inte bara hur kod ser ut, utan också vad som händer när den körs. Det är som att ge en papegoja inte bara manus, utan också en hjärna.

Hur Meta:s CWM faktiskt funkar

CWM tränas på massiva mängder data som visar hur kod beter sig när den körs. Det handlar om två sorters information:

1. Mönster från Python-kod – alltså steg-för-steg-historik över hur variabler förändras medan programmet körs. Det är som att låta AI:n se kodens dagbok, inte bara dess slutresultat.
2. Agent-träning i Docker-miljöer – där en simulerad utvecklaragent (ForagerAgent) utför uppgifter som att fixa buggar och lägga till funktioner.

Genom att analysera detta lär sig CWM hur kod beter sig i verkligheten – inte bara på pappret. Det gör att modellen kan testa sin egen kod, jämföra förväntade resultat med verkligheten och sedan rätta sig själv. Lite som en utvecklare som faktiskt testar sin kod innan han skickar in den (en sällsynt art).

Resultatet är en AI modell som börjar fatta grejen med kod

Meta:s forskare körde CWM på en modell med 32 miljarder parametrar och en enorm kontext på 131 000 tokens. Resultaten? Rätt imponerande. På benchmarktester som SWE-bench Verified klarade den 65,8% av uppgifterna, bättre än andra öppna modeller i samma storlek. Den briljerade även i programmeringstävlingar och matteproblem, vilket tyder på att den börjar resonera snarare än bara kopiera.

Men det finns begränsningar. CWM är fortfarande bara en forskningsmodell, inte någon AI-assistent som du kan be bygga din startup. Den är licensierad för icke-kommersiellt bruk och har inte finjusterats för vardagligt snack. Men Meta ser detta som ett första steg mot AI som förstår världen snarare än bara texten i den.

Har Meta väckt ett medvetande?

Det här handlar inte bara om kod. Forskare har länge försökt ge AI något som liknar ett “världsmedvetande” – en intern förståelse för hur saker hänger ihop. Tidigare försök som chain-of-thought-metoden har fått modeller att “tänka högt”, men det är fortfarande bara text. Det låtsas-tänkande, inte verklig förståelse.

CWM, däremot, bygger en faktisk intern modell av hur världen (eller kodvärlden) fungerar. Det kan bli nyckeln till framtida AI-system som inte bryter ihop vid minsta förändring i sin miljö. Som Meta själva uttrycker det: det här är bara början.

Källor

https://venturebeat.com/ai/metas-new-cwm-model-learns-how-code-works-not-just-what-it-looks-like