Felet med dagens tester av AI-kodning

Det stör mig hur vi testar AI:s förmåga att koda. Vi ställer fel frågor.

Tänk dig att bedöma en förare genom att bara låta hen parkera parallellt en enda gång i solsken. Hen kanske lyckas perfekt. Men hur går det i rusningstrafik månad efter månad?

Precis så testar vi AI-kodare idag. Ett enda problem, en lösning. Koden körs, klart. Men riktig mjukvaruutveckling ser inte ut så.

Sådant är verklig kodning

I verkligheten slutar du inte efter första raden. Du:

• Lägger till funktioner som påverkar gammal kod
• Åtgärdar buggar som dyker upp långt senare
• Rensar upp i gammalt för att möta nya krav
• Säkerställer att inget annat går sönder

Det är kaotiskt, upprepat och kräver blick för framtiden. En snabb fix idag kan bli en mardröm om ett halvår.

SWE-CI: Testet för lång sikt

Forskare har nu fixat till detta med SWE-CI – det första benchmarket som granskar AI:s förmåga att sköta kod långsiktigt.

Inga enstaka uppgifter här. Istället speglar det äkta mjukvaruutveckling:

• 100 unika kodutmaningar
• Varje med i snitt 233 dagars utvecklingshistorik
• Kräver i genomsnitt 71 commits i rad
• Flera omgångar av analys och kodning

Spännande nog testar det underhållbarhet istället för bara funktionalitet.

Varför det här är stort

Ett kallt faktum: Underhåll slukar 60–80 procent av en mjukvarubudgets kostnader. Inte nya grejer – utan att hålla det befintliga vid liv.

Tidigare har vi bara kollat de lätta 20–40 procenten.

Forskarnas Lehman's Laws förklarar varför: Kod försämras naturligt över tid, som entropi. Utan aktivt arbete blir det rörigare med varje fix och nyhet.

Vad det betyder för AI

SWE-CI förändrar spelet i AI-utvärdering. Sluta fråga "Kan AI:n skriva fungerande kod?". Fråga istället "Kan AI:n skriva kod som funkar långsiktigt för människor?".

Skillnaden är enorm. En AI kan hårdkoda en temporär lösning som klarar testerna. En annan skapar ren, flexibel kod som är lätt att bygga vidare på. Idag får båda toppbetyg. I verkligheten vinner den andra stort.

Den stora bilden

Det här pekar på vad jag funderat mycket på: Vi behöver AI som tänker som seniorutvecklare, inte nybörjare.

Nybörjare får koden att funka. Seniorer bygger för förändring, felsökning och tillväxt. De tänker på den som tar över om ett halvår – kanske de själva.

SWE-CI är första testet som mäter den här typen av framåtblick.

Vad händer nu?

Jag ser fram emot resultaten från dagens AI-modeller på SWE-CI. Min magkänsla säger att de kämpar med långsiktigt underhåll, trots styrka i korta uppgifter.

Men det är bra – det visar vägen framåt. Sluta jaga snabbare kod. Fokusera på bättre kod som håller över tid.

Vad tycker du? Har du sett skillnad i AI-assistenter mellan snabba fixar och långa projekt? Berätta i kommentarerna!

Källa: https://arxiv.org/pdf/2603.03823