Problema cu testele actuale pentru AI în programare

Mă deranjează cum evaluăm abilitățile AI la codat. Punem întrebări greșite.

Gândește-te așa: testezi un șofer doar cu o parcare perfectă, într-un loc gol. Reușește, bravo. Dar ce faci în trafic intens, ore întregi? Cam asta facem cu AI-urile de cod.

Cele mai multe teste dau o singură problemă. AI-ul scrie cod, funcționează, gata succes. Dar dezvoltarea reală nu merge așa.

Cum arată programarea adevărată

În practică, nu scrii cod o dată și pleci. Tot timpul:

• Adaugi funcții noi, care se leagă de ce există deja
• Repari bug-uri apărute după luni
• Reorganizezi cod vechi pentru cerințe noi
• Verifici să nu strici altceva

E un proces haotic, repetitiv. Trebuie să anticipezi viitorul. Un truc rapid azi devine coșmar mâine.

SWE-CI: Testul pe termen lung

Cercetătorii au observat problema. Au creat SWE-CI, primul benchmark care verifică mentenanța codului pe durată lungă.

Nu probleme izolate. Dau AI-urilor sarcini ca în evoluția reală a unui proiect:

• 100 de provocări distincte
• Fiecare cu istoric mediu de 233 de zile
• Cere 71 de commit-uri consecutive în medie
• Mai multe etape de analiză și codare

E revoluționar. Testează mentenanța codului, nu doar dacă funcționează acum.

De ce contează enorm

Statistică șocantă: mentenanța consumă 60-80% din bugetul unui proiect software. Majoritatea banilor merg pe întreținere, nu pe noutăți.

Până acum, testam doar 20-40% din job – partea ușoară.

Le spun Legile lui Lehman: software-ul se degradează natural, ca entropia. Fără efort constant, devine un haos.

Ce implică pentru AI

SWE-CI schimbă paradigma. Nu mai întreabăm „Poate scrie cod funcțional?”. Întrebăm „Poate scrie cod bun de lucrat pe termen lung?”.

Diferența e uriașă. Un AI face un fix rapid, cu hardcodări, trece testele. Altul scrie curat, extensibil. Acum, ambele iau puncte egale. În realitate, al doilea e aur.

Imaginea de ansamblu

Cercetarea asta subliniază un lucru esențial: avem nevoie de AI care gândește ca seniorii, nu ca juniorii.

Juniorii fac codul să meargă. Seniorii îl fac ușor de schimbat, debugat, extins. Gândesc la cel care moștenește codul peste șase luni – poate ei înșiși.

SWE-CI e primul test care verifică asta.

Ce urmează

Abia aștept rezultatele pe modelele actuale. Cred că vor da chix la mentenanță, chiar dacă rezolvă bine probleme punctuale.

Nu e rău. Ne arată drumul: nu mai mult cod rapid, ci cod bun, care rezistă.

Voi ce ziceți? Ați văzut diferențe la AI-uri între fixuri rapide și proiecte lungi? Spuneți în comentarii.

Sursă: arxiv.org/pdf/2603.03823