Das Problem mit den üblichen AI-Coding-Tests
Mich stört schon länger, wie wir die Programmierfähigkeiten von KI prüfen. Wir stellen einfach die falschen Fragen.
Stellt euch vor, ihr testet Fahrkünste nur mit einem perfekten Einparken. Klappt super – aber was ist mit Stau, Regen und Monaten auf der Straße?
Genau das machen wir bei KI-Coding-Assistenten. Ein Problem, eine Lösung, Code läuft – Erfolg! Doch echte Software-Entwicklung läuft total anders.
So sieht echtes Programmieren aus
Im Alltag schreibt man nicht einmal und fertig. Stattdessen:
- Neue Features in alten Code einbauen
- Bugs jagen, die Monate später auftauchen
- Alten Kram umbauen für frische Anforderungen
- Alles so ändern, dass nichts kaputtgeht
Das ist chaotisch, wiederholt sich ständig und braucht Blick für die Zukunft. Ein schneller Trick heute? Morgen ein Albtraum.
Hallo SWE-CI: Der Test für die Distanz
Forscher haben den Mangel erkannt und SWE-CI entwickelt – den ersten Benchmark für langfristige Code-Pflege.
Kein Einmal-Schuss, sondern Aufgaben wie in der Realität. Zum Beispiel:
- 100 Coding-Herausforderungen
- Jede mit durchschnittlich 233 Tagen Entwicklungszeit
- 71 Commits am Stück
- Mehrere Runden Analyse und Änderungen
Spannend: Hier geht's um wartbaren Code, nicht nur um funktionierenden Code.
Warum das wichtiger ist, als es scheint
Fakt: Wartung frisst 60-80 % der Software-Kosten. Die meiste Kohle geht drauf, alten Code am Laufen zu halten – nicht für Neues.
Bisher haben wir KI nur auf die leichten 20-40 % getestet.
Die Forscher zitieren Lehman's Laws: Software veraltet von allein, wird komplizierter, chaotischer. Wie physikalische Entropie – ohne Pflege wird's unübersichtlich.
Folgen für die KI-Entwicklung
SWE-CI dreht die Bewertung um. Nicht "Kann die KI Code schreiben?", sondern "Kann sie Code bauen, den Menschen langfristig nutzen?".
Der Unterschied? Riesig. Eine KI bastelt einen Hardcoded-Fix, der Tests knackt. Eine andere schreibt flexiblen, erweiterbaren Code. Heutige Tests geben beiden Top-Noten. Im echten Leben gewinnt der Zweite haushoch.
Der große Kontext
Das zeigt: Wir brauchen KI wie Senior-Entwickler, nicht wie Juniors.
Juniors machen's zum Laufen. Seniors sorgen für leichte Änderungen, Debugging, Erweiterungen. Sie denken an den Kollegen in sechs Monaten – vielleicht sich selbst.
SWE-CI prüft endlich diesen Weitblick.
Ausblick
Ich freue mich, wie aktuelle KI-Modelle bei SWE-CI abschneiden. Wetten, dass sie bei Langzeitpflege stolpern, trotz Stärke bei Einzeltasks?
Das ist gut – zeigt klare Ziele. Nicht mehr Code schneller spucken, sondern besseren Code, der hält.
Was meint ihr? Merkt ihr Unterschiede bei KI-Tools für Quick-Fixes vs. große Projekte? Erzählt in den Kommentaren!
Quelle: https://arxiv.org/pdf/2603.03823