Yapay Zeka Kodlama Testlerindeki Büyük Sorun
Yapay zekanın kodlama yeteneklerini nasıl test ettiğimizle ilgili bir şey canımı sıkıyor: yanlış sorular soruyoruz.
Şöyle düşünün — bir kişinin araba kullanma becerisini sadece mükemmel koşullarda tek seferlik paralel park yaptırarak test ettiğinizi hayal edin. Belki bunu başarır ama aylarca süren trafik yoğunluğunda nasıl araç kullanacağını kim bilir?
Yapay zeka kodlama asistanlarıyla da aynısını yapıyoruz. Çoğu test yapay zekaya tek bir problem verir ve bir çözüm bekler. Yapay zeka kod yazar, kod çalışır ve başarılı sayılır. Gerçek yazılım geliştirme hiç böyle değil.
Gerçek Kodlamanın Nasıl Göründüğü
Gerçek dünyada kodu bir kez yazıp öylece bırakmazsınız. Sürekli şunları yaparsınız:
- Mevcut kodla etkileşime giren yeni özellikler eklersiniz
- Aylar sonra ortaya çıkan hataları düzeltirsiniz
- Eski kodu yeni gereksinimlerle çalışacak şekilde yeniden yapılandırırsınız
- Değişikliklerinizin başka şeyleri bozmamasını sağlarsınız
Dağınık, yinelemeli bir süreçtir ve kodunuzun zaman içinde nasıl evrimleşeceğini düşünmeyi gerektirir. Bugün işe yarayan hızlı bir çözüm altı ay sonra kabus olabilir.
SWE-CI: Uzun Vadeli Düşünme Testi
Araştırmacılar sonunda bu açığı fark edip SWE-CI adlı bir sistem oluşturdular — yapay zekanın uzun vadeli kod bakımını gerçekten halledip halledemeyeceğini test eden ilk kıyaslama standardı.
Tek seferlik problemler yerine SWE-CI, yapay zeka ajanlarına gerçek yazılım evrimini yansıtan görevler veriyor:
- 100 farklı kodlama zorluğu
- Her biri ortalama 233 günlük geliştirme geçmişine yayılıyor
- Ortalama 71 ardışık commit gerektiriyor
- Çok sayıda analiz ve kodlama yinelemesi içeriyor
Bu çok ilginç çünkü yapay zekanın kod doğruluğu değil kod sürdürülebilirliği konusunda düşünüp düşünemeyeceğini test eden ilk deneme.
Bu Neden Bu Kadar Önemli
Şu istatistik oldukça çarpıcı: bakım faaliyetleri bir yazılım projesinin toplam maliyetinin %60-80'ini oluşturuyor. Yanlış okumadınız — geliştirme bütçenizin çoğu yeni özellikler yazmaya değil, mevcut kodu çalışır durumda tutmaya gidiyor.
Şimdiye kadar yapay zekayı işin kolay %20-40'lık kısmında test ediyorduk.
Araştırmacılar Lehman Yasaları denen bir kavramdan bahsediyor. Bu yasalar temelde yazılımın zaman içinde doğal olarak bozulduğunu, bunu aktif şekilde önlemezseniz durumun kötüleşeceğini söylüyor. Kod için entropi gibi — özellik ekledikçe ve hata düzelttikçe her şey doğal olarak daha karmaşık ve dağınık hale geliyor.
Bu Yapay Zeka Geliştirme İçin Ne Anlama Geliyor
SWE-CI'ın kodlama yapay zekasını değerlendirme şeklimizde büyük bir değişimi temsil ettiğini düşünüyorum. "Bu yapay zeka çalışan kod yazabilir mi?" yerine "Bu yapay zeka insanların uzun vadede gerçekten çalışabileceği kod yazabilir mi?" sorusunu sormalıyız.
Bu iki soru arasındaki fark çok büyük. Bir yapay zeka tüm testleri geçen hızlı bir çözüm kodlarken, başka bir yapay zeka temiz, genişletilebilir ve sonradan değiştirmesi kolay kod yazabilir. Mevcut test yöntemleriyle ikisi de aynı puanı alır. Ama gerçek dünya geliştirmesinde ikinci yaklaşım çok daha değerli.
Büyük Resim
Bu araştırma son zamanlarda çok düşündüğüm bir şeyi vurguluyor: junior değil, senior geliştirici gibi düşünen yapay zekaya ihtiyacımız var.
Junior geliştiriciler genelde kodun çalışmasına odaklanır. Senior geliştiriciler kodun değiştirilmesi, hata ayıklanması ve genişletilmesi kolay olmasına odaklanır. Altı ay sonra kodlarını devralacak geliştiriciyi düşünürler (ki bu kendileri olabilir).
SWE-CI bu tür uzun vadeli düşünceyi gerçekten test eden gördüğüm ilk kıyaslama standardı.
İleriye Bakış
Mevcut yapay zeka modellerinin SWE-CI'da nasıl performans göstereceğini görmeyi dört gözle bekliyorum. İçgüdüm çoğunun uzun vadeli bakım konularında zorlanacağını, bireysel kodlama problemlerinde harika olsalar bile.
Ama bu mutlaka kötü haber değil — gelişim için net bir yön veriyor. Yapay zekanın daha hızlı kod yazmasını sağlamak yerine, zamanın testine dayanacak daha iyi kod yazmasını sağlamalıyız.
Siz ne düşünüyorsunuz? Yapay zeka kodlama asistanlarının hızlı düzeltmeler ile uzun vadeli projeleri ele alma şekilleri arasında fark gözlemlediniz mi? Deneyimlerinizi yorumlarda duymak isterim.
Kaynak: https://arxiv.org/pdf/2603.03823