Yapay zeka araçlarının kodlama sürecine entegre edilmesi, geliştiricilerin salt yazmaya giderek daha az zaman ayırıp, otomatik olarak oluşturulan kodu denetlemeye ve optimize etmeye giderek daha fazla zaman ayırmasını sağlayan daha derin bir değişimin sadece görünen kısmı.
Zaten devam eden bu geçiş, yazılım geliştiricisinin rolünü yeniden tanımlıyor ve yalnızca kodun oluşturulmasını değil, aynı zamanda geliştirme ortamıyla akıllı etkileşim yoluyla hata ayıklamasını da iyileştirebilecek araçların yaratılmasına yönelik yeni senaryolar açıyor.
GitHub CEO'su Thomas Dohmke'nin öngörüleri açık ve net. Yakında kodun %80'i Copilot veya benzeri araçlarla yazılacak. Bu geleceğe yönelik bir vizyon değil, halihazırda devam eden bir süreçtir. Y Combinator'dan Garry Tan, son gruptaki girişimlerin dörtte biri için kodların %95'inin büyük dil modelleri kullanılarak yazıldığını açıkladı. Bu paradigma değişiminin geliştiricinin rolü açısından derin etkileri bulunmaktadır.
Aslında bugün çoğu programcı yeni kod yazmaktan çok hataları düzeltmeye zaman harcıyor. Popüler açık kaynaklı depoların bakıcıları olarak, birçok geliştirici sorunları gidermek, çekme isteklerini incelemek ve hataları düzeltmek için sayısız saat harcıyor. O zaman asıl soru şu oluyor. Bir yapay zeka yüzlerce açık sorun için çözümler önerebilseydi ve geliştiricilerin bunları entegre etmeden önce onaylamaları yeterli olsaydı ne olurdu?
Bu bakış açısı, araştırmacıları yapay zeka araçlarının yalnızca kod üretmedeki değil, her şeyden önce hata ayıklamadaki, yani yazılım geliştirmenin en zorlu kısmını temsil eden hataları belirleme ve düzeltmenin etkileşimli ve yinelemeli sürecindeki potansiyelini keşfetmeye motive etmiştir.
Programlama için kullanılan mevcut yapay zeka araçları kesinlikle üretkenliği artırıyor ve mevcut kod ve hata mesajlarına dayalı olarak hatalara çözüm önermede mükemmel. Ancak bu araçlar, insan geliştiricilerin aksine, önerilen çözümler başarısız olduğunda ek bilgi aramaz ve bu da bazı daha karmaşık sorunları çözümsüz bırakır. Bu sınırlamanın basit bir örneği, bir veri sütununun yanlış etiketlenmesidir. Yapay zeka, sağlanan ilk bilginin ötesinde araştırma yapma yeteneğinden yoksun bırakılır.
Aracılar, çözüm hakkında yeterince güven duyduklarında kodu araştırmak veya yeniden yazmak için bu araçlarla etkileşime girebilirler. Uygun araçlarla etkileşimli hata ayıklama, kodlama aracılarının gerçek dünya yazılım mühendisliği görevlerini ele almasını sağlayabilir ve büyük dil modelleri (LLM) tabanlı aracılar üzerine yapılan araştırmalarda merkezi bir unsuru temsil eder.
Debug-gym, depo düzeyindeki bilgileri işlemek, izole edilmiş Docker kapsayıcılarında kod çalıştırarak sağlam ve güvenli olmak, yeni araçlarla kolayca genişletilebilir olmak ve modern LLM tabanlı aracılarla tam uyumlu olacak şekilde metin tabanlı olmak üzere tasarlanmıştır. En ilgi çekici özelliklerden biri, herhangi bir özel depoyla çalışmak için bir klasör yolu belirtme ve hata ayıklama aracısının performansını değerlendirme yeteneğidir.
Ayrıca, debug-gym, etkileşimli hata ayıklamada LLM tabanlı aracıların performansını ölçmek için üç kodlama kıyaslaması içerir. Basit fonksiyon düzeyinde kod üretimi için Aider, hatalı kodun elle oluşturulmuş örnekleri için kısaca Mini-nightmare ve büyük bir kod tabanının kapsamlı bir şekilde anlaşılmasını gerektiren gerçek dünya kodlama sorunları için SWE-bench.
Bu sınırlamanın, mevcut LLM eğitim korpusunda sıralı karar alma davranışlarını hata ayıklama izleri gibi temsil eden verilerin yetersizliğinden kaynaklandığı düşünülmektedir. Ancak, hata ayıklama araçları olmayan ajanlara kıyasla önemli performans iyileştirmesi, bunun umut verici bir araştırma alanı olduğunu doğruluyor.
Araştırmacılar, gelecekte LLM'lerin eğitilmesi veya ince ayarlanmasının, etkileşimli hata ayıklama yeteneklerini önemli ölçüde artırabileceğine inanıyor. Bu, bir düzeltme önermeden önce bilgi toplamak için bir hata ayıklayıcıyla etkileşim kuran etkenleri kaydeden yörünge verileri gibi özel verileri gerektirecektir. Geleneksel akıl yürütme problemlerinden farklı olarak, etkileşimli hata ayıklama, her adımda çevreden geri bildirim tetikleyen eylemler üretmeyi içerir.
Zaten devam eden bu geçiş, yazılım geliştiricisinin rolünü yeniden tanımlıyor ve yalnızca kodun oluşturulmasını değil, aynı zamanda geliştirme ortamıyla akıllı etkileşim yoluyla hata ayıklamasını da iyileştirebilecek araçların yaratılmasına yönelik yeni senaryolar açıyor.
GitHub CEO'su Thomas Dohmke'nin öngörüleri açık ve net. Yakında kodun %80'i Copilot veya benzeri araçlarla yazılacak. Bu geleceğe yönelik bir vizyon değil, halihazırda devam eden bir süreçtir. Y Combinator'dan Garry Tan, son gruptaki girişimlerin dörtte biri için kodların %95'inin büyük dil modelleri kullanılarak yazıldığını açıkladı. Bu paradigma değişiminin geliştiricinin rolü açısından derin etkileri bulunmaktadır.
Aslında bugün çoğu programcı yeni kod yazmaktan çok hataları düzeltmeye zaman harcıyor. Popüler açık kaynaklı depoların bakıcıları olarak, birçok geliştirici sorunları gidermek, çekme isteklerini incelemek ve hataları düzeltmek için sayısız saat harcıyor. O zaman asıl soru şu oluyor. Bir yapay zeka yüzlerce açık sorun için çözümler önerebilseydi ve geliştiricilerin bunları entegre etmeden önce onaylamaları yeterli olsaydı ne olurdu?
Bu bakış açısı, araştırmacıları yapay zeka araçlarının yalnızca kod üretmedeki değil, her şeyden önce hata ayıklamadaki, yani yazılım geliştirmenin en zorlu kısmını temsil eden hataları belirleme ve düzeltmenin etkileşimli ve yinelemeli sürecindeki potansiyelini keşfetmeye motive etmiştir.
Programlama için kullanılan mevcut yapay zeka araçları kesinlikle üretkenliği artırıyor ve mevcut kod ve hata mesajlarına dayalı olarak hatalara çözüm önermede mükemmel. Ancak bu araçlar, insan geliştiricilerin aksine, önerilen çözümler başarısız olduğunda ek bilgi aramaz ve bu da bazı daha karmaşık sorunları çözümsüz bırakır. Bu sınırlamanın basit bir örneği, bir veri sütununun yanlış etiketlenmesidir. Yapay zeka, sağlanan ilk bilginin ötesinde araştırma yapma yeteneğinden yoksun bırakılır.
Debug-gym: Yapay zekaya aktif olarak bilgi aramayı öğretmek için bir ortam
Bu sınırlamaların üstesinden gelmek için, kod onarım aracılarının etkin bilgi arama davranışı için araçlara erişmesine olanak tanıyan bir ortam olan debug-gym doğdu. Bu platform, özel araçların kullanımından elde edilen geri bildirimlerle bir yapay zeka aracısının eylem ve gözlem alanını genişleterek kesme noktaları belirlemenize, kod içinde gezinmenize, değişken değerlerini yazdırmanıza ve test işlevleri oluşturmanıza olanak tanır.Aracılar, çözüm hakkında yeterince güven duyduklarında kodu araştırmak veya yeniden yazmak için bu araçlarla etkileşime girebilirler. Uygun araçlarla etkileşimli hata ayıklama, kodlama aracılarının gerçek dünya yazılım mühendisliği görevlerini ele almasını sağlayabilir ve büyük dil modelleri (LLM) tabanlı aracılar üzerine yapılan araştırmalarda merkezi bir unsuru temsil eder.
Debug-gym, depo düzeyindeki bilgileri işlemek, izole edilmiş Docker kapsayıcılarında kod çalıştırarak sağlam ve güvenli olmak, yeni araçlarla kolayca genişletilebilir olmak ve modern LLM tabanlı aracılarla tam uyumlu olacak şekilde metin tabanlı olmak üzere tasarlanmıştır. En ilgi çekici özelliklerden biri, herhangi bir özel depoyla çalışmak için bir klasör yolu belirtme ve hata ayıklama aracısının performansını değerlendirme yeteneğidir.
Ayrıca, debug-gym, etkileşimli hata ayıklamada LLM tabanlı aracıların performansını ölçmek için üç kodlama kıyaslaması içerir. Basit fonksiyon düzeyinde kod üretimi için Aider, hatalı kodun elle oluşturulmuş örnekleri için kısaca Mini-nightmare ve büyük bir kod tabanının kapsamlı bir şekilde anlaşılmasını gerektiren gerçek dünya kodlama sorunları için SWE-bench.
İlk deneylerden geleceğe dair beklentilere
Debug-gym ile ilgili ilk deneyler ümit verici sonuçlar verdi ancak aynı zamanda önemli zorlukları da ortaya çıkardı. Dokuz farklı LLM'yi temel alarak, eval, view, pdb, rewrite ve listdir gibi hata ayıklama araçlarına erişim sağlayan basit bir komut istemi tabanlı aracı sağlandı. Bu araçlarla bile ajan, SWE-bench Lite sorunlarının yarısından fazlasını nadiren çözüyor.Bu sınırlamanın, mevcut LLM eğitim korpusunda sıralı karar alma davranışlarını hata ayıklama izleri gibi temsil eden verilerin yetersizliğinden kaynaklandığı düşünülmektedir. Ancak, hata ayıklama araçları olmayan ajanlara kıyasla önemli performans iyileştirmesi, bunun umut verici bir araştırma alanı olduğunu doğruluyor.
Araştırmacılar, gelecekte LLM'lerin eğitilmesi veya ince ayarlanmasının, etkileşimli hata ayıklama yeteneklerini önemli ölçüde artırabileceğine inanıyor. Bu, bir düzeltme önermeden önce bilgi toplamak için bir hata ayıklayıcıyla etkileşim kuran etkenleri kaydeden yörünge verileri gibi özel verileri gerektirecektir. Geleneksel akıl yürütme problemlerinden farklı olarak, etkileşimli hata ayıklama, her adımda çevreden geri bildirim tetikleyen eylemler üretmeyi içerir.
