En sevdiğiniz LLM'in ürettiği koda hiç baktınız mı?
Ve her şeyden önce performansına, üretilen kodun ayrıntı düzeyi, üretim maliyeti ve betiğin yürütme hızı arasında?
OpenCode Go (ayda 10 USD) aracılığıyla, birkaç LLM'i basit bir istemle test ettim: "Mümkün olduğunca hızlı bir şekilde 100.000 girişli bir XML dosyasını tüketen bir PHP betiği yapın."
Sonunda, 6 LLM test ettim (şu anda DeepSeek v4.1 Flash'ı yoğun olarak kullanıyorum, ki bunu kodlama için olağanüstü buluyorum).
DeepSeek v4.1 Flash, Grok 4.7, Kimi K3.1 Pro, GPT-6 Luna, Gemini-5 Argon ve Claude Haiku 5.5.
Ve bu istek üzerine sonuçlar şu şekilde:
En kompakt kod GPT-6 Luna tarafından üretiliyor, 29 saniyede, 0.00156 USD maliyetle! Bu testin benim için büyük sürprizi: OpenAI, Luna ile DeepSeek'ten 10 kat daha ucuz…
En hızlı betik DeepSeek v4.1 Flash tarafından üretiliyor, dosya işlemede 528.000 giriş/s'ye ulaşıyor.
Gerçekten de 100.000 XML girişini ayrıştırmak yalnızca 189 ms sürüyor!
Akışta XMLReader kullanmayı seçiyor… ve en hızlısı.
Claude Haiku 5.5 de bu karşılaştırmada ucuz, kodu çok hızlı üretiyor (17 saniye), DeepSeek için 115 saniyeye (neredeyse 7 kat daha fazla) karşı, ancak yürütülmesi en yavaşlar arasında olan kod üretiyor.
Performans / hız / maliyet oranı açısından, üretilen kodun yürütme hızına öncelik verilirse, DeepSeek bu konuda önde.
Grok çok pahalı (DeepSeek'ten 20 kat daha fazla), ancak performansta ikinci sırada.
Luna, DeepSeek'ten 10 kat daha ucuz, performansta dördüncü sırada, son derece hızlı üretimle (29 saniye).
Bu küçük alıştırmada ilginç olan şey, sadece bir LLM'in işlevsel kod üretme yeteneğini değil, aynı zamanda doğru teknik seçimler yapma, gereksiz ayrıntıdan kaçınma ve gerçekten performanslı bir program üretme yeteneğini de ölçüyor olmamız.
Ve açıkça, en pahalı model mutlaka en iyi kodu üreten model değil.
Bu aynı zamanda başka bir sorunu da gösteriyor: hangi görevler için hangi modeller…
(İyi) orkestrasyon giderek daha önemli bir konu haline gelecek.
LinkedIn Kaynakları
- Profil: Pierre Jean Duvivier dit Sage (LinkedIn)
En sevdiğiniz LLM'in ürettiği koda hiç baktınız mı? yazısı ilk olarak les plumes qui mordent sitesinde yayınlandı.
Sıkça Sorulan Sorular
SSS En Sevdiğiniz LLM'in Ürettiği Koda Bakmak
1 Bir LLM'in ürettiği koda bakmak ne anlama gelir
Bir yapay zeka asistanının size verdiği kodu körü körüne kopyalayıp yapıştırmak yerine gerçekten okumak çalıştırmak ve gözden geçirmek anlamına gelir
2 Yapay zeka tarafından üretilen kodu neden okumalıyım
Çünkü LLM'ler kendinden emin bir şekilde yanlış olabilir Kodu okumak hataları güvenlik sorunlarını ve mantık hatalarını projenize ulaşmadan yakalamanıza yardımcı olur
3 Yapay zeka kodunu gözden geçirmek için uzman olmam gerekir mi
Hayır Temel okuma bile yardımcı olur sabit kodlanmış parolalar eksik hata işleme veya istediğinizle eşleşmeyen kod gibi bariz sorunları fark edebilirsiniz
4 LLM'ler kodda genellikle ne tür hatalar yapar
Tipik sorunlar arasında halüsinasyon gören işlevler veya kütüphaneler güncelliğini yitirmiş API'ler birer kayma hataları eksik uç durumlar ve güvenli olmayan varsayılanlar bulunur
5 Yapay zeka tarafından üretilen kod güvenlik açıkları içerebilir mi
Evet Modeller bazen SQL enjeksiyonu riskleri zayıf girdi doğrulama veya açığa çıkmış sırlar içeren kod üretir Yayınlamadan önce her zaman gözden geçirin
6 Kod neden bazen var olmayan işlevlere veya paketlere atıfta bulunur
LLM'ler akla yatkın görünen metni tahmin eder bu yüzden API'ler uydurabilirler Buna halüsinasyon denir içe aktarımların ve işlevlerin gerçekten var olduğunu her zaman doğrulayın
7 Yapay zeka tarafından üretilen kod genellikle doğru mudur
Genellikle yakındır ancak genellikle yakın olmak üretim için yeterince iyi değildir Ona son cevap değil ilk taslak olarak davranın
8 Yapay zeka kodunu kontrol etmenin en hızlı yolu nedir
Küçük bir test durumunda çalıştırın satır satır okuyun ve her içe aktarımın ve işlev çağrısının gerçek olduğunu kontrol edin Ardından uç durumları test edin
9 Yapay zeka tarafından üretilen kodu kendi kodumdan farklı şekilde test etmeli miyim
Pek değil ancak özellikle uç durumlar ve hata yolları açısından iyice test edin çünkü model bunları dikkate almamış olabilir
10 Yapay zeka kodu temiz ve iyi biçimlendirilmiş görünüyorsa güvenebilir miyim
Hayır Temiz biçimlendirme doğruluk hakkında hiçbir şey söylemez En inandırıcı görünen yapay zeka kodlarından bazıları incelikli şekilde bozuktur
11 Yapay zeka kodunu tamamen reddetmek yerine gözden geçirmenin faydaları nelerdir
Yapay zeka üretiminin hızına insan muhakemesinin güvenliğini eklersiniz ve genellikle yol boyunca yeni kalıplar veya yaklaşımlar öğrenirsiniz
12 Yapay zekanın güncelliğini yitirmiş bir kütüphane veya API kullanıp kullanmadığını nasıl anlarım
Kontrol edin
