Yeniden paylaşım — içerik Julien Mutzenhardt tarafından
Kötü biçimlendirilmiş bir JSON için 17.000 € ceza: LLM'lerle yapılan ölümcül hata!
Bir geliştirici, şirketi için kritik dosyaların işlenmesinde büyük bir gecikmeye neden oldu. Sebep? Basit bir entegrasyon hatası. 
Oysa promptunda açıkça belirtmişti: "JSON olarak yanıtla." Sorun şu ki model, çok kibarca: "Elbette, işte bilgiler:" diye yanıtladı ve ardından kodunu ekledi.
Sonuç: ham bir JSON nesnesi bekleyen ayrıştırıcı, bir döngü içinde çöktü. 
Ders: Bir prompt yalnızca bir talimattır, bir zorunluluk değildir.
Bu, köpeğinize masadaki tavuğa dokunmamasını söyleyip sonra yatmaya gitmek gibidir. Yapay zeka modelini istenen biçime kesinlikle uymaya zorlayan hiçbir şey yoktur.
Gerçek çözüm: "Kısıtlı Kod Çözme"
Modelin metin talimatlarınıza uymasını ummak yerine, ona bir "JSON Şeması" verin (beklenen yanıtın tam planı; örneğin bir tutarın sayı olması gerektiğini tanımlamak için).
Kaputun altında nasıl çalışır?
LLM'in bir sonraki kelimeyi tüm sözlüğünden seçmesine izin vermek yerine, üretim motoru izin verilen "token"ları gerçek zamanlı olarak yeniden hesaplar. Örneğin, bir JSON nesnesini başlatmak için yalnızca açılış süslü parantezine { izin verir. Modelin başka seçeneği yoktur. Biçim böylece yapısı gereği geçerli hale gelir ve bu da gereksiz binlerce yeni denemenin (yeniden deneme) başlatılmasını önler! 
Aşırı karmaşık bir canavarı yeniden kodlamadan nasıl uygulanır?
JSON Şemanızı, işlemesini üstlenen standart API'lere (OpenAI veya Anthropic gibi) göndermeniz yeterlidir. Ve yapay zeka modelinizi yerel olarak barındırıyorsanız, vLLM gibi motorlar bunu aynı kolaylıkla halleder.
Üretimde rastgele işler yapmayı bırakın ve LLM'lerinizin çıktı verilerini güvence altına alın! 
Bu makalenin özeti yapay zeka tarafından oluşturulmuştur.
Peki siz, bir yapay zekanın beklenmedik yanıtı yüzünden uçuş ortasında patlayan bir sistem gördünüz mü hiç?
#YapayZeka #Geliştirme #JSON #LLM #OpenAI #VLLM #Programlama #Teknoloji
Konu hakkında benimle tartışmak veya becerilerimden yararlanmak isterseniz, bana özel mesaj veya görüntülü arama yoluyla ulaşabilirsiniz.
LinkedIn Kaynakları
- Profil: Pierre Jean Duvivier dit Sage (LinkedIn)
- Paylaşan yazar: Julien Mutzenhardt (LinkedIn)
🚨 Kötü biçimlendirilmiş bir JSON için 17.000 € ceza: LLM'lerle yapılan ölümcül hata! 🚨 başlıklı gönderi ilk olarak les plumes qui mordent sitesinde yayınlandı.
Sıkça Sorulan Sorular
SSS Kötü Biçimlendirilmiş bir JSON için 17.000 Ceza LLM'lerle Yapılan Ölümcül Hata
1 Bu 17.000 ceza neyle ilgili
Bir yapay zeka sisteminin hatalı biçimlendirilmiş JSON çıktısı ürettiği, bunun alt süreçleri bozduğu ve 17.000 tutarında mali cezaya yol açtığı gerçek bir vakaya atıfta bulunur. Çıktı biçimlendirmesinin neden önemli olduğuna dair uyarıcı bir örnek olarak kullanılır
2 JSON nedir
JSON, verileri anahtar-değer çiftleri, listeler ve iç içe nesneler olarak yapılandırmak için kullanılan basit bir metin biçimidir. Yazılımların veri alışverişi yapmasının standart yoludur
3 Kötü biçimlendirilmiş JSON ne demektir
Sözdizimi kurallarını ihlal eden JSON örneğin eksik tırnaklar, sondaki virgüller, kaçış yapılmamış karakterler, dengesiz parantezler veya nesnenin önünde/arkasında ek metin. Ayrıştırıcılar bunu reddeder
4 LLM'ler neden geçersiz JSON üretir
LLM'ler metni olasılıksal olarak üretir. Açıklamalar ekleyebilir, markdown kod blokları kullanabilir, alanları halüsine edebilir, çıktıyı kesebilir veya şemadan hafifçe sapabilir özellikle katı talimatlar veya doğrulama olmadan
5 Bir biçimlendirme hatası nasıl 17.000'e mal olabilir
Bir sistem LLM çıktısına körü körüne güvenirse, geçersiz JSON otomatik iş akışlarını çökertebilir, yanlış işlemlere yol açabilir, sözleşme/SLA cezalarını tetikleyebilir veya manuel düzeltmeleri zorunlu kılabilir. Küçük bir sözdizimi hatası gerçek finansal kayba dönüşebilir
6 LLM'lerin yaptığı en yaygın JSON hatası nedir
JSON'u markdown içine sarmak veya etrafına konuşma metni eklemek. Diğer sık sorunlar sondaki virgüller, tek tırnaklar ve kesilmiş çıktıdır
7 Bir LLM'in geçerli JSON döndürmesini nasıl sağlarım
Açıkça yalnızca JSON isteyin, açıklama olmasın; bir şema veya örnek sağlayın; düşük sıcaklık kullanın ve en önemlisi doğrulayın ve başarısızlık durumunda yeniden deneyin
8 JSON şema doğrulaması nedir
JSON'un beklenen bir yapıyla eşleştiğini kontrol etmenin bir yolu. JSON Schema doğrulayıcıları gibi araçlar hataları üretime ulaşmadan yakalar
9 LLM çıktısına kontrol etmeden güvenmeli miyim
Hayır. LLM çıktısını her zaman programatik olarak doğrulayın. Ona kullanıcı tarafından gönderilen veriler gibi güvenilmeyen girdi olarak davranın
10 LLM'lerde yapılandırılmış çıktılar veya JSON modu nedir
Bazı model sağlayıcıları tarafından sunulan ve kısıtlayan özellikler
