Udostępnij ponownie — treść autorstwa Juliena Mutzenhardta
17 000 € kar za źle sformatowany JSON: fatalny błąd z LLM!
Deweloper spowodował ogromne opóźnienie w przetwarzaniu kluczowych plików dla swojej firmy. Powód? Prosty błąd integracji. 
A przecież wyraźnie określił w swoim prompcie: „Odpowiedz w JSON”. Problem w tym, że model, bardzo uprzejmie, odpowiedział: „Oczywiście, oto informacje:”, po czym wstawił swój kod.
Rezultat: parser, który oczekiwał surowego obiektu JSON, zawiesił się w pętli. 
Lekcja: Prompt to tylko instrukcja, nie obowiązek.
To jak powiedzenie psu, żeby nie dotykał kurczaka na stole, a potem pójście spać. Nic tak naprawdę nie zmusza modelu sztucznej inteligencji do ścisłego przestrzegania żądanego formatu.
Prawdziwe rozwiązanie: „Constrained Decoding”
Zamiast liczyć, że model zastosuje się do twoich instrukcji tekstowych, daj mu „JSON Schema” (dokładny plan oczekiwanej odpowiedzi, aby zdefiniować na przykład, że kwota musi być liczbą).
Jak to działa pod maską?
Zamiast pozwalać LLM wybrać następne słowo z całego swojego słownika, silnik generowania przelicza dozwolone „tokeny” w czasie rzeczywistym. Na przykład, aby rozpocząć obiekt JSON, pozwoli tylko na nawias otwierający {. Model nie ma innego wyboru. Format staje się tym samym poprawny z konstrukcji, co pozwala uniknąć uruchamiania tysięcy niepotrzebnych nowych prób (retries)! 
Jak to wdrożyć bez przepisywania zbyt skomplikowanego potwora?
Po prostu wyślij swój JSON Schema do standardowych API (takich jak OpenAI lub Anthropic), które zajmą się jego przetworzeniem. A jeśli hostujesz swój własny model AI lokalnie, silniki takie jak vLLM radzą sobie z tym równie łatwo.
Przestań robić byle co na produkcji i zabezpiecz dane wyjściowe swoich LLM! 
Streszczenie tego artykułu zostało wygenerowane przez AI.
A ty, czy widziałeś kiedyś system, który wysadził się w powietrze w trakcie działania z powodu nieoczekiwanej odpowiedzi sztucznej inteligencji?
#ArtificialIntelligence #Development #JSON #LLM #OpenAI #VLLM #Programming #Tech
Jeśli chciałbyś omówić ze mną temat lub wykorzystać moje umiejętności, możesz skontaktować się ze mną przez wiadomość prywatną lub rozmowę wideo.
Źródła LinkedIn
- Profil: Pierre Jean Duvivier dit Sage (LinkedIn)
- Autor udostępnienia: Julien Mutzenhardt (LinkedIn)
Wpis 🚨 17 000 € kar za źle sformatowany JSON: fatalny błąd z LLM! 🚨 pojawił się najpierw na les plumes qui mordent.
Najczęściej zadawane pytania
FAQs 17000 in Penalties for a Badly Formatted JSON The Fatal Mistake with LLMs
1 What is this 17000 penalty about
It refers to a realworld case where an AI system produced malformed JSON output which broke a downstream process and led to a financial penalty of 17000 Its used as a cautionary example of why output formatting matters
2 What is JSON
JSON is a simple text format for structuring data as keyvalue pairs lists and nested objects Its the standard way software exchanges data
3 What does badly formatted JSON mean
JSON that breaks the syntax rules for example missing quotes trailing commas unescaped characters unbalanced brackets or extra text beforeafter the object Parsers reject it
4 Why do LLMs produce invalid JSON
LLMs generate text probabilistically They may add explanations use markdown code fences hallucinate fields truncate output or slightly deviate from the schema especially without strict instructions or validation
5 How can a formatting error cost 17000
If a system blindly trusts LLM output invalid JSON can crash automated pipelines cause wrong transactions trigger contractSLA penalties or force manual fixes One small syntax error can cascade into real financial loss
6 Whats the most common JSON mistake LLMs make
Wrapping the JSON in markdown or adding conversational text around it Other frequent issues trailing commas single quotes and truncated output
7 How do I get an LLM to return valid JSON
Ask explicitly for JSON only no explanation provide a schema or example use low temperature and most importantly validate and retry on failure
8 What is JSON schema validation
A way to check that JSON matches an expected structure Tools like JSON Schema validators catch errors before they reach production
9 Should I trust LLM output without checking it
No Always validate LLM output programmatically Treat it as untrusted input just like usersubmitted data
10 What are structured outputs or JSON mode in LLMs
Features offered by some model providers that constrain
