Sdílení — obsah od Juliena Mutzenhardta
17 000 € na pokutách za špatně naformátovaný JSON: fatální chyba s LLM!
Vývojář způsobil masivní zpoždění ve zpracování klíčových souborů pro svou společnost. Důvod? Jednoduchá chyba v integraci. 
Přitom ve svém promptu jasně uvedl: „Odpověz v JSON.“ Problém je, že model velmi zdvořile odpověděl: „Samozřejmě, zde jsou informace:“, než vložil svůj kód.
Výsledek: parser, který očekával surový objekt JSON, spadl ve smyčce. 
Ponaučení: Prompt je pouze instrukce, nikoli povinnost.
Je to jako říct svému psovi, aby se nedotýkal kuřete na stole, a pak jít spát. Nic ve skutečnosti nenutí model umělé inteligence striktně dodržovat požadovaný formát.
Skutečné řešení: „Constrained Decoding“ (omezené dekódování)
Namísto spoléhání na to, že model vyhoví vašim textovým instrukcím, dejte mu „JSON Schema“ (přesný plán očekávané odpovědi, který například definuje, že částka musí být číslo).
Jak to funguje pod kapotou?
Namísto toho, aby LLM vybíral další slovo z celého svého slovníku, generovací engine přepočítává povolené „tokeny“ v reálném čase. Například pro zahájení objektu JSON povolí pouze levou složenou závorku {. Model nemá jinou možnost. Formát se tak stává platným už ze své konstrukce, což zabraňuje spouštění tisíců zbytečných nových pokusů (retries)! 
Jak to implementovat bez přepisování příliš složitého monstra?
Jednoduše pošlete své JSON Schema standardním API (jako OpenAI nebo Anthropic), která se postarají o jeho zpracování. A pokud hostujete svůj vlastní model AI lokálně, enginy jako vLLM to zvládnou stejně snadno.
Přestaňte v produkci dělat cokoli a zabezpečte výstupní data ze svých LLM! 
Shrnutí tohoto článku bylo vygenerováno AI.
A vy, viděli jste někdy systém vybouchnout za letu kvůli neočekávané odpovědi umělé inteligence?
#ArtificialIntelligence #Development #JSON #LLM #OpenAI #VLLM #Programming #Tech
Pokud byste chtěli se mnou diskutovat o tématu nebo využít mých dovedností, můžete mě kontaktovat přes PM nebo videohovor.
Zdroje LinkedIn
- Profil: Pierre Jean Duvivier dit Sage (LinkedIn)
- Sdílející autor: Julien Mutzenhardt (LinkedIn)
Příspěvek 🚨 17 000 € na pokutách za špatně naformátovaný JSON: fatální chyba s LLM! 🚨 se poprvé objevil na les plumes qui mordent.
Často kladené otázky
FAQs 17000 in Penalties for a Badly Formatted JSON The Fatal Mistake with LLMs
1 What is this 17000 penalty about
It refers to a realworld case where an AI system produced malformed JSON output which broke a downstream process and led to a financial penalty of 17000 Its used as a cautionary example of why output formatting matters
2 What is JSON
JSON is a simple text format for structuring data as keyvalue pairs lists and nested objects Its the standard way software exchanges data
3 What does badly formatted JSON mean
JSON that breaks the syntax rules for example missing quotes trailing commas unescaped characters unbalanced brackets or extra text beforeafter the object Parsers reject it
4 Why do LLMs produce invalid JSON
LLMs generate text probabilistically They may add explanations use markdown code fences hallucinate fields truncate output or slightly deviate from the schema especially without strict instructions or validation
5 How can a formatting error cost 17000
If a system blindly trusts LLM output invalid JSON can crash automated pipelines cause wrong transactions trigger contractSLA penalties or force manual fixes One small syntax error can cascade into real financial loss
6 Whats the most common JSON mistake LLMs make
Wrapping the JSON in markdown or adding conversational text around it Other frequent issues trailing commas single quotes and truncated output
7 How do I get an LLM to return valid JSON
Ask explicitly for JSON only no explanation provide a schema or example use low temperature and most importantly validate and retry on failure
8 What is JSON schema validation
A way to check that JSON matches an expected structure Tools like JSON Schema validators catch errors before they reach production
9 Should I trust LLM output without checking it
No Always validate LLM output programmatically Treat it as untrusted input just like usersubmitted data
10 What are structured outputs or JSON mode in LLMs
Features offered by some model providers that constrain
