Del på nytt — innhold av Julien Mutzenhardt
17 000 € i bøter for en dårlig formatert JSON: den fatale feilen med LLM-er!
En utvikler forårsaket en massiv forsinkelse i behandlingen av kritiske filer for selskapet sitt. Årsaken? En enkel integrasjonsfeil. 
Likevel hadde han tydelig spesifisert i prompten sin: «Svar i JSON.» Problemet er at modellen, veldig høflig, svarte: «Selvfølgelig, her er informasjonen:», før den satte inn koden sin.
Resultat: parseren, som forventet et rå JSON-objekt, krasjet i en løkke. 
Lærdommen: En prompt er bare en instruksjon, ikke en forpliktelse.
Det er som å si til hunden din at den ikke skal ta på kyllingen på bordet, og deretter gå og legge deg. Ingenting tvinger faktisk den kunstige intelligensmodellen til å strengt adlyde det forespurte formatet.
Den virkelige løsningen: «Constrained Decoding»
I stedet for å håpe at modellen etterlever tekstinstruksjonene dine, gi den et «JSON Schema» (den nøyaktige blåkopien av den forventede responsen, for eksempel for å definere at et beløp må være et tall).
Hvordan fungerer det under panseret?
I stedet for å la LLM-en velge det neste ordet fra hele vokabularet sitt, beregner genereringsmotoren de tillatte «tokenene» på nytt i sanntid. For eksempel, for å starte et JSON-objekt, vil den bare tillate åpningsklammen {. Modellen har ikke noe annet valg. Formatet blir dermed gyldig ved konstruksjon, noe som unngår å starte tusenvis av unødvendige nye forsøk (retries)! 
Hvordan implementere det uten å rekode et altfor komplekst monster?
Bare send JSON Schemaet ditt til standard-API-ene (som OpenAI eller Anthropic), som tar seg av å behandle det. Og hvis du hoster din egen AI-modell lokalt, håndterer motorer som vLLM det like enkelt.
Slutt å gjøre hva som helst i produksjon og sikre utdataene fra LLM-ene dine! 
Sammendraget av denne artikkelen ble generert av AI.
Og du, har du noen gang sett et system eksplodere midt i flukten på grunn av en uventet respons fra en kunstig intelligens?
#ArtificialIntelligence #Development #JSON #LLM #OpenAI #VLLM #Programming #Tech
Hvis du ønsker å diskutere temaet med meg eller benytte deg av mine ferdigheter, kan du kontakte meg via PM eller videosamtale.
LinkedIn-kilder
- Profil: Pierre Jean Duvivier dit Sage (LinkedIn)
- Delt forfatter: Julien Mutzenhardt (LinkedIn)
Innlegget 🚨 17 000 € i bøter for en dårlig formatert JSON: den fatale feilen med LLM-er! 🚨 dukket først opp på les plumes qui mordent.
Ofte stilte spørsmål
FAQs 17000 in Penalties for a Badly Formatted JSON The Fatal Mistake with LLMs
1 What is this 17000 penalty about
It refers to a realworld case where an AI system produced malformed JSON output which broke a downstream process and led to a financial penalty of 17000 Its used as a cautionary example of why output formatting matters
2 What is JSON
JSON is a simple text format for structuring data as keyvalue pairs lists and nested objects Its the standard way software exchanges data
3 What does badly formatted JSON mean
JSON that breaks the syntax rules for example missing quotes trailing commas unescaped characters unbalanced brackets or extra text beforeafter the object Parsers reject it
4 Why do LLMs produce invalid JSON
LLMs generate text probabilistically They may add explanations use markdown code fences hallucinate fields truncate output or slightly deviate from the schema especially without strict instructions or validation
5 How can a formatting error cost 17000
If a system blindly trusts LLM output invalid JSON can crash automated pipelines cause wrong transactions trigger contractSLA penalties or force manual fixes One small syntax error can cascade into real financial loss
6 Whats the most common JSON mistake LLMs make
Wrapping the JSON in markdown or adding conversational text around it Other frequent issues trailing commas single quotes and truncated output
7 How do I get an LLM to return valid JSON
Ask explicitly for JSON only no explanation provide a schema or example use low temperature and most importantly validate and retry on failure
8 What is JSON schema validation
A way to check that JSON matches an expected structure Tools like JSON Schema validators catch errors before they reach production
9 Should I trust LLM output without checking it
No Always validate LLM output programmatically Treat it as untrusted input just like usersubmitted data
10 What are structured outputs or JSON mode in LLMs
Features offered by some model providers that constrain
