🚨 17 000 euro i straffavgifter för en felaktigt formaterad JSON: det fatala misstaget med LLM:er! 🚨

Dela igen — innehåll av Julien Mutzenhardt

17 000 € i böter för en felformaterad JSON: det fatala misstaget med LLM:er!

En utvecklare orsakade en massiv försening i bearbetningen av kritiska filer för sitt företag. Anledningen? Ett enkelt integrationsfel.

Ändå hade han tydligt specificerat i sin prompt: "Svara i JSON." Problemet är att modellen, mycket artigt, svarade: "Naturligtvis, här är informationen:", innan den infogade sin kod.

Resultat: parsern, som förväntade sig ett rått JSON-objekt, kraschade i en loop.

Lärdomen: En prompt är bara en instruktion, inte en skyldighet.

Det är som att säga till sin hund att inte röra kycklingen på bordet och sedan gå och lägga sig. Ingenting tvingar faktiskt den artificiella intelligensmodellen att strikt följa det begärda formatet.

Den verkliga lösningen: "Constrained Decoding"

Istället för att hoppas att modellen följer dina textinstruktioner, ge den ett "JSON Schema" (den exakta ritningen av det förväntade svaret, för att till exempel definiera att ett belopp måste vara en siffra).

Hur fungerar det under huven?

Istället för att låta LLM:en välja nästa ord från hela sitt ordförråd, räknar genereringsmotorn om de tillåtna "tokens" i realtid. Till exempel, för att starta ett JSON-objekt, tillåter den bara den inledande klammerparentesen {. Modellen har inget annat val. Formatet blir därmed giltigt genom konstruktion, vilket undviker att starta tusentals onödiga nya försök (retries)!

Hur implementerar man det utan att koda om ett alltför komplext monster?

Skicka helt enkelt ditt JSON Schema till standard-API:erna (som OpenAI eller Anthropic), som tar hand om att bearbeta det. Och om du hostar din egen AI-modell lokalt, hanterar motorer som vLLM det lika enkelt.

Sluta göra vad som helst i produktion och säkra utdatadatan från dina LLM:er!

Sammanfattningen av denna artikel genererades av AI.

Och du, har du någonsin sett ett system explodera mitt under flygning på grund av ett oväntat svar från en artificiell intelligens?

#ArtificialIntelligence #Development #JSON #LLM #OpenAI #VLLM #Programming #Tech

Om du vill diskutera ämnet med mig eller dra nytta av mina färdigheter kan du kontakta mig via PM eller videosamtal.

LinkedIn-källor

• Profil: Pierre Jean Duvivier dit Sage (LinkedIn)
• Delad författare: Julien Mutzenhardt (LinkedIn)

Inlägget 🚨 17 000 € i böter för en felformaterad JSON: det fatala felet med LLM:er! 🚨 dök först upp på les plumes qui mordent.

Vanliga frågor
Vanliga frågor 17000 i böter för en felformaterad JSON Det fatala misstaget med LLM:er

1 Vad handlar dessa 17000 i böter om
Det hänvisar till ett verkligt fall där ett AI-system producerade felformaterad JSON-utdata som bröt en nedströmsprocess och ledde till en ekonomisk påföljd på 17000 Det används som ett varnande exempel på varför utdataformatering spelar roll

2 Vad är JSON
JSON är ett enkelt textformat för att strukturera data som nyckel-värdepar listor och nästlade objekt Det är det standardmässiga sättet programvara utbyter data

3 Vad betyder felformaterad JSON
JSON som bryter mot syntaxreglerna till exempel saknade citattecken avslutande kommatecken oescapade tecken obalanserade parenteser eller extra text före/efter objektet Parsers avvisar det

4 Varför producerar LLM:er ogiltig JSON
LLM:er genererar text probabilistiskt De kan lägga till förklaringar använda markdown-kodstaket hallucinera fält trunkera utdata eller avvika något från schemat särskilt utan strikta instruktioner eller validering

5 Hur kan ett formateringsfel kosta 17000
Om ett system blint litar på LLM-utdata kan ogiltig JSON krascha automatiserade pipelines orsaka felaktiga transaktioner utlösa kontrakts-SLA-påföljder eller tvinga fram manuella åtgärder Ett litet syntaxfel kan kaskadera till verklig ekonomisk förlust

6 Vilket är det vanligaste JSON-misstaget LLM:er gör
Att linda in JSON i markdown eller lägga till konversationstext runt det Andra vanliga problem är avslutande kommatecken enkla citattecken och trunkerad utdata

7 Hur får jag en LLM att returnera giltig JSON
Be uttryckligen om endast JSON utan förklaring tillhandahåll ett schema eller exempel använd låg temperatur och viktigast av allt validera och försök igen vid fel

8 Vad är JSON-schemavalidering
Ett sätt att kontrollera att JSON matchar en förväntad struktur Verktyg som JSON Schema-validatorer fångar fel innan de når produktion

9 Bör jag lita på LLM-utdata utan att kontrollera den
Nej Validera alltid LLM-utdata programmatiskt Behandla den som opålitlig indata precis som användarinmatad data

10 Vad är strukturerade utdata eller JSON-läge i LLM:er
Funktioner som erbjuds av vissa modellleverantörer som begränsar