Del igen — indhold af Julien Mutzenhardt
17.000 € i bøder for en dårligt formateret JSON: den fatale fejl med LLM'er!
En udvikler forårsagede en massiv forsinkelse i behandlingen af kritiske filer for sin virksomhed. Årsagen? En simpel integrationsfejl. 
Alligevel havde han tydeligt angivet i sin prompt: "Svar i JSON." Problemet er, at modellen, meget høfligt, svarede: "Selvfølgelig, her er informationen:", før den indsatte sin kode.
Resultat: parseren, som forventede et råt JSON-objekt, crashede i en løkke. 
Lektionen: En prompt er kun en instruktion, ikke en forpligtelse.
Det er som at fortælle sin hund, at den ikke må røre kyllingen på bordet, og derefter gå i seng. Intet tvinger faktisk den kunstige intelligens-model til strengt at adlyde det ønskede format.
Den rigtige løsning: "Constrained Decoding"
I stedet for at håbe på, at modellen overholder dine tekstinstruktioner, giv den et "JSON Schema" (den præcise blueprint for det forventede svar, for eksempel at definere, at et beløb skal være et tal).
Hvordan fungerer det under motorhjelmen?
I stedet for at lade LLM'en vælge det næste ord fra hele sit ordforråd, genberegner generationsmotoren de tilladte "tokens" i realtid. For eksempel, for at starte et JSON-objekt, vil den kun tillade den åbne krølleparentes {. Modellen har ikke noget andet valg. Formatet bliver dermed gyldigt ved konstruktion, hvilket undgår at starte tusindvis af unødvendige nye forsøg (retries)! 
Hvordan implementerer man det uden at omkode et alt for komplekst monster?
Send blot dit JSON Schema til standard-API'erne (som OpenAI eller Anthropic), som tager sig af at behandle det. Og hvis du hoster din egen AI-model lokalt, håndterer motorer som vLLM det lige så nemt.
Stop med at gøre hvad som helst i produktion og sikr outputdataene fra dine LLM'er! 
Resuméet af denne artikel blev genereret af AI.
Og du, har du nogensinde set et system eksplodere midt i flugten på grund af et uventet svar fra en kunstig intelligens?
#ArtificialIntelligence #Development #JSON #LLM #OpenAI #VLLM #Programming #Tech
Hvis du gerne vil diskutere emnet med mig eller gøre brug af mine kompetencer, kan du kontakte mig via PM eller videoopkald.
LinkedIn-kilder
- Profil: Pierre Jean Duvivier dit Sage (LinkedIn)
- Delt forfatter: Julien Mutzenhardt (LinkedIn)
Indlægget 🚨 17.000 € i bøder for en dårligt formateret JSON: den fatale fejl med LLM'er! 🚨 dukkede først op på les plumes qui mordent.
Ofte stillede spørgsmål
FAQ 17000 i bøder for en dårligt formateret JSON – den fatale fejl med LLM'er
1 Hvad handler denne 17000-bøde om
Det refererer til en virkelig sag, hvor et AI-system producerede fejlbehæftet JSON-output, som brød en nedstrøms proces og førte til en økonomisk bøde på 17000. Det bruges som et advarende eksempel på, hvorfor outputformatering betyder noget
2 Hvad er JSON
JSON er et simpelt tekstformat til at strukturere data som nøgle-værdi-par, lister og indlejrede objekter. Det er den standardmåde, software udveksler data på
3 Hvad betyder dårligt formateret JSON
JSON, der bryder syntaksreglerne – for eksempel manglende anførselstegn, efterfølgende kommaer, ikke-escapede tegn, ubalancerede parenteser eller ekstra tekst før/efter objektet. Parsere afviser det
4 Hvorfor producerer LLM'er ugyldig JSON
LLM'er genererer tekst probabilistisk. De kan tilføje forklaringer, bruge markdown-kodeblokke, hallucinere felter, afkorte output eller afvige en smule fra skemaet – især uden strenge instruktioner eller validering
5 Hvordan kan en formateringsfejl koste 17000
Hvis et system blindt stoler på LLM-output, kan ugyldig JSON crashe automatiserede pipelines, forårsage forkerte transaktioner, udløse kontrakt-SLA-bøder eller tvinge manuelle rettelser. En lille syntaksfejl kan kaskade ud i et reelt økonomisk tab
6 Hvad er den mest almindelige JSON-fejl, LLM'er laver
At pakke JSON'en ind i markdown eller tilføje samtaleagtig tekst omkring den. Andre hyppige problemer er efterfølgende kommaer, enkelte anførselstegn og afkortet output
7 Hvordan får jeg en LLM til at returnere gyldig JSON
Bed eksplicit om kun JSON, ingen forklaring, giv et skema eller eksempel, brug lav temperatur og – vigtigst – validér og prøv igen ved fejl
8 Hvad er JSON-skema-validering
En måde at kontrollere, at JSON matcher en forventet struktur. Værktøjer som JSON Schema-validatorer fanger fejl, før de når produktionen
9 Skal jeg stole på LLM-output uden at kontrollere det
Nej. Validér altid LLM-output programmatisk. Behandl det som utroværdigt input, ligesom data indsendt af brugere
10 Hvad er strukturerede outputs eller JSON-tilstand i LLM'er
Funktioner, som nogle modeludbydere tilbyder, og som begrænser
