Redistribuire — conținut de Julien Mutzenhardt
17.000 € amenzi pentru un JSON prost formatat: greșeala fatală cu LLM-urile!
Un dezvoltator a cauzat o întârziere masivă în procesarea unor fișiere cruciale pentru compania sa. Motivul? O simplă eroare de integrare. 
Totuși el specificase clar în promptul său: „Răspunde în JSON.” Problema este că modelul, foarte politicos, a răspuns: „Desigur, iată informațiile:”, înainte de a-și insera codul.
Rezultat: parserul, care aștepta un obiect JSON brut, s-a blocat într-o buclă. 
Lecția: Un prompt este doar o instrucțiune, nu o obligație.
Este ca și cum i-ai spune câinelui tău să nu atingă puiul de pe masă, apoi te-ai duce la culcare. Nimic nu obligă de fapt modelul de inteligență artificială să respecte strict formatul cerut.
Soluția reală: „Decodarea constrânsă”
În loc să speri că modelul respectă instrucțiunile tale text, dă-i o „Schemă JSON” (planul exact al răspunsului așteptat, pentru a defini de exemplu că o sumă trebuie să fie un număr).
Cum funcționează în culise?
În loc să lași LLM-ul să aleagă următorul cuvânt din întregul său vocabular, motorul de generare recalculează în timp real „tokenii” permise. De exemplu, pentru a începe un obiect JSON, va permite doar acolada de deschidere {. Modelul nu are altă opțiune. Formatul devine astfel valid prin construcție, ceea ce evită lansarea a mii de noi încercări inutile (retries)! 
Cum să o implementezi fără a recoda un monstru prea complex?
Pur și simplu trimite Schema ta JSON către API-urile standard (precum OpenAI sau Anthropic), care se ocupă de procesarea ei. Și dacă găzduiești propriul model de AI local, motoare precum vLLM se ocupă la fel de ușor.
Oprește-te din a face orice în producție și securizează datele de ieșire din LLM-urile tale! 
Rezumatul acestui articol a fost generat de AI.
Și tu, ai văzut vreodată un sistem explodând în mijlocul zborului din cauza unui răspuns neașteptat de la o inteligență artificială?
#ArtificialIntelligence #Development #JSON #LLM #OpenAI #VLLM #Programming #Tech
Dacă dorești să discuți subiectul cu mine sau să folosești abilitățile mele, mă poți contacta prin mesaj privat sau apel video.
Surse LinkedIn
- Profil: Pierre Jean Duvivier dit Sage (LinkedIn)
- Autor distribuit: Julien Mutzenhardt (LinkedIn)
Postarea 🚨 17.000 € amenzi pentru un JSON prost formatat: eroarea fatală cu LLM-urile! 🚨 a apărut prima dată pe les plumes qui mordent.
Întrebări frecvente
Întrebări frecvente 17000 în amenzi pentru un JSON prost formatat Greșeala fatală cu LLM-urile
1 Despre ce este această amendă de 17000
Se referă la un caz real în care un sistem de AI a produs un output JSON malformat care a blocat un proces downstream și a dus la o penalitate financiară de 17000 Este folosit ca exemplu de avertizare despre de ce contează formatarea outputului
2 Ce este JSON
JSON este un format text simplu pentru structurarea datelor ca perechi cheievaloare liste și obiecte imbricate Este modalitatea standard prin care software-ul face schimb de date
3 Ce înseamnă JSON prost formatat
JSON care încalcă regulile de sintaxă de exemplu ghilimele lipsă virgule finale caractere neescapate paranteze neechilibrate sau text suplimentar înaintedupă obiect Parserii îl resping
4 De ce produc LLM-urile JSON invalid
LLM-urile generează text probabilistic Pot adăuga explicații folosi delimitatori de cod markdown halucina câmpuri trunchia outputul sau devia ușor de la schemă mai ales fără instrucțiuni stricte sau validare
5 Cum poate o eroare de formatare costa 17000
Dacă un sistem are încredere oarbă în outputul LLM-ului JSON invalid poate bloca pipeline-uri automatizate cauza tranzacții greșite declanșa penalități contractualeSLA sau forța remedieri manuale O mică eroare de sintaxă poate escalada într-o pierdere financiară reală
6 Care este cea mai comună greșeală JSON pe care o fac LLM-urile
Învelirea JSON-ului în markdown sau adăugarea de text conversațional în jurul lui Alte probleme frecvente virgule finale ghilimele simple și output trunchiat
7 Cum determin un LLM să returneze JSON valid
Cere explicit doar JSON fără explicații furnizează o schemă sau un exemplu folosește temperatură scăzută și cel mai important validează și reîncearcă la eșec
8 Ce este validarea schemei JSON
O modalitate de a verifica dacă JSON-ul corespunde unei structuri așteptate Instrumente precum validatorii de Schemă JSON prind erorile înainte ca acestea să ajungă în producție
9 Ar trebui să am încredere în outputul LLM-ului fără să-l verific
Nu Validează întotdeauna outputul LLM-ului programatic Tratează-l ca pe un input nesigur la fel ca datele trimise de utilizatori
10 Ce sunt outputurile structurate sau modul JSON în LLM-uri
Funcționalități oferite de unii furnizori de modele care constrâng
