Ripubblicazione — contenuto di Julien Mutzenhardt
17.000 € di sanzioni per un JSON mal formattato: l'errore fatale con gli LLM!
Uno sviluppatore ha causato un ritardo enorme nell'elaborazione di file cruciali per la sua azienda. Il motivo? Un semplice errore di integrazione. 
Eppure aveva specificato chiaramente nel suo prompt: "Rispondi in JSON". Il problema è che il modello, molto educatamente, ha risposto: "Certamente, ecco le informazioni:", prima di inserire il suo codice.
Risultato: il parser, che si aspettava un oggetto JSON puro, è andato in crash in un loop. 
La lezione: un prompt è solo un'istruzione, non un obbligo.
È come dire al tuo cane di non toccare il pollo sul tavolo, e poi andare a dormire. Niente obbliga effettivamente il modello di intelligenza artificiale a obbedire rigorosamente al formato richiesto.
La vera soluzione: il "Constrained Decoding"
Invece di sperare che il modello rispetti le tue istruzioni testuali, dagli un "JSON Schema" (il progetto esatto della risposta attesa, per definire ad esempio che un importo deve essere un numero).
Come funziona sotto il cofano?
Invece di lasciare che l'LLM scelga la parola successiva dal suo intero vocabolario, il motore di generazione ricalcola in tempo reale i "token" consentiti. Ad esempio, per iniziare un oggetto JSON, consentirà solo la parentesi graffa di apertura {. Il modello non ha altra scelta. Il formato diventa così valido per costruzione, il che evita di lanciare migliaia di nuovi tentativi (retry) inutili! 
Come implementarlo senza ricodificare un mostro troppo complesso?
Basta inviare il tuo JSON Schema alle API standard (come OpenAI o Anthropic), che si occupano di elaborarlo. E se ospiti il tuo modello di IA localmente, motori come vLLM lo gestiscono altrettanto facilmente.
Smettila di fare qualsiasi cosa in produzione e metti al sicuro i dati di output dei tuoi LLM! 
Il riassunto di questo articolo è stato generato dall'IA.
E tu, hai mai visto un sistema esplodere in volo a causa di una risposta inaspettata da un'intelligenza artificiale?
#IntelligenzaArtificiale #Sviluppo #JSON #LLM #OpenAI #VLLM #Programmazione #Tech
Se desideri discutere l'argomento con me o avvalerti delle mie competenze, puoi contattarmi via messaggio privato o videochiamata.
Fonti LinkedIn
- Profilo: Pierre Jean Duvivier dit Sage (LinkedIn)
- Autore condiviso: Julien Mutzenhardt (LinkedIn)
Il post 🚨 17.000 € di sanzioni per un JSON mal formattato: l'errore fatale con gli LLM! 🚨 è apparso per la prima volta su les plumes qui mordent.
Domande frequenti
FAQ 17000 di sanzioni per un JSON mal formattato L'errore fatale con gli LLM
1 Di cosa tratta questa sanzione di 17000
Si riferisce a un caso reale in cui un sistema di IA ha prodotto un output JSON malformato che ha interrotto un processo a valle e ha portato a una sanzione finanziaria di 17000 Viene usato come esempio ammonitore del perché la formattazione dell'output è importante
2 Cos'è il JSON
Il JSON è un semplice formato testuale per strutturare dati come coppie chiavevalore liste e oggetti annidati È il modo standard con cui il software scambia dati
3 Cosa significa JSON mal formattato
JSON che infrange le regole sintattiche ad esempio virgolette mancanti virgole finali caratteri non escapati parentesi non bilanciate o testo extra primadopo l'oggetto I parser lo rifiutano
4 Perché gli LLM producono JSON non valido
Gli LLM generano testo in modo probabilistico Possono aggiungere spiegazioni usare blocchi di codice markdown allucinare campi troncare l'output o deviare leggermente dallo schema soprattutto senza istruzioni o validazione rigorose
5 Come può un errore di formattazione costare 17000
Se un sistema si fida ciecamente dell'output dell'LLM un JSON non valido può mandare in crash pipeline automatizzate causare transazioni errate attivare penali contrattualiSLA o forzare correzioni manuali Un piccolo errore di sintassi può trasformarsi in una perdita finanziaria reale
6 Qual è l'errore JSON più comune che fanno gli LLM
Avvolgere il JSON in markdown o aggiungere testo conversazionale attorno ad esso Altri problemi frequenti virgole finali virgolette singole e output troncato
7 Come faccio a far restituire un JSON valido a un LLM
Chiedi esplicitamente solo JSON senza spiegazioni fornisci uno schema o un esempio usa una temperatura bassa e soprattutto valida e riprova in caso di errore
8 Cos'è la validazione dello schema JSON
Un modo per verificare che il JSON corrisponda a una struttura attesa Strumenti come i validatori di JSON Schema intercettano gli errori prima che raggiungano la produzione
9 Dovrei fidarmi dell'output dell'LLM senza controllarlo
No Valida sempre programmaticamente l'output dell'LLM Trattalo come input non attendibile proprio come i dati inviati dall'utente
10 Cosa sono gli output strutturati o la modalità JSON negli LLM
Funzionalità offerte da alcuni fornitori di modelli che vincolano
