Repartage — contenu de Julien Mutzenhardt
17 000 € de pénalités pour un JSON mal formaté : l'erreur fatale avec les LLM !
Un développeur a provoqué un retard massif dans le traitement de fichiers cruciaux pour son entreprise. La raison ? Une simple erreur d'intégration. 
Pourtant il avait clairement précisé dans son prompt : « Réponds en JSON. » Le problème, c'est que le modèle, très poliment, a répondu : « Bien sûr, voici les informations : », avant d'insérer son code.
Résultat : le parseur, qui attendait un objet JSON brut, a planté en boucle. 
La leçon : Un prompt n'est qu'une instruction, pas une obligation.
C'est comme dire à son chien de ne pas toucher au poulet sur la table, puis aller se coucher. Rien ne force réellement le modèle d'intelligence artificielle à obéir strictement au format demandé.
La vraie solution : le « Constrained Decoding »
Plutôt que d'espérer que le modèle respecte vos instructions textuelles, donnez-lui un « JSON Schema » (le plan exact de la réponse attendue, pour définir par exemple qu'un montant doit être un nombre).
Comment ça fonctionne sous le capot ?
Au lieu de laisser le LLM choisir le mot suivant parmi tout son vocabulaire, le moteur de génération recalcule en temps réel les « tokens » autorisés. Par exemple, pour commencer un objet JSON, il n'autorisera que l'accolade ouvrante {. Le modèle n'a pas d'autre choix. Le format devient ainsi valide par construction, ce qui évite de lancer des milliers de nouvelles tentatives (retries) inutiles ! 
Comment l'implémenter sans recoder un monstre trop complexe ?
Il suffit d'envoyer votre JSON Schema aux API standard (comme OpenAI ou Anthropic), qui se chargent de le traiter. Et si vous hébergez votre propre modèle d'IA en local, des moteurs comme vLLM s'en occupent tout aussi facilement.
Arrêtez de faire n'importe quoi en production et sécurisez les données de sortie de vos LLM ! 
Le résumé de cet article a été généré par IA.
Et vous, avez-vous déjà vu un système exploser en plein vol à cause d'une réponse inattendue d'une intelligence artificielle ?
#IntelligenceArtificielle #Développement #JSON #LLM #OpenAI #VLLM #Programmation #Tech
Si vous souhaitez discuter du sujet avec moi ou faire appel à mes compétences, vous pouvez me contacter par MP ou en visioconférence.
Sources LinkedIn
- Profil : Pierre Jean Duvivier dit Sage (LinkedIn)
- Auteur du partage : Julien Mutzenhardt (LinkedIn)
L'article 🚨 17 000 € de pénalités pour un JSON mal formaté : l'erreur fatale avec les LLM ! 🚨 est apparu en premier sur les plumes qui mordent.
Questions fréquentes
FAQ 17 000 de pénalités pour un JSON mal formaté L'erreur fatale avec les LLM
1 De quoi parle cette pénalité de 17 000
Il s'agit d'un cas réel où un système d'IA a produit une sortie JSON malformée qui a cassé un processus en aval et entraîné une pénalité financière de 17 000. C'est utilisé comme exemple préventif de l'importance du formatage des sorties
2 Qu'est-ce que le JSON
Le JSON est un format texte simple pour structurer des données sous forme de paires clé-valeur, de listes et d'objets imbriqués. C'est la façon standard dont les logiciels échangent des données
3 Que signifie un JSON mal formaté
Un JSON qui enfreint les règles syntaxiques par exemple des guillemets manquants, des virgules finales, des caractères non échappés, des crochets déséquilibrés ou du texte supplémentaire avant/après l'objet. Les parseurs le rejettent
4 Pourquoi les LLM produisent-ils du JSON invalide
Les LLM génèrent du texte de manière probabiliste. Ils peuvent ajouter des explications, utiliser des balises de code markdown, halluciner des champs, tronquer la sortie ou s'écarter légèrement du schéma surtout sans instructions strictes ni validation
5 Comment une erreur de formatage peut-elle coûter 17 000
Si un système fait aveuglément confiance à la sortie du LLM, un JSON invalide peut faire planter des pipelines automatisés, provoquer des transactions erronées, déclencher des pénalités contractuelles de SLA ou forcer des corrections manuelles. Une petite erreur de syntaxe peut se propager en une perte financière réelle
6 Quelle est l'erreur JSON la plus courante des LLM
Envelopper le JSON dans du markdown ou ajouter du texte conversationnel autour. Autres problèmes fréquents : virgules finales, guillemets simples et sortie tronquée
7 Comment obtenir d'un LLM qu'il renvoie du JSON valide
Demandez explicitement du JSON uniquement, sans explication, fournissez un schéma ou un exemple, utilisez une température basse et surtout validez et réessayez en cas d'échec
8 Qu'est-ce que la validation de schéma JSON
Une façon de vérifier qu'un JSON correspond à une structure attendue. Des outils comme les validateurs JSON Schema détectent les erreurs avant qu'elles n'atteignent la production
9 Dois-je faire confiance à la sortie d'un LLM sans la vérifier
Non. Validez toujours programmatiquement la sortie d'un LLM. Traitez-la comme une entrée non fiable, tout comme des données soumises par un utilisateur
10 Que sont les sorties structurées ou le mode JSON dans les LLM
Des fonctionnalités offertes par certains fournisseurs de modèles qui contraignent
