Erneut teilen — Inhalt von Julien Mutzenhardt
17.000 € an Strafen für ein schlecht formatiertes JSON: der fatale Fehler mit LLMs!
Ein Entwickler verursachte eine massive Verzögerung bei der Verarbeitung wichtiger Dateien für sein Unternehmen. Der Grund? Ein einfacher Integrationsfehler. 
Doch er hatte in seinem Prompt klar angegeben: „Antworte in JSON.“ Das Problem ist, dass das Modell, sehr höflich, antwortete: „Natürlich, hier sind die Informationen:“, bevor es seinen Code einfügte.
Ergebnis: Der Parser, der ein rohes JSON-Objekt erwartete, stürzte in einer Schleife ab. 
Die Lektion: Ein Prompt ist nur eine Anweisung, keine Verpflichtung.
Es ist, als würde man seinem Hund sagen, er soll das Hähnchen auf dem Tisch nicht anfassen, und dann schlafen gehen. Nichts zwingt das Modell der künstlichen Intelligenz tatsächlich, das angeforderte Format strikt zu befolgen.
Die echte Lösung: „Constrained Decoding“
Anstatt zu hoffen, dass das Modell Ihre Textanweisungen befolgt, geben Sie ihm ein „JSON Schema“ (den genauen Bauplan der erwarteten Antwort, um zum Beispiel festzulegen, dass ein Betrag eine Zahl sein muss).
Wie funktioniert es unter der Haube?
Anstatt das LLM das nächste Wort aus seinem gesamten Vokabular wählen zu lassen, berechnet die Generierungs-Engine die erlaubten „Tokens“ in Echtzeit neu. Um zum Beispiel ein JSON-Objekt zu beginnen, erlaubt sie nur die öffnende geschweifte Klammer {. Das Modell hat keine andere Wahl. Das Format wird somit durch Konstruktion gültig, was vermeidet, Tausende unnötiger neuer Versuche (Retries) zu starten! 
Wie setzt man es um, ohne ein übermäßig komplexes Monster neu zu programmieren?
Senden Sie einfach Ihr JSON Schema an die Standard-APIs (wie OpenAI oder Anthropic), die sich um die Verarbeitung kümmern. Und wenn Sie Ihr eigenes KI-Modell lokal hosten, handhaben Engines wie vLLM es genauso einfach.
Hören Sie auf, in der Produktion irgendetwas zu machen, und sichern Sie die Ausgabedaten Ihrer LLMs ab! 
Die Zusammenfassung dieses Artikels wurde von KI generiert.
Und Sie, haben Sie schon einmal erlebt, dass ein System mitten im Flug wegen einer unerwarteten Antwort einer künstlichen Intelligenz explodiert ist?
#ArtificialIntelligence #Development #JSON #LLM #OpenAI #VLLM #Programming #Tech
Wenn Sie das Thema mit mir besprechen oder meine Fähigkeiten nutzen möchten, können Sie mich per PN oder Videoanruf kontaktieren.
LinkedIn-Quellen
- Profil: Pierre Jean Duvivier dit Sage (LinkedIn)
- Geteilter Autor: Julien Mutzenhardt (LinkedIn)
Der Beitrag 🚨 17.000 € an Strafen für ein schlecht formatiertes JSON: der fatale Fehler mit LLMs! 🚨 erschien zuerst auf les plumes qui mordent.
Häufig gestellte Fragen
FAQs 17000 an Strafen für ein schlecht formatiertes JSON Der fatale Fehler mit LLMs
1 Worum geht es bei dieser Strafe von 17000
Es bezieht sich auf einen realen Fall, in dem ein KI-System fehlerhaftes JSON ausgab, das einen nachgelagerten Prozess zum Absturz brachte und zu einer Geldstrafe von 17000 führte. Es wird als warnendes Beispiel dafür verwendet, warum die Ausgabeformatierung wichtig ist
2 Was ist JSON
JSON ist ein einfaches Textformat zur Strukturierung von Daten als Schlüssel-Wert-Paare, Listen und verschachtelte Objekte. Es ist der Standard, wie Software Daten austauscht
3 Was bedeutet schlecht formatiertes JSON
JSON, das die Syntaxregeln verletzt — zum Beispiel fehlende Anführungszeichen, nachgestellte Kommas, nicht maskierte Zeichen, unausgeglichene Klammern oder zusätzlicher Text vor/nach dem Objekt. Parser lehnen es ab
4 Warum erzeugen LLMs ungültiges JSON
LLMs generieren Text probabilistisch. Sie können Erklärungen hinzufügen, Markdown-Codeblöcke verwenden, Felder halluzinieren, die Ausgabe abschneiden oder leicht vom Schema abweichen — besonders ohne strikte Anweisungen oder Validierung
5 Wie kann ein Formatierungsfehler 17000 kosten
Wenn ein System der LLM-Ausgabe blind vertraut, kann ungültiges JSON automatisierte Pipelines zum Absturz bringen, falsche Transaktionen verursachen, Vertrags-SLA-Strafen auslösen oder manuelle Korrekturen erzwingen. Ein kleiner Syntaxfehler kann sich zu einem echten finanziellen Verlust ausweiten
6 Was ist der häufigste JSON-Fehler von LLMs
Das Einbetten des JSON in Markdown oder das Hinzufügen von Gesprächstext darum herum. Weitere häufige Probleme sind nachgestellte Kommas, einfache Anführungszeichen und abgeschnittene Ausgabe
7 Wie bringe ich ein LLM dazu, gültiges JSON zurückzugeben
Fordern Sie ausdrücklich nur JSON an, keine Erklärung, geben Sie ein Schema oder Beispiel an, verwenden Sie eine niedrige Temperatur und — am wichtigsten — validieren Sie und wiederholen Sie bei Fehlern
8 Was ist JSON-Schema-Validierung
Eine Möglichkeit zu prüfen, ob JSON einer erwarteten Struktur entspricht. Tools wie JSON-Schema-Validatoren erkennen Fehler, bevor sie die Produktion erreichen
9 Sollte ich der LLM-Ausgabe vertrauen, ohne sie zu prüfen
Nein. Validieren Sie die LLM-Ausgabe immer programmatisch. Behandeln Sie sie als nicht vertrauenswürdige Eingabe, genau wie von Benutzern übermittelte Daten
10 Was sind strukturierte Ausgaben oder JSON-Modus in LLMs
Funktionen, die von einigen Modellanbietern angeboten werden und einschränken
