🚨 不正な形式のJSONで17,000ユーロの罰金：LLMに関する致命的なミス！🚨

再共有 — Julien Mutzenhardtによるコンテンツ

不正な形式のJSONで17,000ユーロの罰金：LLMに関する致命的なミス！

ある開発者が、会社の重要なファイルの処理に大規模な遅延を引き起こしました。その理由は？ 単純な統合エラーでした。

しかし、彼はプロンプトで明確に指定していました：「JSONで回答してください」。問題は、モデルが非常に丁寧に「もちろんです、こちらが情報です：」と応答してから、コードを挿入したことです。

結果：生のJSONオブジェクトを期待していたパーサーが、ループでクラッシュしました。

教訓：プロンプトは指示にすぎず、義務ではありません。

それは、テーブルの上の鶏肉に触らないように犬に言ってから、寝に行くようなものです。人工知能モデルに要求された形式に厳密に従うことを実際に強制するものは何もありません。

本当の解決策：「制約付きデコーディング」

モデルがテキスト指示に従うことを期待するのではなく、「JSONスキーマ」（期待される応答の正確な設計図で、例えば金額は数値でなければならないと定義するもの）を与えてください。

内部ではどのように機能するのか？

LLMに語彙全体から次の単語を選ばせる代わりに、生成エンジンが許可された「トークン」をリアルタイムで再計算します。例えば、JSONオブジェクトを開始するには、開き波括弧{のみを許可します。モデルには他の選択肢がありません。これにより、形式は構築上有効になり、何千もの不要な再試行（リトライ）の起動を避けることができます！

過度に複雑なモンスターを再コーディングせずに実装するには？

JSONスキーマを標準API（OpenAIやAnthropicなど）に送信するだけで、それらが処理を担当します。また、独自のAIモデルをローカルでホストしている場合、vLLMのようなエンジンが同様に簡単に処理します。

本番環境でいい加減なことをするのはやめて、LLMの出力データを保護しましょう！

この記事の要約はAIによって生成されました。

そしてあなたは、人工知能からの予期しない応答のためにシステムが運用中に爆発したのを見たことがありますか？

#人工知能 #開発 #JSON #LLM #OpenAI #VLLM #プログラミング #テック

このトピックについて私と議論したい場合、または私のスキルを活用したい場合は、PMまたはビデオ通話でご連絡ください。

LinkedInソース

• プロフィール： Pierre Jean Duvivier dit Sage（LinkedIn）
• 共有著者： Julien Mutzenhardt（LinkedIn）

投稿🚨 不正な形式のJSONで17,000ユーロの罰金：LLMに関する致命的なミス！ 🚨はles plumes qui mordentに最初に掲載されました。

よくある質問
FAQ 不正な形式のJSONで17,000の罰金 LLMに関する致命的なミス

1 この17,000の罰金とは何ですか
これは、AIシステムが不正な形式のJSON出力を生成し、それが下流のプロセスを破壊し、17,000の金銭的罰金につながった実際の事例を指します。出力形式がなぜ重要かを示す警告的な例として使われています

2 JSONとは何ですか
JSONは、データをキーと値のペア、リスト、ネストされたオブジェクトとして構造化するためのシンプルなテキスト形式です。ソフトウェアがデータを交換する標準的な方法です

3 不正な形式のJSONとはどういう意味ですか
構文規則に違反するJSON 例えば、引用符の欠落、末尾のカンマ、エスケープされていない文字、不均衡な括弧、オブジェクトの前後の余分なテキストなどです。パーサーはそれを拒否します

4 なぜLLMは無効なJSONを生成するのですか
LLMは確率的にテキストを生成します。説明を追加したり、マークダウンコードフェンスを使用したり、フィールドを幻覚したり、出力を切り捨てたり、スキーマからわずかに逸脱したりする可能性があります 特に厳密な指示や検証がない場合

5 フォーマットエラーでどのように17,000のコストがかかるのですか
システムがLLM出力を盲目的に信頼すると、無効なJSONが自動化パイプラインをクラッシュさせ、誤ったトランザクションを引き起こし、契約SLAの罰則をトリガーし、手動修正を強制する可能性があります。1つの小さな構文エラーが実際の金銭的損失に連鎖する可能性があります

6 LLMが犯す最も一般的なJSONの間違いは何ですか
JSONをマークダウンでラップしたり、その周りに会話的なテキストを追加したりすることです。その他の頻繁な問題は、末尾のカンマ、単一引用符、切り捨てられた出力です

7 LLMに有効なJSONを返させるにはどうすればよいですか
明示的にJSONのみを要求し、説明は不要で、スキーマまたは例を提供し、低い温度を使用し、最も重要なこととして、検証して失敗時に再試行してください

8 JSONスキーマ検証とは何ですか
JSONが期待される構造に一致することを確認する方法です。JSON Schemaバリデーターなどのツールは、エラーが本番環境に到達する前にキャッチします

9 チェックせずにLLM出力を信頼すべきですか
いいえ。常にLLM出力をプログラムで検証してください。ユーザーが送信したデータと同じように、信頼できない入力として扱ってください

10 LLMの構造化出力またはJSONモードとは何ですか
一部のモデルプロバイダーが提供する機能で、制約する