再共有 — Julien Mutzenhardtによるコンテンツ 不正な形式のJSONで17,000ユーロの罰金:LLMに関する致命的なミス! ある開発者が、会社の重要なファイルの処理に大規模な遅延を引き起こしました。その理由は? 単純な統合エラーでした。 しかし、彼はプロンプトで明確に指定していました:「JSONで回答してください」。問題は、モデルが非常に丁寧に「もちろんです、こちらが情報です:」と応答してから、コードを挿入したことです。 結果:生のJSONオブジェクトを期待していたパーサーが、ループでクラッシュしました。 教訓:プロンプトは指示にすぎず、義務ではありません。 それは、テーブルの上の鶏肉に触らないように犬に言ってから、寝に行くようなものです。人工知能モデルに要求された形式に厳密に従うことを実際に強制するものは何もありません。 本当の解決策:「制約付きデコーディング」 モデルがテキスト指示に従うことを期待するのではなく、「JSONスキーマ」(期待される応答の正確な設計図で、例えば金額は数値でなければならないと定義するもの)を与えてください。 内部ではどのように機能するのか? LLMに語彙全体から次の単語を選ばせる代わりに、生成エンジンが許可された「トークン」をリアルタイムで再計算します。例えば、JSONオブジェクトを開始するには、開き波括弧{のみを許可します。モデルには他の選択肢がありません。これにより、形式は構築上有効になり、何千もの不要な再試行(リトライ)の起動を避けることができます! 過度に複雑なモンスターを再コーディングせずに実装するには? JSONスキーマを標準API(OpenAIやAnthropicなど)に送信するだけで、それらが処理を担当します。また、独自のAIモデルをローカルでホストしている場合、vLLMのようなエンジンが同様に簡単に処理します。 本番環境でいい加減なことをするのはやめて、LLMの出力データを保護しましょう! この記事の要約はAIによって生成されました。 そしてあなたは、人工知能からの予期しない応答のためにシステムが運用中に爆発したのを見たことがありますか?#人工知能 #開発 #JSON #LLM #OpenAI #VLLM #プログラミング #テック このトピックについて私と議論したい場合、または私のスキルを活用したい場合は、PMまたはビデオ通話でご連絡ください。 LinkedInソース プロフィール:…