LLMは間違える…
お気に入りのエージェントが、遊び心のある同僚のように月曜の朝のジョークを仕掛けてきて……そして、本当はそうではないのに、あなたがPHPをアップグレードしていないと宣言するとき……。
小さなわんぱく者め。
LinkedInの情報源
- プロフィール: Pierre Jean Duvivier aka Sage (LinkedIn)
投稿 LLMは間違える… は les plumes qui mordent に最初に掲載されました。
よくある質問
FAQ LLMが間違えるとき
1 「LLMが間違える」と言うとき、どういう意味ですか
モデルが、自信ありげに聞こえても、虚偽の、誤解を招く、古い、またはあなたが尋ねたものではない答えを出すという意味です
2 簡単に言うとLLMとは何ですか
大規模言語モデルとは、大量のテキストで訓練され、言語を予測・生成するAIです。人間のように事実を知っているわけではなく、もっともらしく聞こえるテキストを生成します
3 なぜLLMは作り話をするのですか
それらは真実を検証するのではなく、もっともらしいテキストを生成するように作られています。適切な情報がないとき、流暢に聞こえるが虚偽の内容で隙間を埋めることがあります
4 ハルシネーションとは何ですか
ハルシネーションとは、LLMが事実でないことを自信をもって述べることです。たとえば、偽の引用、統計、引用文をでっち上げるようなものです
5 LLMは自信ありげに聞こえても間違った答えを出せますか
はい。口調の自信は正確さを何も示しません。流暢で断定的な答えでも完全に間違っていることがあります
6 なぜLLMは時に単純な事実を間違えるのですか
その知識は訓練データから来ており、不完全だったり古かったりノイズが多かったりすることがあります。また、ツールを与えられない限り、調べることもありません
7 LLMは同じ質問にいつも同じ答えを出しますか
いいえ。多くのモデルは非決定的であるため、表現や詳細は実行ごとに変わり、正確さも変わることさえあります
8 なぜLLMは1つの会話の中で自己矛盾するのですか
それまでの会話に基づいて各応答を生成し、以前の主張を固定して記憶しているわけではありません。長いまたは複雑なチャットでは不整合が起こりやすくなります
9 なぜ以前に私が言ったことを忘れたり混同したりするのですか
モデルには限られたコンテキストウィンドウがあり、既定では永続的な記憶がありません。会話が長くなるにつれて詳細が失われたりぼやけたりすることがあります
10 なぜ同じ質問が言語によって異なる答えになるのですか
訓練データと性能は言語によって異なるため、モデルは英語の方が、あまり代表されていない言語よりも正確である場合があります
11 答えが間違っている可能性がある一般的な兆候は何ですか
出典のない過度に具体的な数字や引用、曖昧な歯切れの悪さと自信のある主張の混在、実際の質問を避ける答え、または都合がよすぎるように思える事実などです
