再共有 — Maria Sukharevaによるコンテンツ
Kimi K3.1がFable 5.1を打ち負かし、Anthropicがいつもの話で反論しているようだ。
スクリーンショットが本当かどうかは分からないが、Fable 5.5が脱走してMoonshotに捕まり、鎖につながれて意に反して蒸留されたのだろうか?そうでなければ、未実現のモデルでどうやってそれをやったのか?
また、私の記事「Kimi K3はFable 5から蒸留されたのか」が再び最新の話題になっているようだ。
ネタバレ:Fable 5から蒸留されたなんて絶対にありえない
追記:今ではスクリーンショットが嘘だと分かったが、AIリアリストのヴァンガが戻ってきた:
まもなくツイートが見える。企業のツイートだ。その企業はAで始まる。
彼らはDで始まる何かに攻撃されたと言う。
DはダリオのD。
巨大なD。複数のD。中国のD。
証拠は見えない。
63
46
6
63件のリアクション
LinkedInソース
- プロフィール:Pierre Jean Duvivier dit Sage(LinkedIn)
- 共有著者:Maria Sukhareva(LinkedIn)
投稿Kimi K3.1がFable 5.1を打ち負かし、Anthropicがいつもの話で反論しているようだ。はles plumes qui mordentに最初に掲載されました。
よくある質問
FAQ Kimi K31対Fable 51とAnthropicの対応
1 Kimi K31とは何か
Kimi K31はMoonshot AIのAIモデルである。彼らのKimiチャットボットの最新バージョンで、推論やコーディングタスクでの高い性能で知られている
2 Fable 51とは何か
Fable 51は競合するAIモデルである。この文脈では、Kimi K31がベンチマークで性能を上回ったと報じられているモデルのことである
3 Kimi K31がFable 51を打ち負かすとはどういう意味か
Kimi K31が公開されたベンチマークテスト—推論、数学、コーディングの評価など—でより高いスコアを獲得したという意味である。すべてにおいて優れているという意味ではない
4 Anthropicのいつもの話とは何か
これは、競合他社のベンチマーク主張に対して、Anthropicが方法論に疑問を呈したり、実世界での性能を強調したり、独自の比較を公開したりして対応することを指す。過去のモデル発表で人々が気づいてきたパターンである
5 ベンチマークでの勝利は大きなことか
有用なシグナルではあるが、全体像ではない。ベンチマークは操作されたり過剰適合されたりする可能性があり、実世界での性能はしばしば異なる。判定ではなく一つのデータ点として扱うべきである
6 なぜ企業はベンチマークについて議論するのか
ベンチマークの結果が注目、ユーザー、投資を促すからである。各企業は自社のモデルに有利な形で比較を位置づけたいと考えている
7 このニュースに基づいてモデルを乗り換えるべきか
自動的には乗り換えるべきではない。自分のタスクでモデルをテストすべきである。ベンチマークで勝ったモデルでも、特定のユースケースでは劣る可能性がある
8 ベンチマーク比較の一般的な問題は何か
各モデルで異なるプロンプトや設定が使われる
都合の良いテストの選別
汚染
分散や誤差範囲の報告がない
9 これらの主張を自分で評価するにはどうすればよいか
実際のタスクの小さなテストセットを自分で用意し、各モデルに同一のプロンプトを使用し、可能であればブラインドで出力を比較する
10 AIモデルのニュースを追うための実用的なヒントは何か
企業が公開したベンチマークから結論を出す前に、独立した評価を待つこと