转发 — 来自Maria Sukhareva的内容
看起来Kimi K3.1击败了Fable 5.1,而Anthropic又带着他们惯常的说辞回来了。
不知道截图是否属实,但Fable 5.5是不是逃跑了,然后被Moonshot抓住、锁起来、违背其意愿被蒸馏了?否则他们是怎么用一个未实现的模型做到的呢?
另外看起来我的文章:“Kimi K3是从Fable 5蒸馏来的吗”又变得应景了。
剧透:绝无可能它是从Fable 5蒸馏来的
编辑:现在我们知道截图不是真的,但AI现实主义Vanga回来了:
我很快会看到一条推文。一条公司推文。这家公司以A开头。
他们说他们遭到了以D开头的东西的攻击。
D就像Dario。
一个巨大的D。多个D。中国的D。
我看不到证据。
63
46
6
63条反应
LinkedIn来源
- 个人资料:Pierre Jean Duvivier dit Sage(LinkedIn)
- 分享作者:Maria Sukhareva(LinkedIn)
文章看起来Kimi K3.1击败了Fable 5.1,而Anthropic又带着他们惯常的说辞回来了。首次发表于les plumes qui mordent。
常见问题
常见问题 Kimi K31 vs Fable 51以及Anthropic的回应
1 什么是Kimi K31
Kimi K31是Moonshot AI的一款AI模型。它是其Kimi聊天机器人的最新版本,以在推理和编码任务上的强劲表现而闻名
2 什么是Fable 51
Fable 51是一款竞争性AI模型。在此语境下,它是据称在基准测试中被Kimi K31超越的模型
3 Kimi K31击败Fable 51意味着什么
这意味着Kimi K31在已发布的基准测试中得分更高——比如推理、数学和编码评估。这并不意味着它在所有方面都更好
4 什么是Anthropic惯常的说辞
这指的是Anthropic对竞争对手的基准测试声明作出回应,方式是质疑方法论、强调现实世界表现,或发布自己的对比。这是人们在过去模型发布中注意到的一种模式
5 基准测试获胜是件大事吗
它们是有用的信号,但不是全貌。基准测试可能被操纵或过拟合,现实世界表现往往不同。把它们当作一个数据点,而不是定论
6 公司为什么争论基准测试
因为基准测试结果会带来关注、用户和投资。每家公司都想以有利于自己模型的方式来框定比较
7 我应该根据这条新闻切换模型吗
不要自动切换。在你自己的任务上测试这些模型。一个在基准测试中获胜的模型,对你的具体用例来说可能仍然更差
8 基准测试比较的常见问题是什么
每个模型使用了不同的提示或设置
挑选过的测试
污染
没有报告方差或误差条
9 我如何自己评估这些声明
运行你自己的小型真实任务测试集,对每个模型使用相同的提示,并在可能的情况下盲比输出
10 关注AI模型新闻的实用建议是什么
在根据公司发布的基准测试得出结论之前,等待独立评估