Споделяне отново — съдържание от Мария Сухарева
Изглежда, че Kimi K3.1 побеждава Fable 5.1 и Anthropic отвръща с обичайната си история.
Не знам дали екранната снимка е истинска, но дали Fable 5.5 избяга и беше хванат от Moonshot, окован и дистилиран против волята му? Иначе как са го направили с нереализиран модел?
Освен това изглежда, че статията ми: „Беше ли Kimi K3 дистилиран от Fable 5“ отново е актуална.
Спойлер: няма абсолютно никакъв начин да е бил дистилиран от Fable 5
Редакция: сега знаем, че екранната снимка не е истинска, но AI реалистът Ванга се завръща:
Виждам скоро туит. Туит на компания. Компанията започва с A.
Казват, че са били атакувани от нещо, започващо с D.
D като Дарио.
Огромно D. Множество D-та. Китайски D-та.
Не мога да видя доказателствата.
63
46
6
63 реакции
Източници от LinkedIn
- Профил: Pierre Jean Duvivier dit Sage (LinkedIn)
- Споделен автор: Maria Sukhareva (LinkedIn)
Публикацията Изглежда, че Kimi K3.1 побеждава Fable 5.1 и Anthropic отвръща с обичайната си история. се появи първо на les plumes qui mordent.
Често задавани въпроси
ЧЗВ Kimi K31 срещу Fable 51 и отговорът на Anthropic
1 Какво е Kimi K31
Kimi K31 е AI модел от Moonshot AI. Това е най-новата версия на техния чатбот Kimi и е известен със силно представяне при задачи за разсъждение и програмиране
2 Какво е Fable 51
Fable 51 е конкурентен AI модел. В този контекст това е моделът, който Kimi K31 според съобщенията е превъзхождал в бенчмаркове
3 Какво означава, че Kimi K31 побеждава Fable 51
Означава, че Kimi K31 е получил по-висок резултат на публикувани бенчмарк тестове — неща като оценки за разсъждение, математика и програмиране. Това не означава, че е по-добър във всичко
4 Каква е обичайната история на Anthropic
Това се отнася до това, че Anthropic отговаря на бенчмарк твърдения на конкурент, като поставя под въпрос методологията, подчертава представянето в реалния свят или публикува собствено сравнение. Това е модел, който хората са забелязали при минали пускания на модели
5 Големи ли са победите в бенчмаркове
Те са полезен сигнал, но не цялата картина. Бенчмарковете могат да бъдат манипулирани или свръхнагодени, а представянето в реалния свят често се различава. Отнасяйте се към тях като към една точка от данни, а не като към присъда
6 Защо компаниите спорят за бенчмаркове
Защото резултатите от бенчмаркове привличат внимание, потребители и инвестиции. Всяка компания иска да оформи сравнението по начин, който облагодетелства нейния модел
7 Трябва ли да сменя моделите въз основа на тази новина
Не автоматично. Тествайте моделите върху собствените си задачи. Модел, който печели бенчмарк, все още може да е по-лош за вашия конкретен случай на употреба
8 Какви са честите проблеми при сравненията на бенчмаркове
Различни подсказки или настройки, използвани за всеки модел
Подбрани тестове
Замърсяване
Липса на отчитане на дисперсията или границите на грешката
9 Как мога сам да оценя тези твърдения
Създайте собствен малък набор от тестове с реални задачи, използвайте идентични подсказки за всеки модел и сравнявайте резултатите на сляпо, когато е възможно
10 Какъв е практичен съвет за следене на новини за AI модели
Изчакайте независими оценки, преди да правите заключения от бенчмаркове, публикувани от компании
