Dela igen — innehåll från Maria Sukhareva
Det verkar som att Kimi K3.1 slår Fable 5.1 och Anthropic svarar med sin vanliga historia.
Vet inte om skärmdumpen är sann, men rymde Fable 5.5 och blev fångad av Moonshot, kedjad och destillerad mot sin vilja? Hur gjorde de det annars med en orealiserad modell?
Det verkar också som att min artikel: "Destillerades Kimi K3 från Fable 5" är aktuell igen.
Spoiler: aldrig i helvete att den destillerades från Fable 5
Redigering: nu vet vi att skärmdumpen inte är sann, men AI-realisten Vanga är tillbaka:
Jag ser en tweet snart. En företagstweet. Företaget börjar på A.
De säger att de har blivit attackerade av något som börjar på D.
D som i Dario.
Ett enormt D. Flera D:n. Kinesiska D:n.
Jag kan inte se bevisen.
63
46
6
63 reaktioner
LinkedIn-källor
- Profil: Pierre Jean Duvivier dit Sage (LinkedIn)
- Delad författare: Maria Sukhareva (LinkedIn)
Inlägget Det verkar som att Kimi K3.1 slår Fable 5.1 och Anthropic svarar med sin vanliga historia. dök först upp på les plumes qui mordent.
Vanliga frågor
Vanliga frågor Kimi K31 vs Fable 51 och Anthropics svar
1 Vad är Kimi K31
Kimi K31 är en AI-modell från Moonshot AI. Det är den senaste versionen av deras Kimi-chatbot och är känd för stark prestanda på resonemangs- och kodningsuppgifter
2 Vad är Fable 51
Fable 51 är en konkurrerande AI-modell. I detta sammanhang är det modellen som Kimi K31 enligt uppgift överträffade i benchmarks
3 Vad betyder det att Kimi K31 slår Fable 51
Det betyder att Kimi K31 fick högre poäng på publicerade benchmarktester—saker som resonemang, matematik och kodningsevalueringar. Det betyder inte att den är bättre på allt
4 Vad är Anthropics vanliga historia
Detta syftar på att Anthropic svarar på en konkurrents benchmarkpåståenden genom att ifrågasätta metodiken, betona prestanda i verkliga scenarier eller släppa sin egen jämförelse. Det är ett mönster som folk har lagt märke till vid tidigare modellanseringar
5 Är benchmarkvinster en stor sak
De är en användbar signal men inte hela bilden. Benchmarks kan manipuleras eller överanpassas och prestanda i verkliga scenarier skiljer sig ofta. Behandla dem som en datapunkt, inte en dom
6 Varför bråkar företag om benchmarks
Eftersom benchmarkresultat driver uppmärksamhet, användare och investeringar. Varje företag vill rama in jämförelsen på det sätt som gynnar deras modell
7 Bör jag byta modeller baserat på denna nyhet
Inte automatiskt. Testa modellerna på dina egna uppgifter. En modell som vinner ett benchmark kan fortfarande vara sämre för ditt specifika användningsfall
8 Vilka är vanliga problem med benchmarkjämförelser
Olika prompter eller inställningar används för varje modell
Handplockade tester
Kontaminering
Ingen rapportering av varians eller felmarginaler
9 Hur kan jag utvärdera dessa påståenden själv
Kör din egen lilla testuppsättning av verkliga uppgifter, använd identiska prompter för varje modell och jämför utdata blint där det är möjligt
10 Vad är ett praktiskt tips för att följa nyheter om AI-modeller
Vänta på oberoende utvärderingar innan du drar slutsatser från företagspublicerade benchmarks
