Del på nytt — innhold fra Maria Sukhareva
Det ser ut som Kimi K3.1 slår Fable 5.1, og Anthropic svarer med sin vanlige historie.
Vet ikke om skjermbildet er ekte, men rømte Fable 5.5 og ble fanget av Moonshot, lenket og destillert mot sin vilje? Ellers hvordan gjorde de det med en urealisert modell?
Det ser også ut som artikkelen min: «Ble Kimi K3 destillert fra Fable 5» er aktuell igjen.
Spoiler: på ingen måte i helvete ble den destillert fra Fable 5
Redigering: nå vet vi at skjermbildet ikke er ekte, men AI-realist Vanga er tilbake:
Jeg ser en tweet snart. En bedriftstweet. Bedriften starter med A.
De sier de har blitt angrepet av noe som starter med D.
D som i Dario.
En enorm D. Flere D-er. Kinesiske D-er.
Jeg kan ikke se bevisene.
63
46
6
63 reaksjoner
LinkedIn-kilder
- Profil: Pierre Jean Duvivier dit Sage (LinkedIn)
- Delt forfatter: Maria Sukhareva (LinkedIn)
Innlegget Det ser ut som Kimi K3.1 slår Fable 5.1, og Anthropic svarer med sin vanlige historie. dukket først opp på les plumes qui mordent.
Ofte stilte spørsmål
FAQs Kimi K31 vs Fable 51 og Anthropics respons
1 Hva er Kimi K31
Kimi K31 er en AI-modell fra Moonshot AI. Det er den nyeste versjonen av deres Kimi-chatbot og er kjent for sterk ytelse på resonnering og kodingsoppgaver
2 Hva er Fable 51
Fable 51 er en konkurrerende AI-modell. I denne sammenhengen er det modellen som Kimi K31 angivelig overgikk i benchmarker
3 Hva betyr det at Kimi K31 slår Fable 51
Det betyr at Kimi K31 fikk høyere poengsum på publiserte benchmarktester—ting som resonnering, matte og kodingsevalueringer. Det betyr ikke at den er bedre på alt
4 Hva er Anthropics vanlige historie
Dette viser til at Anthropic svarer på en konkurrents benchmarkpåstander ved å stille spørsmål ved metodikken, understreke ytelse i den virkelige verden eller publisere sin egen sammenligning. Det er et mønster folk har lagt merke til ved tidligere modellanseringer
5 Er benchmarkseire en stor sak
De er et nyttig signal, men ikke hele bildet. Benchmarker kan manipuleres eller overtilpasses, og ytelse i den virkelige verden er ofte annerledes. Behandle dem som ett datapunkt, ikke en dom
6 Hvorfor krangler selskaper om benchmarker
Fordi benchmarkresultater driver oppmerksomhet, brukere og investeringer. Hvert selskap vil ramme inn sammenligningen på den måten som favoriserer deres modell
7 Bør jeg bytte modell basert på denne nyheten
Ikke automatisk. Test modellene på dine egne oppgaver. En modell som vinner en benchmark kan fortsatt være dårligere for ditt spesifikke brukstilfelle
8 Hva er vanlige problemer med benchmarksammenligninger
Ulike ledetekster eller innstillinger brukt for hver modell
Håndplukkede tester
Kontaminering
Ingen rapportering av varians eller feilmarginer
9 Hvordan kan jeg vurdere disse påstandene selv
Kjør ditt eget lille testsett med reelle oppgaver, bruk identiske ledetekster for hver modell og sammenlign resultater blindt der det er mulig
10 Hva er et praktisk tips for å følge nyheter om AI-modeller
Vent på uavhengige evalueringer før du trekker konklusjoner fra selskapspubliserte benchmarker
