Del igen — indhold fra Maria Sukhareva
Det ser ud til, at Kimi K3.1 slår Fable 5.1, og Anthropic svarer igen med deres sædvanlige historie.
Ved ikke, om skærmbilledet er sandt, men slap Fable 5.5 ud og blev fanget af Moonshot, lænket og destilleret mod sin vilje? Ellers hvordan gjorde de det med en urealiseret model?
Det ser også ud til, at min artikel: "Blev Kimi K3 destilleret fra Fable 5" er aktuel igen.
Spoiler: på ingen måde i helvede blev den destilleret fra Fable 5
Redigering: nu ved vi, at skærmbilledet ikke er sandt, men AI-realist Vanga er tilbage:
Jeg ser en tweet snart. En virksomhedstweet. Virksomheden starter med A.
De siger, de er blevet angrebet af noget, der starter med D.
D som i Dario.
Et kæmpe D. Flere D'er. Kinesiske D'er.
Jeg kan ikke se beviserne.
63
46
6
63 reaktioner
LinkedIn-kilder
- Profil: Pierre Jean Duvivier dit Sage (LinkedIn)
- Delt forfatter: Maria Sukhareva (LinkedIn)
Indlægget Det ser ud til, at Kimi K3.1 slår Fable 5.1, og Anthropic svarer igen med deres sædvanlige historie. dukkede først op på les plumes qui mordent.
Ofte stillede spørgsmål
FAQ Kimi K31 vs Fable 51 og Anthropics svar
1 Hvad er Kimi K31
Kimi K31 er en AI-model fra Moonshot AI. Det er den nyeste version af deres Kimi-chatbot og er kendt for stærk ydeevne på ræsonnerings- og kodningsopgaver
2 Hvad er Fable 51
Fable 51 er en konkurrerende AI-model. I denne sammenhæng er det den model, som Kimi K31 angiveligt overgik i benchmarks
3 Hvad betyder det, at Kimi K31 slår Fable 51
Det betyder, at Kimi K31 scorede højere på offentliggjorte benchmarktest — ting som ræsonnering, matematik og kodningsevalueringer. Det betyder ikke, at den er bedre til alt
4 Hvad er Anthropics sædvanlige historie
Det refererer til, at Anthropic reagerer på en konkurrents benchmarkpåstande ved at stille spørgsmålstegn ved metoden, understrege ydeevne i den virkelige verden eller udgive deres egen sammenligning. Det er et mønster, folk har bemærket ved tidligere modellanceringer
5 Er benchmarksejre en stor ting
De er et nyttigt signal, men ikke hele billedet. Benchmarks kan manipuleres eller overtilpasses, og ydeevne i den virkelige verden er ofte anderledes. Behandl dem som ét datapunkt, ikke en dom
6 Hvorfor skændes virksomheder om benchmarks
Fordi benchmarkresultater driver opmærksomhed, brugere og investeringer. Hver virksomhed vil fremstille sammenligningen på den måde, der favoriserer deres model
7 Bør jeg skifte model baseret på denne nyhed
Ikke automatisk. Test modellerne på dine egne opgaver. En model, der vinder et benchmark, kan stadig være dårligere til dit specifikke brugstilfælde
8 Hvad er almindelige problemer med benchmarksammenligninger
Forskellige prompts eller indstillinger brugt til hver model
Håndplukkede tests
Kontaminering
Ingen rapportering af varians eller fejlmarginer
9 Hvordan kan jeg selv evaluere disse påstande
Kør dit eget lille testset med rigtige opgaver, brug identiske prompts til hver model, og sammenlign output blindt, hvor det er muligt
10 Hvad er et praktisk tip til at følge AI-modelnyheder
Vent på uafhængige evalueringer, før du drager konklusioner ud fra virksomhedsoffentliggjorte benchmarks
