Újramegosztás — tartalom Maria Sukharevától
Úgy tűnik, a Kimi K3.1 legyőzi a Fable 5.1-et, és az Anthropic a szokásos történetével vág vissza.
Nem tudom, igaz-e a képernyőkép, de a Fable 5.5 megszökött, és a Moonshot elkapta, megbilincselte és akarata ellenére desztillálta? Különben hogyan csinálták egy meg nem valósított modellel?
Úgy tűnik, a cikkem: „A Kimi K3-at a Fable 5-ből desztillálták?” ismét aktuális.
Spoiler: semmi esély rá, hogy a Fable 5-ből desztillálták volna
Szerkesztés: most már tudjuk, hogy a képernyőkép nem igaz, de az AI Realist Vanga visszatért:
Hamarosan látok egy tweetet. Egy cég tweetjét. A cég A-val kezdődik.
Azt mondják, megtámadta őket valami, ami D-vel kezdődik.
D, mint Dario.
Egy hatalmas D. Több D. Kínai D-k.
Nem látom a bizonyítékot.
63
46
6
63 reakció
LinkedIn-források
- Profil: Pierre Jean Duvivier dit Sage (LinkedIn)
- Megosztó szerző: Maria Sukhareva (LinkedIn)
A Looks like Kimi K3.1 beats Fable 5.1 and Anthropic back with their usual story. bejegyzés először a les plumes qui mordent oldalon jelent meg.
Gyakran ismételt kérdések
GYIK Kimi K31 vs Fable 51 és az Anthropic válasza
1 Mi az a Kimi K31
A Kimi K31 a Moonshot AI egyik AI-modellje. A Kimi chatbotjuk legújabb verziója, amely erős teljesítményéről ismert érvelési és kódolási feladatokban
2 Mi az a Fable 51
A Fable 51 egy versengő AI-modell. Ebben a kontextusban ez az a modell, amelyet a Kimi K31 állítólag felülmúlt a benchmarkokon
3 Mit jelent, hogy a Kimi K31 legyőzi a Fable 51-et
Azt jelenti, hogy a Kimi K31 magasabb pontszámot ért el a közzétett benchmark-teszteken—olyan dolgokon, mint az érvelés, a matematika és a kódolási értékelések. Nem jelenti azt, hogy mindenben jobb
4 Mi az Anthropic szokásos története
Ez arra utal, hogy az Anthropic egy versenytárs benchmark-állításaira úgy válaszol, hogy megkérdőjelezi a módszertant, hangsúlyozza a valós teljesítményt, vagy közzéteszi a saját összehasonlítását. Ez egy minta, amelyet az emberek a korábbi modellbevezetéseknél észrevettek
5 Nagy dolog a benchmark-győzelem
Hasznos jelzés, de nem a teljes kép. A benchmarkokat lehet manipulálni vagy túlilleszteni, és a valós teljesítmény gyakran eltér. Egy adatpontként kezeld, nem ítéletként
6 Miért vitatkoznak a cégek a benchmarkokról
Mert a benchmark-eredmények figyelmet, felhasználókat és befektetéseket vonzanak. Minden cég a saját modelljének kedvező módon akarja keretezni az összehasonlítást
7 Váltsak modellt e hír alapján
Ne automatikusan. Teszteld a modelleket a saját feladataidon. Egy benchmarkot nyerő modell még mindig lehet rosszabb a te konkrét felhasználási esetedben
8 Mik a benchmark-összehasonlítások gyakori problémái
Különböző promptok vagy beállítások használata az egyes modelleknél
Cseresznyeszemlélt tesztek
Szennyeződés
A variancia vagy hibasávok jelentésének hiánya
9 Hogyan értékelhetem magam ezeket az állításokat
Futtass egy saját kis tesztkészletet valós feladatokból, használj azonos promptokat minden modellnél, és lehetőség szerint vakon hasonlítsd össze a kimeneteket
10 Mi egy gyakorlati tipp az AI-modellhírek követéséhez
Várj a független értékelésekre, mielőtt következtetéseket vonsz le a cégek által közzétett benchmarkokból
