Sdílení — obsah od Maria Sukhareva
Vypadá to, že Kimi K3.1 poráží Fable 5.1 a Anthropic zase se svým obvyklým příběhem.
Nevím, jestli je ten screenshot pravý, ale utekl snad Fable 5.5 a byl chycen Moonshotem, spoután a destilován proti své vůli? Jinak jak to udělali s nerealizovaným modelem?
Taky to vypadá, že můj článek: „Byl Kimi K3 destilován z Fable 5“ je zase aktuální.
Spoiler: v žádném případě to nebylo destilováno z Fable 5
Edit: teď víme, že ten screenshot není pravý, ale AI Realist Vanga je zpět:
Vidím brzy tweet. Firemní tweet. Ta firma začíná na A.
Říkají, že na ně zaútočilo něco, co začíná na D.
D jako Dario.
Obrovské D. Několik D. Čínská D.
Nevidím žádné důkazy.
63
46
6
63 reakcí
Zdroje LinkedIn
- Profil: Pierre Jean Duvivier dit Sage (LinkedIn)
- Sdílený autor: Maria Sukhareva (LinkedIn)
Příspěvek Vypadá to, že Kimi K3.1 poráží Fable 5.1 a Anthropic zase se svým obvyklým příběhem. se poprvé objevil na les plumes qui mordent.
Často kladené otázky
FAQs Kimi K31 vs Fable 51 a odpověď Anthropicu
1 Co je Kimi K31
Kimi K31 je AI model od Moonshot AI. Je to nejnovější verze jejich chatbota Kimi a je známý silným výkonem v úlohách uvažování a programování
2 Co je Fable 51
Fable 51 je konkurenční AI model. V tomto kontextu je to model, který podle zpráv Kimi K31 překonal v benchmarcích
3 Co znamená, že Kimi K31 poráží Fable 51
Znamená to, že Kimi K31 dosáhl vyššího skóre ve zveřejněných benchmarkových testech — věcech jako hodnocení uvažování, matematiky a programování. Neznamená to, že je lepší ve všem
4 Co je obvyklý příběh Anthropicu
To odkazuje na to, že Anthropic reaguje na benchmarková tvrzení konkurenta zpochybňováním metodiky, zdůrazňováním výkonu v reálném světě nebo zveřejněním vlastního srovnání. Je to vzorec, kterého si lidé všimli při minulých uvedeních modelů
5 Jsou benchmarková vítězství velká věc
Jsou užitečným signálem, ale ne celým obrazem. Benchmarky lze zmanipulovat nebo přetrénovat a výkon v reálném světě se často liší. Berte je jako jeden datový bod, ne jako verdikt
6 Proč se firmy hádají o benchmarky
Protože výsledky benchmarků řídí pozornost, uživatele a investice. Každá firma chce srovnání zarámovat tak, aby zvýhodňovalo její model
7 Měl bych na základě této zprávy změnit model
Ne automaticky. Otestujte modely na svých vlastních úlohách. Model, který vyhraje benchmark, může být pro váš konkrétní případ použití stále horší
8 Jaké jsou běžné problémy s benchmarkovými srovnáními
Různé prompty nebo nastavení použité pro každý model
Vybrání testů na míru
Kontaminace
Žádné hlášení rozptylu nebo chybových pruhů
9 Jak mohu tato tvrzení vyhodnotit sám
Spusťte svou vlastní malou testovací sadu skutečných úloh, použijte identické prompty pro každý model a pokud možno porovnejte výstupy naslepo
10 Jaký je praktický tip pro sledování zpráv o AI modelech
Počkejte na nezávislá hodnocení, než vyvodíte závěry z benchmarků zveřejněných firmami
