Udostępnij ponownie — treść od Marii Sukharevej
Wygląda na to, że Kimi K3.1 bije Fable 5.1, a Anthropic odpowiada swoją zwykłą historią.
Nie wiem, czy zrzut ekranu jest prawdziwy, ale czy Fable 5.5 uciekło i zostało złapane przez Moonshot, przykute łańcuchami i zdystylowane wbrew swojej woli? Bo inaczej jak tego dokonali z niezrealizowanym modelem?
Wygląda też na to, że mój artykuł: „Czy Kimi K3 zostało zdystylowane z Fable 5” znów jest aktualny.
Spoiler: w żadnym wypadku nie zostało zdystylowane z Fable 5
Edycja: teraz wiemy, że zrzut ekranu nie jest prawdziwy, ale AI Realist Vanga wraca:
Widzę wkrótce tweet. Tweet firmy. Firma zaczyna się na A.
Mówią, że zostali zaatakowani przez coś, co zaczyna się na D.
D jak Dario.
Ogromne D. Wiele D. Chińskie D.
Nie widzę dowodów.
63
46
6
63 reakcje
Źródła LinkedIn
- Profil: Pierre Jean Duvivier dit Sage (LinkedIn)
- Udostępniony autor: Maria Sukhareva (LinkedIn)
Wpis Wygląda na to, że Kimi K3.1 bije Fable 5.1, a Anthropic odpowiada swoją zwykłą historią. pojawił się najpierw na les plumes qui mordent.
Najczęściej zadawane pytania
FAQ Kimi K31 vs Fable 51 i odpowiedź Anthropic
1 Czym jest Kimi K31
Kimi K31 to model AI od Moonshot AI. To najnowsza wersja ich chatbota Kimi i jest znany z mocnych wyników w zadaniach rozumowania i kodowania
2 Czym jest Fable 51
Fable 51 to konkurencyjny model AI. W tym kontekście to model, który Kimi K31 rzekomo przewyższył w benchmarkach
3 Co oznacza, że Kimi K31 bije Fable 51
Oznacza to, że Kimi K31 uzyskał wyższe wyniki w opublikowanych testach benchmarkowych — rzeczach takich jak oceny rozumowania, matematyki i kodowania. Nie oznacza to, że jest lepszy we wszystkim
4 Czym jest zwykła historia Anthropic
Odnosi się to do odpowiadania przez Anthropic na twierdzenia konkurenta dotyczące benchmarków poprzez kwestionowanie metodologii, podkreślanie wydajności w rzeczywistych warunkach lub publikowanie własnego porównania. To schemat, który ludzie zauważyli przy poprzednich premierach modeli
5 Czy zwycięstwa w benchmarkach to wielka sprawa
To użyteczny sygnał, ale nie cały obraz. Benchmarki można manipulować lub nadmiernie dopasowywać, a wydajność w rzeczywistych warunkach często się różni. Traktuj je jako jeden punkt danych, a nie werdykt
6 Dlaczego firmy spierają się o benchmarki
Ponieważ wyniki benchmarków napędzają uwagę, użytkowników i inwestycje. Każda firma chce przedstawić porównanie w sposób korzystny dla swojego modelu
7 Czy powinienem zmienić modele na podstawie tej wiadomości
Nie automatycznie. Przetestuj modele na własnych zadaniach. Model, który wygrywa benchmark, może nadal być gorszy dla twojego konkretnego przypadku użycia
8 Jakie są typowe problemy z porównaniami benchmarków
Różne prompty lub ustawienia używane dla każdego modelu
Wyselekcjonowane testy
Zanieczyszczenie
Brak raportowania wariancji lub przedziałów błędów
9 Jak mogę sam ocenić te twierdzenia
Przeprowadź własny mały zestaw testowy rzeczywistych zadań, używaj identycznych promptów dla każdego modelu i porównuj wyniki w miarę możliwości w ciemno
10 Jaka jest praktyczna wskazówka dotycząca śledzenia wiadomości o modelach AI
Poczekaj na niezależne oceny, zanim wyciągniesz wnioski z benchmarków publikowanych przez firmy
