Repartage — contenu de Maria Sukhareva
On dirait que Kimi K3.1 bat Fable 5.1 et Anthropic réplique avec leur histoire habituelle.
Je ne sais pas si la capture d'écran est vraie, mais est-ce que Fable 5.5 s'est échappé et a été attrapé par Moonshot, enchaîné et distillé contre son gré ? Sinon, comment ont-ils fait avec un modèle non réalisé ?
On dirait aussi que mon article : « Kimi K3 a-t-il été distillé à partir de Fable 5 » est de nouveau d'actualité.
Spoiler : il n'y a aucune chance au monde qu'il ait été distillé à partir de Fable 5
Édit : maintenant nous savons que la capture d'écran n'est pas vraie, mais l'IA réaliste Vanga est de retour :
Je vois un tweet bientôt. Un tweet d'entreprise. L'entreprise commence par A.
Ils disent qu'ils ont été attaqués par quelque chose qui commence par D.
D comme Dario.
Un énorme D. Plusieurs D. Des D chinois.
Je ne peux pas voir les preuves.
63
46
6
63 réactions
Sources LinkedIn
- Profil : Pierre Jean Duvivier dit Sage (LinkedIn)
- Auteur partagé : Maria Sukhareva (LinkedIn)
L'article On dirait que Kimi K3.1 bat Fable 5.1 et Anthropic réplique avec leur histoire habituelle. est apparu en premier sur les plumes qui mordent.
Questions fréquemment posées
FAQ Kimi K31 vs Fable 51 et la réponse d'Anthropic
1 Qu'est-ce que Kimi K31
Kimi K31 est un modèle d'IA de Moonshot AI. C'est la dernière version de leur chatbot Kimi et il est connu pour ses fortes performances sur les tâches de raisonnement et de codage
2 Qu'est-ce que Fable 51
Fable 51 est un modèle d'IA concurrent. Dans ce contexte, c'est le modèle que Kimi K31 aurait surpassé dans les benchmarks
3 Que signifie que Kimi K31 bat Fable 51
Cela signifie que Kimi K31 a obtenu de meilleurs scores sur des tests de référence publiés — des évaluations de raisonnement, de mathématiques et de codage. Cela ne signifie pas qu'il est meilleur en tout
4 Qu'est-ce que l'histoire habituelle d'Anthropic
Cela fait référence à Anthropic répondant aux affirmations de benchmarks d'un concurrent en questionnant la méthodologie, en mettant l'accent sur les performances réelles ou en publiant sa propre comparaison. C'est un schéma que les gens ont remarqué lors des lancements de modèles passés
5 Les victoires aux benchmarks sont-elles importantes
Elles sont un signal utile mais pas l'image complète. Les benchmarks peuvent être manipulés ou sur-ajustés et les performances réelles diffèrent souvent. Traitez-les comme un point de données, pas comme un verdict
6 Pourquoi les entreprises se disputent-elles sur les benchmarks
Parce que les résultats des benchmarks génèrent l'attention, les utilisateurs et l'investissement. Chaque entreprise veut cadrer la comparaison d'une manière qui favorise son modèle
7 Devrais-je changer de modèle en fonction de cette nouvelle
Pas automatiquement. Testez les modèles sur vos propres tâches. Un modèle qui gagne un benchmark peut encore être moins bon pour votre cas d'usage spécifique
8 Quels sont les problèmes courants avec les comparaisons de benchmarks
Des prompts ou paramètres différents utilisés pour chaque modèle
Des tests triés sur le volet
La contamination
Aucun rapport de variance ou de barres d'erreur
9 Comment puis-je évaluer ces affirmations moi-même
Exécutez votre propre petit ensemble de tests de tâches réelles, utilisez des prompts identiques pour chaque modèle et comparez les sorties en aveugle si possible
10 Quelle est un conseil pratique pour suivre l'actualité des modèles d'IA
Attendez les évaluations indépendantes avant de tirer des conclusions à partir des benchmarks publiés par les entreprises
