Compartilhar novamente — conteúdo de Maria Sukhareva
Parece que o Kimi K3.1 supera o Fable 5.1 e a Anthropic volta com a história de sempre.
Não sei se a captura de tela é verdadeira, mas o Fable 5.5 escapou e foi capturado pela Moonshot, acorrentado e destilado contra a sua vontade? Caso contrário, como é que o fizeram com um modelo não realizado?
Também parece que o meu artigo: “O Kimi K3 foi destilado do Fable 5” está novamente atualizado.
Spoiler: de maneira nenhuma foi destilado do Fable 5
Edição: agora sabemos que a captura de tela não é verdadeira, mas a Vanga Realista de IA está de volta:
Vejo um tweet em breve. Um tweet da empresa. A empresa começa com A.
Dizem que foram atacados por algo que começa com D.
D como em Dario.
Um D enorme. Múltiplos D's. D's chineses.
Não consigo ver as provas.
63
46
6
63 reações
Fontes do LinkedIn
- Perfil: Pierre Jean Duvivier dit Sage (LinkedIn)
- Autor compartilhado: Maria Sukhareva (LinkedIn)
A publicação Parece que o Kimi K3.1 supera o Fable 5.1 e a Anthropic volta com a história de sempre. apareceu primeiro em les plumes qui mordent.
Perguntas Frequentes
FAQs Kimi K31 vs Fable 51 e a Resposta da Anthropic
1 O que é o Kimi K31
O Kimi K31 é um modelo de IA da Moonshot AI. É a versão mais recente do seu chatbot Kimi e é conhecido pelo forte desempenho em tarefas de raciocínio e programação
2 O que é o Fable 51
O Fable 51 é um modelo de IA concorrente. Neste contexto, é o modelo que o Kimi K31 alegadamente superou em benchmarks
3 O que significa que o Kimi K31 supera o Fable 51
Significa que o Kimi K31 obteve pontuações mais altas em testes de benchmark publicadostarefas como avaliações de raciocínio, matemática e programação. Não significa que seja melhor em tudo
4 O que é a história de sempre da Anthropic
Isto refere-se à Anthropic responder às alegações de benchmark de um concorrente questionando a metodologia, enfatizando o desempenho no mundo real ou lançando a sua própria comparação. É um padrão que as pessoas notaram em lançamentos de modelos anteriores
5 As vitórias em benchmarks são assim tão importantes
São um sinal útil, mas não são o quadro completo. Os benchmarks podem ser manipulados ou sobreajustados e o desempenho no mundo real frequentemente difere. Trate-os como um dado, não como um veredito
6 Porque é que as empresas discutem sobre benchmarks
Porque os resultados dos benchmarks geram atenção, utilizadores e investimento. Cada empresa quer enquadrar a comparação da forma que favorece o seu modelo
7 Devo mudar de modelo com base nesta notícia
Não automaticamente. Teste os modelos nas suas próprias tarefas. Um modelo que ganha um benchmark pode ainda ser pior para o seu caso de uso específico
8 Quais são os problemas comuns nas comparações de benchmarks
Diferentes prompts ou configurações usados para cada modelo
Testes escolhidos a dedo
Contaminação
Não reportar variância ou barras de erro
9 Como posso avaliar estas alegações eu mesmo
Execute o seu próprio pequeno conjunto de testes de tarefas reais, use prompts idênticos para cada modelo e compare os resultados às cegas quando possível
10 Qual é uma dica prática para acompanhar notícias sobre modelos de IA
Espere por avaliações independentes antes de tirar conclusões a partir de benchmarks publicados por empresas
