Ricondivisione — contenuto di Maria Sukhareva
Sembra che Kimi K3.1 batta Fable 5.1 e Anthropic risponda con la loro solita storia.
Non so se lo screenshot sia vero, ma Fable 5.5 è scappato ed è stato catturato da Moonshot, incatenato e distillato contro la sua volontà? Altrimenti come hanno fatto con un modello non realizzato?
Sembra anche che il mio articolo: "Kimi K3 è stato distillato da Fable 5" sia di nuovo attuale.
Spoiler: in nessun modo al mondo è stato distillato da Fable 5
Modifica: ora sappiamo che lo screenshot non è vero, ma l'AI Realist Vanga è tornata:
Vedo un tweet presto. Un tweet aziendale. L'azienda inizia con A.
Dicono di essere stati attaccati da qualcosa che inizia con D.
D come Dario.
Una D enorme. Più D. D cinesi.
Non riesco a vedere le prove.
63
46
6
63 reazioni
Fonti LinkedIn
- Profilo: Pierre Jean Duvivier dit Sage (LinkedIn)
- Autore condiviso: Maria Sukhareva (LinkedIn)
Il post Sembra che Kimi K3.1 batta Fable 5.1 e Anthropic risponda con la loro solita storia. è apparso per la prima volta su les plumes qui mordent.
Domande frequenti
FAQ Kimi K31 vs Fable 51 e la risposta di Anthropic
1 Cos'è Kimi K31
Kimi K31 è un modello di AI di Moonshot AI È l'ultima versione del loro chatbot Kimi ed è noto per le forti prestazioni su compiti di ragionamento e programmazione
2 Cos'è Fable 51
Fable 51 è un modello di AI concorrente In questo contesto è il modello che Kimi K31 avrebbe superato nei benchmark
3 Cosa significa che Kimi K31 batte Fable 51
Significa che Kimi K31 ha ottenuto un punteggio più alto nei test benchmark pubblicati cose come valutazioni di ragionamento matematica e programmazione Non significa che sia migliore in tutto
4 Qual è la solita storia di Anthropic
Si riferisce al fatto che Anthropic risponde alle affermazioni sui benchmark di un concorrente mettendo in dubbio la metodologia sottolineando le prestazioni nel mondo reale o pubblicando il proprio confronto È uno schema che le persone hanno notato nei lanci di modelli passati
5 Le vittorie nei benchmark sono un grosso problema
Sono un segnale utile ma non il quadro completo I benchmark possono essere manipolati o sovradattati e le prestazioni nel mondo reale spesso differiscono Trattali come un dato, non come un verdetto
6 Perché le aziende discutono sui benchmark
Perché i risultati dei benchmark attirano attenzione utenti e investimenti Ogni azienda vuole inquadrare il confronto nel modo che favorisce il proprio modello
7 Dovrei cambiare modello in base a questa notizia
Non automaticamente Testa i modelli sui tuoi compiti Un modello che vince un benchmark può comunque essere peggiore per il tuo caso d'uso specifico
8 Quali sono i problemi comuni con i confronti dei benchmark
Prompt o impostazioni diverse usate per ogni modello
Test selezionati ad hoc
Contaminazione
Nessuna segnalazione di varianza o barre di errore
9 Come posso valutare queste affermazioni da solo
Esegui il tuo piccolo set di test di compiti reali usa prompt identici per ogni modello e confronta gli output in modo cieco dove possibile
10 Qual è un consiglio pratico per seguire le notizie sui modelli di AI
Aspetta valutazioni indipendenti prima di trarre conclusioni dai benchmark pubblicati dalle aziende
