Κοινοποίηση ξανά — περιεχόμενο από τη Maria Sukhareva
Φαίνεται ότι το Kimi K3.1 νικά το Fable 5.1 και η Anthropic απαντά με τη συνηθισμένη ιστορία της.
Δεν ξέρω αν το στιγμιότυπο οθόνης είναι αληθινό, αλλά διέφυγε το Fable 5.5 και το έπιασε η Moonshot, το αλυσόδεσε και το απέσταξε παρά τη θέλησή του; Αλλιώς πώς τα κατάφεραν με ένα μη πραγματοποιημένο μοντέλο;
Επίσης φαίνεται ότι το άρθρο μου: «Ήταν το Kimi K3 αποσταγμένο από το Fable 5» είναι ξανά επίκαιρο.
Spoiler: με κανέναν τρόπο δεν ήταν αποσταγμένο από το Fable 5
Επεξεργασία: τώρα ξέρουμε ότι το στιγμιότυπο οθόνης δεν είναι αληθινό, αλλά η AI Realist Vanga επέστρεψε:
Βλέπω σύντομα ένα tweet. Ένα tweet εταιρείας. Η εταιρεία αρχίζει με A.
Λένε ότι δέχτηκαν επίθεση από κάτι που αρχίζει με D.
D όπως Dario.
Ένα τεράστιο D. Πολλά D. Κινεζικά D.
Δεν μπορώ να δω τα στοιχεία.
63
46
6
63 αντιδράσεις
Πηγές LinkedIn
- Προφίλ: Pierre Jean Duvivier dit Sage (LinkedIn)
- Κοινός συγγραφέας: Maria Sukhareva (LinkedIn)
Η ανάρτηση Φαίνεται ότι το Kimi K3.1 νικά το Fable 5.1 και η Anthropic απαντά με τη συνηθισμένη ιστορία της. εμφανίστηκε πρώτα στο les plumes qui mordent.
Συχνές Ερωτήσεις
Συχνές Ερωτήσεις Kimi K31 vs Fable 51 και η Απάντηση της Anthropic
1 Τι είναι το Kimi K31
Το Kimi K31 είναι ένα μοντέλο AI από τη Moonshot AI. Είναι η τελευταία έκδοση του chatbot Kimi τους και είναι γνωστό για ισχυρή απόδοση σε εργασίες συλλογισμού και προγραμματισμού
2 Τι είναι το Fable 51
Το Fable 51 είναι ένα ανταγωνιστικό μοντέλο AI. Σε αυτό το πλαίσιο είναι το μοντέλο που το Kimi K31 reportedly ξεπέρασε σε benchmarks
3 Τι σημαίνει ότι το Kimi K31 νικά το Fable 51
Σημαίνει ότι το Kimi K31 σκόραρε υψηλότερα σε δημοσιευμένα benchmark test—πράγματα όπως αξιολογήσεις συλλογισμού, μαθηματικών και προγραμματισμού. Δεν σημαίνει ότι είναι καλύτερο σε όλα
4 Τι είναι η συνηθισμένη ιστορία της Anthropic
Αυτό αναφέρεται στην Anthropic που απαντά σε ισχυρισμούς benchmark ανταγωνιστών αμφισβητώντας τη μεθοδολογία, δίνοντας έμφαση στην απόδοση στον πραγματικό κόσμο ή κυκλοφορώντας τη δική της σύγκριση. Είναι ένα μοτίβο που οι άνθρωποι έχουν παρατηρήσει σε προηγούμενες κυκλοφορίες μοντέλων
5 Είναι οι νίκες σε benchmark μεγάλη υπόθεση
Είναι ένα χρήσιμο σήμα αλλά όχι η όλη εικόνα. Τα benchmarks μπορούν να χειραγωγηθούν ή να γίνουν overfit και η απόδοση στον πραγματικό κόσμο συχνά διαφέρει. Αντιμετωπίστε τα ως ένα σημείο δεδομένων, όχι ως ετυμηγορία
6 Γιατί οι εταιρείες διαφωνούν για τα benchmarks
Επειδή τα αποτελέσματα benchmark οδηγούν την προσοχή, τους χρήστες και την επένδυση. Κάθε εταιρεία θέλει να πλαισιώσει τη σύγκριση με τρόπο που ευνοεί το μοντέλο της
7 Πρέπει να αλλάξω μοντέλα βάσει αυτής της είδησης
Όχι αυτόματα. Δοκιμάστε τα μοντέλα στις δικές σας εργασίες. Ένα μοντέλο που κερδίζει ένα benchmark μπορεί να είναι χειρότερο για τη συγκεκριμένη περίπτωση χρήσης σας
8 Ποια είναι τα κοινά προβλήματα με τις συγκρίσεις benchmark
Διαφορετικά prompts ή ρυθμίσεις που χρησιμοποιούνται για κάθε μοντέλο
Επιλεγμένα τεστ
Μόλυνση
Καμία αναφορά διακύμανσης ή error bars
9 Πώς μπορώ να αξιολογήσω αυτούς τους ισχυρισμούς μόνος μου
Εκτελέστε το δικό σας μικρό σύνολο δοκιμών πραγματικών εργασιών, χρησιμοποιήστε πανομοιότυπα prompts για κάθε μοντέλο και συγκρίνετε τις εξόδους στα τυφλά όπου είναι δυνατόν
10 Ποια είναι μια πρακτική συμβουλή για την παρακολούθηση ειδήσεων μοντέλων AI
Περιμένετε ανεξάρτητες αξιολογήσεις πριν βγάλετε συμπεράσματα από benchmarks που δημοσιεύουν εταιρείες
