بازنشر — محتوا از ماریا سوخاروا
به نظر می‌رسد Kimi K3.1 از Fable 5.1 و Anthropic با داستان همیشگی‌شان جلو می‌زند.
نمی‌دانم اسکرین‌شات واقعی است یا نه، اما آیا Fable 5.5 فرار کرد و توسط Moonshot گرفته شد، زنجیر شد و برخلاف میلش تقطیر شد؟ وگرنه چطور این کار را با یک مدل محقق‌نشده انجام دادند؟
همچنین به نظر می‌رسد مقاله‌ام: «آیا Kimi K3 از Fable 5 تقطیر شد» دوباره به‌روز شده است.
اسپویلر: به هیچ وجه از Fable 5 تقطیر نشده است
ویرایش: حالا می‌دانیم اسکرین‌شات واقعی نیست، اما وانگای واقع‌گرای هوش مصنوعی برگشته است:
به زودی یک توییت می‌بینم. یک توییت شرکتی. شرکت با A شروع می‌شود.
می‌گویند مورد حمله چیزی قرار گرفته‌اند که با D شروع می‌شود.
D مثل داریو.
یک D بزرگ. چندین D. Dهای چینی.
من نمی‌توانم شواهد را ببینم.
۶۳
۴۶
۶
۶۳ واکنش
منابع لینکدین
- پروفایل: Pierre Jean Duvivier dit Sage (لینکدین)
- نویسنده مشترک: Maria Sukhareva (لینکدین)
پست به نظر می‌رسد Kimi K3.1 از Fable 5.1 و Anthropic با داستان همیشگی‌شان جلو می‌زند. ابتدا در les plumes qui mordent منتشر شد.
سوالات متداول
سوالات متداول Kimi K31 در برابر Fable 51 و پاسخ Anthropic
۱ Kimi K31 چیست
Kimi K31 یک مدل هوش مصنوعی از Moonshot AI است. این آخرین نسخه چت‌بات Kimi آن‌هاست و به عملکرد قوی در وظایف استدلال و کدنویسی شناخته می‌شود
۲ Fable 51 چیست
Fable 51 یک مدل هوش مصنوعی رقیب است. در این زمینه، مدلی است که Kimi K31 reportedly در بنچمارک‌ها از آن پیشی گرفته است
۳ معنای این که Kimi K31 از Fable 51 جلو می‌زند چیست
یعنی Kimi K31 در آزمون‌های بنچمارک منتشرشده — مواردی مثل ارزیابی استدلال، ریاضی و کدنویسی — امتیاز بالاتری کسب کرده است. این به معنای بهتر بودن در همه چیز نیست
۴ داستان همیشگی Anthropic چیست
این به واکنش Anthropic به ادعاهای بنچمارک رقیب اشاره دارد: زیر سوال بردن روش‌شناسی، تاکید بر عملکرد در دنیای واقعی، یا انتشار مقایسه خودش. این الگویی است که مردم در عرضه‌های گذشته مدل متوجه شده‌اند
۵ آیا پیروزی در بنچمارک اهمیت زیادی دارد
آن‌ها سیگنال مفیدی هستند اما تمام تصویر نیستند. بنچمارک‌ها می‌توانند دستکاری یا بیش‌برازش شوند و عملکرد دنیای واقعی اغلب متفاوت است. آن‌ها را یک نقطه داده بدانید نه حکم قطعی
۶ چرا شرکت‌ها درباره بنچمارک‌ها بحث می‌کنند
چون نتایج بنچمارک توجه، کاربران و سرمایه‌گذاری را هدایت می‌کند. هر شرکت می‌خواهد مقایسه را به شکلی چارچوب‌بندی کند که به نفع مدلش باشد
۷ آیا باید بر اساس این خبر مدل را عوض کنم
نه به‌طور خودکار. مدل‌ها را روی وظایف خودتان آزمایش کنید. مدلی که در بنچمارک برنده می‌شود ممکن است برای کاربرد خاص شما بدتر باشد
۸ مشکلات رایج مقایسه‌های بنچمارک چیست
استفاده از پرامپت‌ها یا تنظیمات متفاوت برای هر مدل
آزمون‌های گلچین‌شده
آلودگی
عدم گزارش واریانس یا نوارهای خطا
۹ چگونه می‌توانم این ادعاها را خودم ارزیابی کنم
مجموعه آزمون کوچک خودتان از وظایف واقعی را اجرا کنید، از پرامپت‌های یکسان برای هر مدل استفاده کنید و در صورت امکان خروجی‌ها را کورکورانه مقایسه کنید
۱۰ یک نکته عملی برای دنبال کردن اخبار مدل‌های هوش مصنوعی چیست
منتظر ارزیابی‌های مستقل بمانید پیش از نتیجه‌گیری از بنچمارک‌های منتشرشده توسط شرکت‌ها
