آیا تا به حال به کدی که LLM محبوبتان تولید می‌کند نگاه کرده‌اید؟
و مهم‌تر از همه به عملکرد آن، بین پرحرفی کد تولیدشده، هزینه تولیدش و سرعت اجرای اسکریپت؟
من از طریق OpenCode Go (۱۰ دلار در ماه)، چندین LLM را روی یک پرامپت ساده تست کردم: «یک اسکریپت PHP بساز که یک فایل XML با ۱۰۰,۰۰۰ ورودی را در سریع‌ترین زمان ممکن مصرف کند.»
در نهایت، ۶ LLM را تست کردم (من در حال حاضر به شدت از DeepSeek v4.1 Flash استفاده می‌کنم که آن را برای کدنویسی فوق‌العاده می‌یابم).
DeepSeek v4.1 Flash، Grok 4.7، Kimi K3.1 Pro، GPT-6 Luna، Gemini-5 Argon و Claude Haiku 5.5.
و نتایج این درخواست به شرح زیر است:
فشرده‌ترین کد توسط GPT-6 Luna تولید می‌شود، در ۲۹ ثانیه، با هزینه ۰.۰۰۱۵۶ دلار! این غافلگیری بزرگ تست من است: OpenAI با Luna ده برابر ارزان‌تر از DeepSeek است…
سریع‌ترین اسکریپت توسط DeepSeek v4.1 Flash تولید می‌شود که به ۵۲۸,۰۰۰ ورودی بر ثانیه در پردازش فایل می‌رسد.
در واقع فقط ۱۸۹ میلی‌ثانیه طول می‌کشد تا ۱۰۰,۰۰۰ ورودی XML را تجزیه کند!
این مدل انتخاب می‌کند از XMLReader به صورت استریم استفاده کند… و سریع‌ترین است.
Claude Haiku 5.5 نیز در این بنچمارک ارزان است، کد را خیلی سریع تولید می‌کند (۱۷ ثانیه)، در مقابل ۱۱۵ ثانیه (تقریباً ۷ برابر بیشتر) برای DeepSeek، اما کدی تولید می‌کند که از کندترین‌ها در اجرا است.
از نظر نسبت عملکرد / سرعت / هزینه، DeepSeek در این یکی جلوتر است، اگر کسی به سرعت اجرای کد تولیدشده اولویت بدهد.
Grok بسیار گران است (۲۰ برابر بیشتر از DeepSeek)، اما در عملکرد دوم می‌شود.
Luna ده برابر ارزان‌تر از DeepSeek است، و در عملکرد چهارم می‌شود، با تولید فوق‌العاده سریع (۲۹ ثانیه).
چیزی که در این تمرین کوچک جالب است این است که ما صرفاً توانایی یک LLM را در تولید کد کارآمد اندازه‌گیری نمی‌کنیم، بلکه توانایی آن را در اتخاذ انتخاب‌های فنی درست، اجتناب از پرحرفی غیرضروری و تولید یک برنامه واقعاً کارآمد نیز می‌سنجیم.
و واضح است که گران‌ترین مدل لزوماً مدلی نیست که بهترین کد را تولید می‌کند.
این همچنین مشکل دیگری را نشان می‌دهد: کدام مدل‌ها برای کدام وظایف…
هماهنگ‌سازی (خوب) به یک مسئله روزافزون مهم تبدیل خواهد شد.
منابع لینکدین
- پروفایل: Pierre Jean Duvivier dit Sage (لینکدین)
پست آیا تا به حال به کدی که LLM محبوبتان تولید می‌کند نگاه کرده‌اید؟ ابتدا در les plumes qui mordent منتشر شد.
سوالات متداول
سوالات متداول نگاهی به کدی که LLM محبوبتان تولید می‌کند
۱ نگاه کردن به کدی که یک LLM تولید می‌کند به چه معناست
یعنی واقعاً خواندن، اجرا کردن و بررسی کدی که یک دستیار هوش مصنوعی به شما می‌دهد به جای کپی و پیست کورکورانه آن
۲ چرا باید زحمت خواندن کد تولیدشده توسط هوش مصنوعی را به خود بدهم
چون LLMها می‌توانند با اطمینان اشتباه باشند. خواندن کد به شما کمک می‌کند باگ‌ها، مسائل امنیتی و خطاهای منطقی را قبل از رسیدن به پروژه‌تان بگیرید
۳ آیا برای بررسی کد هوش مصنوعی باید متخصص باشم
نه. حتی خواندن ابتدایی کمک می‌کند - می‌توانید مشکلات واضحی مثل رمزهای عبور هاردکد شده، عدم مدیریت خطا یا کدی که با آنچه خواسته‌اید مطابقت ندارد را تشخیص دهید
۴ LLMها معمولاً چه نوع اشتباهاتی در کد مرتکب می‌شوند
مسائل معمول شامل توابع یا کتابخانه‌های توهم‌زده، APIهای قدیمی، خطاهای off-by-one، موارد لبه‌ای از قلم افتاده و پیش‌فرض‌های ناامن است
۵ آیا کد تولیدشده توسط هوش مصنوعی می‌تواند حاوی آسیب‌پذیری‌های امنیتی باشد
بله. مدل‌ها گاهی کدی با خطرات تزریق SQL، اعتبارسنجی ضعیف ورودی یا اسرار افشاشده تولید می‌کنند. همیشه قبل از انتشار بررسی کنید
۶ چرا کد گاهی به توابع یا بسته‌هایی اشاره می‌کند که وجود ندارند
LLMها متن قابل‌قبولی را پیش‌بینی می‌کنند، بنابراین می‌توانند APIها را از خود بسازند. این توهم نامیده می‌شود - همیشه تأیید کنید که importها و توابع واقعاً وجود دارند
۷ آیا کد تولیدشده توسط هوش مصنوعی معمولاً درست است
اغلب نزدیک است، اما معمولاً «نزدیک» برای تولید کافی نیست. با آن به عنوان یک پیش‌نویس اولیه رفتار کنید، نه یک پاسخ نهایی
۸ سریع‌ترین راه بررسی کد هوش مصنوعی چیست
آن را روی یک مورد تست کوچک اجرا کنید، خط به خط بخوانید و بررسی کنید که هر import و فراخوانی تابع واقعی است. سپس موارد لبه‌ای را تست کنید
۹ آیا باید کد تولیدشده توسط هوش مصنوعی را متفاوت از کد خودم تست کنم
نه واقعاً - اما آن را به طور کامل تست کنید، به ویژه موارد لبه‌ای و مسیرهای خطا چون مدل ممکن است آنها را در نظر نگرفته باشد
۱۰ آیا می‌توانم به کد هوش مصنوعی اعتماد کنم اگر تمیز و خوب قالب‌بندی شده به نظر برسد
نه. قالب‌بندی تمیز چیزی درباره درستی نمی‌گوید. برخی از باورپذیرترین کدهای هوش مصنوعی به طور نامحسوس خراب هستند
۱۱ مزایای بررسی کد هوش مصنوعی به جای رد کردن یک‌باره آن چیست
شما سرعت تولید هوش مصنوعی به علاوه ایمنی قضاوت انسانی را دریافت می‌کنید - و اغلب الگوها یا رویکردهای جدیدی را در طول مسیر یاد می‌گیرید
۱۲ چگونه بفهمم آیا هوش مصنوعی از یک کتابخانه یا API قدیمی استفاده کرده است
بررسی کنید که
