क्या आपने कभी अपने पसंदीदा LLM द्वारा उत्पन्न कोड को देखा है?
और सबसे बढ़कर इसके प्रदर्शन को, उत्पन्न कोड की वाचालता, इसकी उत्पादन लागत और स्क्रिप्ट की निष्पादन गति के बीच?
मैंने OpenCode Go (10 USD/माह) के माध्यम से एक सरल प्रॉम्प्ट पर कई LLM का परीक्षण किया: "एक PHP स्क्रिप्ट बनाएं जो 100,000-प्रविष्टि वाली XML फ़ाइल को यथासंभव तेज़ी से उपभोग करे।"
अंत में, मैंने 6 LLM का परीक्षण किया (मैं वर्तमान में DeepSeek v4.1 Flash का भारी उपयोग करता हूं, जिसे मैं कोडिंग के लिए असाधारण पाता हूं)।
DeepSeek v4.1 Flash, Grok 4.7, Kimi K3.1 Pro, GPT-6 Luna, Gemini-5 Argon और Claude Haiku 5.5।
और इस अनुरोध पर परिणाम इस प्रकार हैं:
सबसे संक्षिप्त कोड GPT-6 Luna द्वारा उत्पन्न किया गया है, 29 सेकंड में, 0.00156 USD की लागत पर! यह परीक्षण का मेरा बड़ा आश्चर्य है: OpenAI, Luna के साथ DeepSeek से 10 गुना सस्ता है…
सबसे तेज़ स्क्रिप्ट DeepSeek v4.1 Flash द्वारा उत्पन्न की गई है, जो फ़ाइल प्रसंस्करण पर 528,000 प्रविष्टियां/सेकंड तक पहुंचती है।
वास्तव में 100,000 XML प्रविष्टियों को पार्स करने में केवल 189 ms लगते हैं!
यह स्ट्रीमिंग में XMLReader का उपयोग करना चुनता है… और सबसे तेज़ है।
Claude Haiku 5.5 इस बेंचमार्क में भी सस्ता है, कोड बहुत तेज़ी से उत्पन्न करता है (17 सेकंड), बनाम DeepSeek के लिए 115 सेकंड (लगभग 7 गुना अधिक), लेकिन ऐसा कोड उत्पन्न करता है जो निष्पादित करने में सबसे धीमे में से एक है।
प्रदर्शन / गति / लागत अनुपात के संदर्भ में, DeepSeek इस पर आगे है, यदि कोई उत्पन्न कोड की निष्पादन गति को प्राथमिकता देता है।
Grok बहुत महंगा है (DeepSeek से 20 गुना अधिक), लेकिन प्रदर्शन में दूसरे स्थान पर है।
Luna, DeepSeek से 10 गुना सस्ता है, प्रदर्शन में चौथे स्थान पर आने के लिए, अत्यंत तेज़ उत्पादन (29 सेकंड) के साथ।
इस छोटे से अभ्यास में दिलचस्प बात यह है कि हम केवल एक LLM की कार्यात्मक कोड उत्पन्न करने की क्षमता को नहीं माप रहे हैं, बल्कि सही तकनीकी विकल्प चुनने, अनावश्यक वाचालता से बचने और वास्तव में प्रदर्शनकारी प्रोग्राम उत्पन्न करने की इसकी क्षमता को भी माप रहे हैं।
और, स्पष्ट रूप से, सबसे महंगा मॉडल जरूरी नहीं कि वह हो जो सबसे अच्छा कोड उत्पन्न करता हो।
यह एक और समस्या को भी दर्शाता है: कौन से मॉडल किन कार्यों के लिए…
(अच्छा) ऑर्केस्ट्रेशन एक अधिक से अधिक महत्वपूर्ण मुद्दा बनने जा रहा है।
LinkedIn स्रोत
- प्रोफ़ाइल: Pierre Jean Duvivier dit Sage (LinkedIn)
पोस्ट क्या आपने कभी अपने पसंदीदा LLM द्वारा उत्पन्न कोड को देखा है? सबसे पहले les plumes qui mordent पर दिखाई दी।
अक्सर पूछे जाने वाले प्रश्न
FAQ आपके पसंदीदा LLM द्वारा उत्पन्न कोड को देखना
1 LLM द्वारा उत्पन्न कोड को देखने का क्या अर्थ है
इसका अर्थ है AI सहायक द्वारा दिए गए कोड को आंख बंद करके कॉपी और पेस्ट करने के बजाय वास्तव में पढ़ना, चलाना और समीक्षा करना
2 मुझे AI-जनित कोड पढ़ने की परेशानी क्यों करनी चाहिए
क्योंकि LLM आत्मविश्वास से गलत हो सकते हैं कोड पढ़ना आपको बग सुरक्षा मुद्दों और तर्क त्रुटियों को पकड़ने में मदद करता है इससे पहले कि वे आपके प्रोजेक्ट तक पहुंचें
3 क्या मुझे AI कोड की समीक्षा करने के लिए विशेषज्ञ होने की आवश्यकता है
नहीं बुनियादी पढ़ना भी मदद करता है आप स्पष्ट समस्याओं को पहचान सकते हैं जैसे हार्डकोडेड पासवर्ड गायब त्रुटि प्रबंधन या ऐसा कोड जो आपके अनुरोध से मेल नहीं खाता
4 LLM आमतौर पर कोड में किस प्रकार की गलतियां करते हैं
विशिष्ट मुद्दों में मनगढ़ंत फ़ंक्शन या लाइब्रेरी पुराने API ऑफ-बाय-वन त्रुटियां गायब एज केस और असुरक्षित डिफ़ॉल्ट शामिल हैं
5 क्या AI-जनित कोड में सुरक्षा कमजोरियां हो सकती हैं
हां मॉडल कभी-कभी SQL इंजेक्शन जोखिमों कमजोर इनपुट सत्यापन या उजागर रहस्यों वाला कोड उत्पन्न करते हैं शिपिंग से पहले हमेशा समीक्षा करें
6 कोड कभी-कभी ऐसे फ़ंक्शन या पैकेज का संदर्भ क्यों देता है जो मौजूद नहीं हैं
LLM संभावित दिखने वाले टेक्स्ट का अनुमान लगाते हैं इसलिए वे API का आविष्कार कर सकते हैं इसे हैलुसिनेशन कहा जाता है हमेशा सत्यापित करें कि आयात और फ़ंक्शन वास्तव में मौजूद हैं
7 क्या AI-जनित कोड आमतौर पर सही होता है
यह अक्सर करीब होता है लेकिन आमतौर पर करीब उत्पादन के लिए पर्याप्त अच्छा नहीं होता है इसे पहला ड्राफ्ट मानें अंतिम उत्तर नहीं
8 AI कोड की जांच करने का सबसे तेज़ तरीका क्या है
इसे एक छोटे परीक्षण मामले पर चलाएं इसे पंक्ति दर पंक्ति पढ़ें और जांचें कि प्रत्येक आयात और फ़ंक्शन कॉल वास्तविक है फिर एज केस का परीक्षण करें
9 क्या मुझे AI-जनित कोड का परीक्षण अपने कोड से अलग तरीके से करना चाहिए
वास्तव में नहीं लेकिन इसका अच्छी तरह से परीक्षण करें विशेष रूप से एज केस और त्रुटि पथ क्योंकि मॉडल ने उन पर विचार नहीं किया हो सकता है
10 क्या मैं AI कोड पर भरोसा कर सकता हूं अगर यह साफ और अच्छी तरह से स्वरूपित दिखता है
नहीं साफ स्वरूपण शुद्धता के बारे में कुछ नहीं कहता है कुछ सबसे विश्वसनीय दिखने वाले AI कोड सूक्ष्म रूप से टूटे हुए होते हैं
11 AI कोड को सीधे अस्वीकार करने के बजाय इसकी समीक्षा करने के क्या लाभ हैं
आपको AI पीढ़ी की गति और मानव निर्णय की सुरक्षा मिलती है और आप अक्सर रास्ते में नए पैटर्न या दृष्टिकोण सीखते हैं
12 मुझे कैसे पता चलेगा कि AI ने पुरानी लाइब्रेरी या API का उपयोग किया है
जांचें कि
