🚨 खराब फॉर्मेट किए गए JSON के लिए €17,000 का जुर्माना: LLMs के साथ घातक गलती! 🚨

पुनः साझा करें — जूलियन मुत्ज़ेनहार्ड्ट द्वारा सामग्री

खराब फ़ॉर्मेट किए गए JSON के लिए €17,000 का जुर्माना: LLM के साथ घातक गलती!

एक डेवलपर ने अपनी कंपनी के महत्वपूर्ण फ़ाइलों की प्रोसेसिंग में भारी देरी कर दी। कारण? एक साधारण इंटीग्रेशन त्रुटि।

फिर भी उसने अपने प्रॉम्प्ट में स्पष्ट रूप से निर्दिष्ट किया था: "JSON में उत्तर दें।" समस्या यह है कि मॉडल ने बहुत विनम्रता से उत्तर दिया: "बिल्कुल, यहाँ जानकारी है:", और फिर अपना कोड डाला।

परिणाम: पार्सर, जो एक कच्चे JSON ऑब्जेक्ट की अपेक्षा कर रहा था, लूप में क्रैश हो गया।

सबक: एक प्रॉम्प्ट केवल एक निर्देश है, कोई बाध्यता नहीं।

यह ऐसा है जैसे अपने कुत्ते से कहना कि मेज़ पर रखे चिकन को मत छूना, और फिर सोने चले जाना। वास्तव में कुछ भी कृत्रिम बुद्धिमत्ता मॉडल को अनुरोधित प्रारूप का सख्ती से पालन करने के लिए बाध्य नहीं करता।

असली समाधान: "कंस्ट्रेंड डिकोडिंग"

इस आशा के बजाय कि मॉडल आपके टेक्स्ट निर्देशों का पालन करेगा, इसे एक "JSON स्कीमा" दें (अपेक्षित प्रतिक्रिया का सटीक ब्लूप्रिंट, उदाहरण के लिए यह परिभाषित करने के लिए कि एक राशि एक संख्या होनी चाहिए)।

यह अंदर से कैसे काम करता है?

LLM को अपनी पूरी शब्दावली में से अगला शब्द चुनने देने के बजाय, जनरेशन इंजन वास्तविक समय में अनुमत "टोकन" की पुनर्गणना करता है। उदाहरण के लिए, एक JSON ऑब्जेक्ट शुरू करने के लिए, यह केवल शुरुआती ब्रेस { की अनुमति देगा। मॉडल के पास कोई अन्य विकल्प नहीं है। इस प्रकार प्रारूप निर्माण से ही वैध हो जाता है, जो हज़ारों अनावश्यक नए प्रयास (रीट्राई) शुरू करने से बचाता है!

इसे बिना किसी अत्यधिक जटिल राक्षस को फिर से कोड किए कैसे लागू करें?

बस अपना JSON स्कीमा मानक API (जैसे OpenAI या Anthropic) को भेजें, जो इसे प्रोसेस करने का ध्यान रखते हैं। और यदि आप अपना AI मॉडल स्थानीय रूप से होस्ट करते हैं, तो vLLM जैसे इंजन इसे उतनी ही आसानी से संभाल लेते हैं।

प्रोडक्शन में मनमानी करना बंद करें और अपने LLM के आउटपुट डेटा को सुरक्षित करें!

इस लेख का सारांश AI द्वारा उत्पन्न किया गया था।

और आप, क्या आपने कभी किसी सिस्टम को कृत्रिम बुद्धिमत्ता की अप्रत्याशित प्रतिक्रिया के कारण उड़ान के बीच में धमाका होते देखा है?

#कृत्रिमबुद्धिमत्ता #विकास #JSON #LLM #OpenAI #VLLM #प्रोग्रामिंग #टेक

यदि आप मेरे साथ विषय पर चर्चा करना चाहते हैं या मेरे कौशल का उपयोग करना चाहते हैं, तो आप मुझसे PM या वीडियो कॉल के माध्यम से संपर्क कर सकते हैं।

LinkedIn स्रोत

• प्रोफ़ाइल: पियरे जीन डुविवियर उर्फ़ Sage (LinkedIn)
• साझा करने वाले लेखक: जूलियन मुत्ज़ेनहार्ड्ट (LinkedIn)

पोस्ट 🚨 खराब फ़ॉर्मेट किए गए JSON के लिए €17,000 का जुर्माना: LLM के साथ घातक गलती! 🚨 सबसे पहले les plumes qui mordent पर प्रकाशित हुई।

अक्सर पूछे जाने वाले प्रश्न
FAQ खराब फ़ॉर्मेट किए गए JSON के लिए 17000 का जुर्माना LLM के साथ घातक गलती

1 यह 17000 का जुर्माना किस बारे में है
यह एक वास्तविक मामले को संदर्भित करता है जहाँ एक AI सिस्टम ने विकृत JSON आउटपुट उत्पन्न किया जिसने एक डाउनस्ट्रीम प्रक्रिया को तोड़ दिया और 17000 के वित्तीय जुर्माने का कारण बना इसे एक चेतावनीपूर्ण उदाहरण के रूप में इस्तेमाल किया जाता है कि आउटपुट फ़ॉर्मेटिंग क्यों मायने रखती है

2 JSON क्या है
JSON डेटा को keyvalue जोड़े सूचियों और नेस्टेड ऑब्जेक्ट के रूप में संरचित करने के लिए एक सरल टेक्स्ट प्रारूप है यह सॉफ़्टवेयर द्वारा डेटा का आदानप्रदान करने का मानक तरीका है

3 खराब फ़ॉर्मेट किए गए JSON का क्या मतलब है
JSON जो सिंटैक्स नियमों को तोड़ता है उदाहरण के लिए गायब उद्धरण चिह्न ट्रेलिंग कॉमा अनएस्केप्ड वर्ण असंतुलित ब्रैकेट या ऑब्जेक्ट से पहलेबाद में अतिरिक्त टेक्स्ट पार्सर इसे अस्वीकार करते हैं

4 LLM अमान्य JSON क्यों उत्पन्न करते हैं
LLM संभाव्य रूप से टेक्स्ट उत्पन्न करते हैं वे स्पष्टीकरण जोड़ सकते हैं मार्कडाउन कोड फ़ेंस का उपयोग कर सकते हैं फ़ील्ड का भ्रम उत्पन्न कर सकते हैं आउटपुट को काट सकते हैं या स्कीमा से थोड़ा विचलित हो सकते हैं विशेष रूप से सख्त निर्देशों या सत्यापन के बिना

5 एक फ़ॉर्मेटिंग त्रुटि पर 17000 कैसे खर्च हो सकता है
यदि कोई सिस्टम LLM आउटपुट पर आँख बंद करके भरोसा करता है तो अमान्य JSON स्वचालित पाइपलाइनों को क्रैश कर सकता है गलत लेनदेन का कारण बन सकता है अनुबंधSLA जुर्माने को ट्रिगर कर सकता है या मैन्युअल सुधार को बाध्य कर सकता है एक छोटी सिंटैक्स त्रुटि वास्तविक वित्तीय हानि में बदल सकती है

6 LLM द्वारा की जाने वाली सबसे आम JSON गलती क्या है
JSON को मार्कडाउन में लपेटना या उसके चारों ओर संवादात्मक टेक्स्ट जोड़ना अन्य लगातार समस्याएँ ट्रेलिंग कॉमा सिंगल कोट्स और कटा हुआ आउटपुट हैं

7 मैं LLM से वैध JSON कैसे प्राप्त करूँ
स्पष्ट रूप से केवल JSON माँगें कोई स्पष्टीकरण नहीं एक स्कीमा या उदाहरण प्रदान करें कम तापमान का उपयोग करें और सबसे महत्वपूर्ण सत्यापित करें और विफलता पर पुनः प्रयास करें

8 JSON स्कीमा सत्यापन क्या है
यह जाँचने का एक तरीका है कि JSON अपेक्षित संरचना से मेल खाता है JSON स्कीमा वैलिडेटर जैसे उपकरण त्रुटियों को प्रोडक्शन तक पहुँचने से पहले पकड़ लेते हैं

9 क्या मुझे जाँच किए बिना LLM आउटपुट पर भरोसा करना चाहिए
नहीं हमेशा LLM आउटपुट को प्रोग्रामेटिक रूप से सत्यापित करें इसे अविश्वसनीय इनपुट मानें जैसे उपयोगकर्ता द्वारा सबमिट किया गया डेटा

10 LLM में संरचित आउटपुट या JSON मोड क्या हैं
कुछ मॉडल प्रदाताओं द्वारा दी जाने वाली सुविधाएँ जो प्रतिबंधित करती हैं