Κοινοποίηση ξανά — περιεχόμενο του Julien Mutzenhardt
Πρόστιμα 17.000 € για ένα κακώς μορφοποιημένο JSON: το μοιραίο λάθος με τα LLM!
Ένας προγραμματιστής προκάλεσε τεράστια καθυστέρηση στην επεξεργασία κρίσιμων αρχείων για την εταιρεία του. Ο λόγος; Ένα απλό σφάλμα ενσωμάτωσης. 
Κι όμως, είχε προσδιορίσει ξεκάθαρα στο prompt του: «Απάντησε σε JSON». Το πρόβλημα είναι ότι το μοντέλο, πολύ ευγενικά, απάντησε: «Φυσικά, ορίστε οι πληροφορίες:», πριν εισαγάγει τον κώδικά του.
Αποτέλεσμα: ο parser, που περίμενε ένα ακατέργαστο αντικείμενο JSON, κατέρρευσε σε βρόχο. 
Το δίδαγμα: Ένα prompt είναι μόνο μια οδηγία, όχι μια υποχρέωση.
Είναι σαν να λες στον σκύλο σου να μην αγγίξει το κοτόπουλο στο τραπέζι και μετά να πας για ύπνο. Τίποτα δεν αναγκάζει στην πραγματικότητα το μοντέλο τεχνητής νοημοσύνης να υπακούσει αυστηρά στη ζητούμενη μορφή.
Η πραγματική λύση: «Constrained Decoding» (Περιορισμένη Αποκωδικοποίηση)
Αντί να ελπίζεις ότι το μοντέλο θα συμμορφωθεί με τις οδηγίες κειμένου σου, δώσ' του ένα «JSON Schema» (το ακριβές σχέδιο της αναμενόμενης απάντησης, για να ορίσεις για παράδειγμα ότι ένα ποσό πρέπει να είναι αριθμός).
Πώς λειτουργεί στο παρασκήνιο;
Αντί να αφήνεις το LLM να επιλέγει την επόμενη λέξη από ολόκληρο το λεξιλόγιό του, η μηχανή παραγωγής επανυπολογίζει τα επιτρεπόμενα «tokens» σε πραγματικό χρόνο. Για παράδειγμα, για να ξεκινήσει ένα αντικείμενο JSON, θα επιτρέψει μόνο την άγκυλη ανοίγματος {. Το μοντέλο δεν έχει άλλη επιλογή. Η μορφή γίνεται έτσι έγκυρη εκ κατασκευής, κάτι που αποφεύγει την εκκίνηση χιλιάδων περιττών νέων προσπαθειών (retries)! 
Πώς να το υλοποιήσεις χωρίς να ξαναγράψεις ένα υπερβολικά περίπλοκο τέρας;
Απλώς στείλε το JSON Schema σου στα τυπικά API (όπως του OpenAI ή του Anthropic), που αναλαμβάνουν την επεξεργασία του. Και αν φιλοξενείς το δικό σου μοντέλο AI τοπικά, μηχανές όπως το vLLM το χειρίζονται εξίσου εύκολα.
Σταμάτα να κάνεις ό,τι να 'ναι στην παραγωγή και ασφάλισε τα δεδομένα εξόδου των LLM σου! 
Η σύνοψη αυτού του άρθρου δημιουργήθηκε από AI.
Και εσύ, έχεις δει ποτέ ένα σύστημα να εκρήγνυται εν πτήσει εξαιτίας μιας απρόσμενης απάντησης από μια τεχνητή νοημοσύνη;
#ArtificialIntelligence #Development #JSON #LLM #OpenAI #VLLM #Programming #Tech
Αν θα ήθελες να συζητήσεις το θέμα μαζί μου ή να αξιοποιήσεις τις δεξιότητές μου, μπορείς να επικοινωνήσεις μαζί μου μέσω προσωπικού μηνύματος ή βιντεοκλήσης.
Πηγές LinkedIn
- Προφίλ: Pierre Jean Duvivier dit Sage (LinkedIn)
- Κοινοποιών συγγραφέας: Julien Mutzenhardt (LinkedIn)
Η ανάρτηση 🚨 Πρόστιμα 17.000 € για ένα κακώς μορφοποιημένο JSON: το μοιραίο λάθος με τα LLM! 🚨 εμφανίστηκε πρώτα στο les plumes qui mordent.
Συχνές Ερωτήσεις
Συχνές Ερωτήσεις Πρόστιμα 17.000 για ένα κακώς μορφοποιημένο JSON Το μοιραίο λάθος με τα LLM
1 Περί τίνος πρόκειται αυτό το πρόστιμο των 17.000
Αναφέρεται σε μια πραγματική περίπτωση όπου ένα σύστημα AI παρήγαγε κακώς μορφοποιημένη έξοδο JSON η οποία έσπασε μια επόμενη διαδικασία και οδήγησε σε οικονομικό πρόστιμο 17.000 Χρησιμοποιείται ως προειδοποιητικό παράδειγμα για το γιατί η μορφοποίηση της εξόδου έχει σημασία
2 Τι είναι το JSON
Το JSON είναι μια απλή μορφή κειμένου για τη δομή δεδομένων ως ζεύγη κλειδιούτιμής λίστες και ένθετα αντικείμενα Είναι ο τυπικός τρόπος με τον οποίο το λογισμικό ανταλλάσσει δεδομένα
3 Τι σημαίνει κακώς μορφοποιημένο JSON
JSON που παραβιάζει τους κανόνες σύνταξης για παράδειγμα λείπουν εισαγωγικά τελικά κόμματα μη διαφυγόντες χαρακτήρες μη ισορροπημένες αγκύλες ή επιπλέον κείμενο πρινμετά το αντικείμενο Οι parsers το απορρίπτουν
4 Γιατί τα LLM παράγουν μη έγκυρο JSON
Τα LLM παράγουν κείμενο πιθανοτικά Μπορεί να προσθέσουν εξηγήσεις να χρησιμοποιήσουν περιφράξεις κώδικα markdown να παραισθανθούν πεδία να περικόψουν την έξοδο ή να παρεκκλίνουν ελαφρώς από το σχήμα ειδικά χωρίς αυστηρές οδηγίες ή επικύρωση
5 Πώς μπορεί ένα σφάλμα μορφοποίησης να κοστίσει 17.000
Αν ένα σύστημα εμπιστεύεται τυφλά την έξοδο του LLM το μη έγκυρο JSON μπορεί να καταρρεύσει αυτοματοποιημένες ροές εργασίας να προκαλέσει λανθασμένες συναλλαγές να ενεργοποιήσει ποινές σύμβασηςSLA ή να αναγκάσει χειροκίνητες διορθώσεις Ένα μικρό συντακτικό λάθος μπορεί να κλιμακωθεί σε πραγματική οικονομική απώλεια
6 Ποιο είναι το πιο συνηθισμένο λάθος JSON που κάνουν τα LLM
Το να τυλίγουν το JSON σε markdown ή να προσθέτουν συνομιλιακό κείμενο γύρω του Άλλα συχνά ζητήματα είναι τα τελικά κόμματα οι απλές αγκύλες και η περικομμένη έξοδος
7 Πώς κάνω ένα LLM να επιστρέψει έγκυρο JSON
Ζήτησε ρητά μόνο JSON χωρίς εξήγηση δώσε ένα σχήμα ή παράδειγμα χρησιμοποίησε χαμηλή θερμοκρασία και το πιο σημαντικό επικύρωσε και επανάλαβε σε περίπτωση αποτυχίας
8 Τι είναι η επικύρωση σχήματος JSON
Ένας τρόπος να ελέγχεις ότι το JSON ταιριάζει με μια αναμενόμενη δομή Εργαλεία όπως οι επικυρωτές JSON Schema εντοπίζουν σφάλματα πριν φτάσουν στην παραγωγή
9 Πρέπει να εμπιστεύομαι την έξοδο του LLM χωρίς να την ελέγχω
Όχι Πάντα να επικυρώνεις την έξοδο του LLM προγραμματιστικά Αντιμετώπισέ την ως μη αξιόπιστη είσοδο ακριβώς όπως τα δεδομένα που υποβάλλουν οι χρήστες
10 Τι είναι οι δομημένες έξοδοι ή η λειτουργία JSON στα LLM
Λειτουργίες που προσφέρονται από ορισμένους παρόχους μοντέλων που περιορίζουν
