🚨 17 000 € bírság egy rosszul formázott JSON-ért: a végzetes hiba az LLM-ekkel! 🚨

Újramegosztás — tartalom Julien Mutzenhardttól

17 000 € bírság egy rosszul formázott JSON miatt: a végzetes hiba az LLM-ekkel!

Egy fejlesztő hatalmas késedelmet okozott a vállalata számára kulcsfontosságú fájlok feldolgozásában. Az ok? Egy egyszerű integrációs hiba.

Pedig egyértelműen megadta a promptjában: „Válaszolj JSON-ban.” A probléma az, hogy a modell nagyon udvariasan azt válaszolta: „Természetesen, itt van az információ:”, mielőtt beillesztette volna a kódját.

Eredmény: a parser, amely nyers JSON-objektumot várt, végtelen ciklusban összeomlott.

A tanulság: A prompt csak egy utasítás, nem kötelezettség.

Ez olyan, mintha azt mondanád a kutyádnak, hogy ne nyúljon az asztalon lévő csirkéhez, aztán lefeküdnél aludni. Semmi sem kényszeríti a mesterséges intelligencia modelljét arra, hogy szigorúan betartsa a kért formátumot.

A valódi megoldás: „Constrained Decoding” (korlátozott dekódolás)

Ahelyett, hogy abban reménykednél, hogy a modell betartja a szöveges utasításaidat, adj neki egy „JSON Schema”-t (a várt válasz pontos tervrajzát, amelyben például meghatározod, hogy egy összegnek számnak kell lennie).

Hogyan működik a motorháztető alatt?

Ahelyett, hogy hagynád az LLM-et a következő szót a teljes szókészletéből kiválasztani, a generációs motor valós időben újraszámítja az engedélyezett „tokeneket”. Például egy JSON-objektum indításához csak a nyitó kapcsos zárójelet { engedi meg. A modellnek nincs más választása. A formátum így konstrukció szerint érvényessé válik, ami elkerüli több ezer szükségtelen új próbálkozás (retry) indítását!

Hogyan lehet ezt megvalósítani anélkül, hogy egy túl bonyolult szörnyet kódolnánk újra?

Egyszerűen küldd el a JSON Schema-t a szabványos API-knak (mint az OpenAI vagy az Anthropic), amelyek gondoskodnak a feldolgozásáról. És ha helyben hosztolod a saját AI-modelledet, az olyan motorok, mint a vLLM, ugyanilyen könnyen kezelik.

Ne csinálj összevissza dolgokat éles környezetben, és biztosítsd az LLM-jeid kimeneti adatait!

A cikk összefoglalóját AI generálta.

És te, láttál már valaha rendszert menet közben felrobbanni egy mesterséges intelligencia váratlan válasza miatt?

#MesterségesIntelligencia #Fejlesztés #JSON #LLM #OpenAI #VLLM #Programozás #Tech

Ha szeretnél velem beszélgetni a témáról, vagy igénybe venni a készségeimet, privát üzenetben vagy videóhívásban is elérhetsz.

LinkedIn-források

• Profil: Pierre Jean Duvivier dit Sage (LinkedIn)
• Megosztó szerző: Julien Mutzenhardt (LinkedIn)

A 🚨 17 000 € bírság egy rosszul formázott JSON miatt: a végzetes hiba az LLM-ekkel! 🚨 bejegyzés először a les plumes qui mordent oldalon jelent meg.

Gyakran Ismételt Kérdések
GYIK 17000 bírság egy rosszul formázott JSON miatt A végzetes hiba az LLM-ekkel

1 Miről szól ez a 17000-es bírság
Egy valós esetre utal, amikor egy AI-rendszer hibás JSON-kimenetet produkált, amely megbénított egy downstream folyamatot, és 17000-es pénzügyi bírsághoz vezetett. Figyelmeztető példaként szolgál arra, hogy miért fontos a kimenet formázása

2 Mi az a JSON
A JSON egy egyszerű szöveges formátum az adatok kulcsérték párokként, listákként és beágyazott objektumokként való strukturálására. Ez a szoftverek szabványos adatcseréjének módja

3 Mit jelent a rosszul formázott JSON
Olyan JSON, amely megsérti a szintaktikai szabályokat például hiányzó idézőjelek, záró vesszők, nem escape-elt karakterek, kiegyensúlyozatlan zárójelek vagy extra szöveg az objektum előtt/után. A parserek elutasítják

4 Miért produkálnak az LLM-ek érvénytelen JSON-t
Az LLM-ek valószínűségi alapon generálnak szöveget. Magyarázatokat adhatnak hozzá, markdown kódblokkokat használhatnak, mezőket hallucinálhatnak, csonkíthatják a kimenetet, vagy kissé eltérhetnek a sémától különösen szigorú utasítások vagy validáció nélkül

5 Hogyan kerülhet egy formázási hiba 17000-be
Ha egy rendszer vakon megbízik az LLM kimenetében, az érvénytelen JSON összeomlaszthatja az automatizált folyamatokat, hibás tranzakciókat okozhat, szerződéses SLA-bírságokat válthat ki, vagy manuális javításokat kényszeríthet ki. Egy apró szintaktikai hiba valódi pénzügyi veszteséggé válhat

6 Mi a leggyakoribb JSON-hiba, amit az LLM-ek elkövetnek
A JSON markdownba csomagolása vagy beszélgetési szöveg hozzáadása köré. Más gyakori problémák a záró vesszők, a szimpla idézőjelek és a csonkolt kimenet

7 Hogyan érhetem el, hogy egy LLM érvényes JSON-t adjon vissza
Kérj kifejezetten csak JSON-t, magyarázat nélkül, adj meg egy sémát vagy példát, használj alacsony hőmérsékletet, és ami a legfontosabb validáld és próbáld újra hiba esetén

8 Mi a JSON séma validáció
Egy mód annak ellenőrzésére, hogy a JSON megfelel-e a várt struktúrának. Az olyan eszközök, mint a JSON Schema validátorok, elkapják a hibákat, mielőtt azok elérnék az éles környezetet

9 Megbízhatok az LLM kimenetében ellenőrzés nélkül
Nem. Mindig programozottan validáld az LLM kimenetét. Kezeld nem megbízható bemenetként, akárcsak a felhasználók által beküldött adatokat

10 Mik azok a strukturált kimenetek vagy a JSON mód az LLM-ekben
Egyes modellszolgáltatók által kínált funkciók, amelyek korlátozzák