Uudelleenjulkaisu — sisältö: Julien Mutzenhardt
17 000 € sakkoja huonosti muotoillusta JSONista: kohtalokas virhe LLM:ien kanssa!
Kehittäjä aiheutti valtavan viiveen yrityksensä tärkeiden tiedostojen käsittelyssä. Syy? Yksinkertainen integraatiovirhe. 
Hän oli kuitenkin selvästi määritellyt kehotteessaan: "Vastaa JSON-muodossa." Ongelma on siinä, että malli vastasi hyvin kohteliaasti: "Tietenkin, tässä on tiedot:", ennen kuin lisäsi koodinsa.
Tulos: jäsentäjä, joka odotti puhdasta JSON-objektia, kaatui silmukassa. 
Opetus: Kehote on vain ohje, ei velvoite.
Se on kuin kertoisit koirallesi, ettei se saa koskea pöydällä olevaan kanaan, ja menisit sitten nukkumaan. Mikään ei todellisuudessa pakota tekoälymallia noudattamaan tiukasti pyydettyä muotoa.
Todellinen ratkaisu: "Constrained Decoding"
Sen sijaan, että toivoisit mallin noudattavan tekstiohjeitasi, anna sille "JSON Schema" (odotetun vastauksen tarkka suunnitelma, jossa määritellään esimerkiksi, että summan on oltava numero).
Miten se toimii kulissien takana?
Sen sijaan, että LLM saisi valita seuraavan sanan koko sanastostaan, generointimoottori laskee uudelleen sallitut "tokenit" reaaliajassa. Esimerkiksi JSON-objektin aloittamiseksi se sallii vain avaavan aaltosulun {. Mallilla ei ole muuta vaihtoehtoa. Muodosta tulee näin rakenteellisesti kelvollinen, mikä välttää tuhansien tarpeettomien uusien yritysten (retries) käynnistämisen! 
Miten se toteutetaan ilman liian monimutkaisen hirviön uudelleenkoodaamista?
Lähetä JSON Schema yksinkertaisesti vakio-API:ille (kuten OpenAI tai Anthropic), jotka huolehtivat sen käsittelystä. Ja jos isännöit omaa tekoälymalliasi paikallisesti, moottorit kuten vLLM hoitavat sen yhtä helposti.
Lopeta mitä tahansa tuotannossa tekeminen ja turvaa LLM:iesi tulostiedot! 
Tämän artikkelin yhteenvedon on tuottanut tekoäly.
Ja sinä, oletko koskaan nähnyt järjestelmän räjähtävän kesken lennon tekoälyn odottamattoman vastauksen vuoksi?
#Tekoäly #Kehitys #JSON #LLM #OpenAI #VLLM #Ohjelmointi #Tech
Jos haluat keskustella aiheesta kanssani tai hyödyntää taitojani, voit ottaa minuun yhteyttä yksityisviestillä tai videopuhelulla.
LinkedIn-lähteet
- Profiili: Pierre Jean Duvivier dit Sage (LinkedIn)
- Jaettu tekijä: Julien Mutzenhardt (LinkedIn)
Julkaisu 🚨 17 000 € sakkoja huonosti muotoillusta JSONista: kohtalokas virhe LLM:ien kanssa! 🚨 ilmestyi ensimmäisenä sivustolla les plumes qui mordent.
Usein kysytyt kysymykset
UKK 17000 sakkoja huonosti muotoillusta JSONista Kohtalokas virhe LLM:ien kanssa
1 Mistä tässä 17000 sakossa on kyse
Se viittaa todelliseen tapaukseen, jossa tekoälyjärjestelmä tuotti virheellisesti muotoillun JSON-tulosteen, joka rikkoi alavirran prosessin ja johti 17000 taloudelliseen sakkoon. Sitä käytetään varoittavana esimerkkinä siitä, miksi tulosteen muotoilulla on väliä
2 Mikä on JSON
JSON on yksinkertainen tekstimuoto tietojen jäsentämiseen avain-arvo-pareina, listoina ja sisäkkäisinä objekteina. Se on ohjelmistojen vakiotapa vaihtaa tietoja
3 Mitä huonosti muotoiltu JSON tarkoittaa
JSONia, joka rikkoo syntaksisääntöjä esimerkiksi puuttuvat lainausmerkit, ylimääräiset pilkut, koodaamattomat merkit, epätasapainossa olevat sulut tai ylimääräinen teksti objektin edessä/jälkeen. Jäsentäjät hylkäävät sen
4 Miksi LLM:t tuottavat virheellistä JSONia
LLM:t tuottavat tekstiä todennäköisyyspohjaisesti. Ne saattavat lisätä selityksiä, käyttää markdown-koodiaitoja, hallusinoida kenttiä, katkaista tulosteen tai poiketa hieman skeemasta erityisesti ilman tiukkoja ohjeita tai validointia
5 Miten muotoiluvirhe voi maksaa 17000
Jos järjestelmä luottaa sokeasti LLM:n tulosteeseen, virheellinen JSON voi kaataa automatisoidut putket, aiheuttaa vääriä tapahtumia, laukaista sopimus-SLA-sakkoja tai pakottaa manuaalisiin korjauksiin. Yksi pieni syntaksivirhe voi kertaantua todelliseksi taloudelliseksi tappioksi
6 Mikä on LLM:ien yleisin JSON-virhe
JSONin kääriminen markdowniin tai keskustelutekstin lisääminen sen ympärille. Muita yleisiä ongelmia ovat ylimääräiset pilkut, yksittäiset lainausmerkit ja katkaistu tuloste
7 Miten saan LLM:n palauttamaan kelvollista JSONia
Pyydä nimenomaisesti vain JSONia ilman selitystä, anna skeema tai esimerkki, käytä matalaa lämpötilaa ja mikä tärkeintä validoi ja yritä uudelleen epäonnistuessa
8 Mikä on JSON-skeeman validointi
Tapa tarkistaa, että JSON vastaa odotettua rakennetta. Työkalut kuten JSON Schema -validaattorit havaitsevat virheet ennen kuin ne päätyvät tuotantoon
9 Pitäisikö minun luottaa LLM:n tulosteeseen tarkistamatta sitä
Ei. Validoi LLM:n tuloste aina ohjelmallisesti. Kohtele sitä epäluotettavana syötteenä aivan kuten käyttäjän lähettämiä tietoja
10 Mitä ovat jäsennellyt tulosteet tai JSON-tila LLM:issä
Joihinkin mallitarjoajiin kuuluvia ominaisuuksia, jotka rajoittavat
