Oletko koskaan katsonut suosikki LLM:si tuottamaa koodia?
Ja ennen kaikkea sen suorituskykyä, generoidun koodin monisanaisuuden, tuotantokustannusten ja skriptin suoritusnopeuden välillä?
Testasin OpenCode Go:n kautta (10 USD/kk) useita LLM:iä yksinkertaisella kehotteella: "Tee PHP-skripti, joka kuluttaa 100 000 merkinnän XML-tiedoston mahdollisimman nopeasti."
Lopulta testasin 6 LLM:ää (käytän tällä hetkellä paljon DeepSeek v4.1 Flashia, jonka koen erinomaiseksi koodaukseen).
DeepSeek v4.1 Flash, Grok 4.7, Kimi K3.1 Pro, GPT-6 Luna, Gemini-5 Argon ja Claude Haiku 5.5.
Ja tulokset tästä pyynnöstä ovat seuraavat:
Kompakteimman koodin generoi GPT-6 Luna, 29 sekunnissa, hintaan 0,00156 USD! Tämä on testini suuri yllätys: OpenAI on 10 kertaa halvempi Lunan kanssa kuin DeepSeek…
Nopeimman skriptin tuottaa DeepSeek v4.1 Flash, joka saavuttaa 528 000 merkintää/s tiedoston käsittelyssä.
Sen täytyy todellakin kestää vain 189 ms jäsentää 100 000 XML-merkintää!
Se valitsee XMLReaderin suoratoistoon… ja on nopein.
Claude Haiku 5.5 on myös edullinen tässä vertailussa, generoi koodin erittäin nopeasti (17 sekuntia), verrattuna 115 sekuntiin (lähes 7 kertaa enemmän) DeepSeekillä, mutta tuottaa koodia, joka on hitaimpia suorittaa.
Suorituskyky / nopeus / kustannus -suhteen osalta DeepSeek on edellä tässä, jos priorisoidaan tuotetun koodin suoritusnopeutta.
Grok on erittäin kallis (20 kertaa enemmän kuin DeepSeek), mutta tulee toiseksi suorituskyvyssä.
Luna on 10 kertaa halvempi kuin DeepSeek, tullakseen neljänneksi suorituskyvyssä, erittäin nopealla tuotannolla (29 sekuntia).
Mielenkiintoista tässä pienessä harjoituksessa on, että emme yksinkertaisesti mittaa LLM:n kykyä tuottaa toimivaa koodia, vaan myös sen kykyä tehdä oikeita teknisiä valintoja, välttää tarpeetonta monisanaisuutta ja tuottaa todella suorituskykyinen ohjelma.
Ja selvästikään kallein malli ei välttämättä ole se, joka tuottaa parasta koodia.
Tämä havainnollistaa myös toista ongelmaa: mitkä mallit mihinkin tehtäviin…
(Hyvä) orkestrointi tulee olemaan yhä tärkeämpi kysymys.
LinkedIn-lähteet
- Profiili: Pierre Jean Duvivier dit Sage (LinkedIn)
Julkaisu Oletko koskaan katsonut suosikki LLM:si tuottamaa koodia? ilmestyi ensimmäisenä sivustolla les plumes qui mordent.
Usein kysytyt kysymykset
UKK Suosikki LLM:si tuottaman koodin tarkastelu
1 Mitä tarkoittaa katsoa LLM:n tuottamaa koodia
Se tarkoittaa AI-avustajan antaman koodin todellista lukemista, ajamista ja tarkastelua sen sijaan, että kopioisi ja liittäisi sen sokeasti
2 Miksi minun pitäisi vaivautua lukemaan AI:n tuottamaa koodia
Koska LLM:t voivat olla itsevarmasti väärässä Koodin lukeminen auttaa sinua havaitsemaan bugeja, turvallisuusongelmia ja logiikkavirheitä ennen kuin ne päätyvät projektiisi
3 Tarvitseeko minun olla asiantuntija tarkastellakseni AI-koodia
Ei Edes peruslukeminen auttaa voit havaita ilmeisiä ongelmia, kuten kovakoodatut salasanat, puuttuvan virheenkäsittelyn tai koodin, joka ei vastaa sitä, mitä pyysit
4 Millaisia virheitä LLM:t tyypillisesti tekevät koodissa
Tyypillisiä ongelmia ovat hallusinoidut funktiot tai kirjastot, vanhentuneet API:t, off-by-one-virheet, puuttuvat reunatapaukset ja turvattomat oletusasetukset
5 Voiko AI:n tuottama koodi sisältää tietoturva-aukkoja
Kyllä Mallit tuottavat joskus koodia, jossa on SQL-injektioriskejä, heikko syötteen validointi tai paljastettuja salaisuuksia Tarkista aina ennen julkaisua
6 Miksi koodi joskus viittaa funktioihin tai paketteihin, joita ei ole olemassa
LLM:t ennustavat uskottavan näköistä tekstiä, joten ne voivat keksiä API:ita Tätä kutsutaan hallusinaatioksi varmista aina, että importit ja funktiot todella ovat olemassa
7 Onko AI:n tuottama koodi yleensä oikein
Se on usein lähellä, mutta yleensä lähellä ei riitä tuotantoon Kohtele sitä ensimmäisenä luonnoksena, ei lopullisena vastauksena
8 Mikä on nopein tapa tarkistaa AI-koodi
Aja se pienellä testitapauksella, lue se rivi riviltä ja tarkista, että jokainen importti ja funktiokutsu on todellinen Testaa sitten reunatapaukset
9 Pitäisikö AI:n tuottamaa koodia testata eri tavalla kuin omaa koodiani
Ei oikeastaan mutta testaa se perusteellisesti, erityisesti reunatapaukset ja virhepolut, koska malli ei ehkä ole ottanut niitä huomioon
10 Voinko luottaa AI-koodiin, jos se näyttää siistiltä ja hyvin muotoillulta
Ei Siisti muotoilu ei kerro mitään oikeellisuudesta Jotkut vakuuttavimman näköisistä AI-koodeista ovat hienovaraisesti rikki
11 Mitä hyötyä on AI-koodin tarkastelusta sen hylkäämisen sijaan
Saat AI:n tuotannon nopeuden plus inhimillisen harkinnan turvallisuuden ja opit usein uusia malleja tai lähestymistapoja matkan varrella
12 Mistä tiedän, käyttikö AI vanhentunutta kirjastoa tai API:a
Tarkista
