Har du noen gang sett på koden som din favoritt-LLM produserer?
Og fremfor alt ytelsen, mellom omfanget av den genererte koden, produksjonskostnaden og kjørehastigheten til skriptet?
Jeg testet, via OpenCode Go (10 USD/måned), flere LLM-er på en enkel prompt: "Lag et PHP-skript som leser en XML-fil med 100 000 oppføringer så raskt som mulig."
Til slutt testet jeg 6 LLM-er (jeg bruker for tiden DeepSeek v4.1 Flash mye, som jeg synes er ekstraordinær for koding).
DeepSeek v4.1 Flash, Grok 4.7, Kimi K3.1 Pro, GPT-6 Luna, Gemini-5 Argon og Claude Haiku 5.5.
Og resultatene på denne forespørselen er som følger:
Den mest kompakte koden genereres av GPT-6 Luna, på 29 sekunder, for en kostnad på 0,00156 USD! Dette er min store overraskelse i testen: OpenAI er 10 ganger billigere med Luna enn DeepSeek…
Det raskeste skriptet produseres av DeepSeek v4.1 Flash, som når 528 000 oppføringer/s på filbehandling.
Det tar faktisk bare 189 ms å parse de 100 000 XML-oppføringene!
Den velger å bruke XMLReader i streaming… og er den raskeste.
Claude Haiku 5.5 er også billig i denne benchmarken, genererer koden svært raskt (17 sekunder), mot 115 sekunder (nesten 7 ganger mer) for DeepSeek, men produserer kode som er blant de tregeste å kjøre.
Når det gjelder forholdet ytelse / hastighet / kostnad, er DeepSeek foran på denne, hvis man prioriterer kjørehastigheten til den produserte koden.
Grok er svært dyr (20 ganger mer enn DeepSeek), men kommer på andreplass i ytelse.
Luna er 10 ganger billigere enn DeepSeek, og kommer på fjerdeplass i ytelse, med ekstremt rask produksjon (29 sekunder).
Det som er interessant i denne lille øvelsen, er at vi ikke bare måler en LLMs evne til å produsere funksjonell kode, men også dens evne til å ta de riktige tekniske valgene, unngå unødvendig omfang og generere et virkelig ytelsesdyktig program.
Og tydeligvis er ikke den dyreste modellen nødvendigvis den som produserer den beste koden.
Dette illustrerer også et annet problem: hvilke modeller for hvilke oppgaver…
(God) orkestrering kommer til å bli et stadig viktigere spørsmål.
LinkedIn-kilder
- Profil: Pierre Jean Duvivier dit Sage (LinkedIn)
Innlegget Har du noen gang sett på koden som din favoritt-LLM produserer? dukket først opp på les plumes qui mordent.
Ofte stilte spørsmål
FAQs Å se på koden din favoritt-LLM produserer
1 Hva betyr det å se på koden en LLM produserer
Det betyr å faktisk lese, kjøre og gjennomgå koden en AI-assistent gir deg i stedet for å kopiere og lime den inn blindt
2 Hvorfor bør jeg bry meg om å lese AI-generert kode
Fordi LLM-er kan ta feil med stor selvtillit. Å lese koden hjelper deg å fange feil, sikkerhetsproblemer og logiske feil før de når prosjektet ditt
3 Trenger jeg å være ekspert for å gjennomgå AI-kode
Nei. Selv grunnleggende lesing hjelper – du kan oppdage åpenbare problemer som hardkodede passord, manglende feilhåndtering eller kode som ikke samsvarer med det du ba om
4 Hva slags feil gjør LLM-er vanligvis i kode
Typiske problemer inkluderer hallusinerte funksjoner eller biblioteker, utdaterte API-er, off-by-one-feil, manglende kanttilfeller og usikre standardinnstillinger
5 Kan AI-generert kode inneholde sikkerhetssårbarheter
Ja. Modeller produserer noen ganger kode med SQL-injeksjonsrisiko, svak inputvalidering eller eksponerte hemmeligheter. Gjennomgå alltid før utrulling
6 Hvorfor refererer koden noen ganger til funksjoner eller pakker som ikke finnes
LLM-er forutsier tekst som ser plausibel ut, så de kan finne på API-er. Dette kalles hallusinasjon – verifiser alltid at importer og funksjoner faktisk finnes
7 Er AI-generert kode vanligvis riktig
Den er ofte nesten riktig, men vanligvis nesten riktig er ikke godt nok for produksjon. Behandle den som et første utkast, ikke et endelig svar
8 Hva er den raskeste måten å sjekke AI-kode på
Kjør den på et lite testtilfelle, les den linje for linje og sjekk at hver import og funksjonskall er ekte. Test deretter kanttilfeller
9 Bør jeg teste AI-generert kode annerledes enn min egen kode
Egentlig ikke – men test den grundig, spesielt kanttilfeller og feilbaner, siden modellen kanskje ikke har vurdert dem
10 Kan jeg stole på AI-kode hvis den ser ren og velformatert ut
Nei. Ren formatering sier ingenting om korrekthet. Noe av den mest overbevisende AI-koden er subtilt ødelagt
11 Hva er fordelene med å gjennomgå AI-kode i stedet for å avvise den blankt
Du får hastigheten til AI-generering pluss sikkerheten til menneskelig vurdering – og du lærer ofte nye mønstre eller tilnærminger underveis
12 Hvordan vet jeg om AI-en brukte et utdatert bibliotek eller API
Sjekk
