Har du nogensinde kigget på koden, der er produceret af din yndlings-LLM?
Og frem for alt dens ydeevne, mellem omfanget af den genererede kode, dens produktionsomkostninger og scriptets eksekveringshastighed?
Jeg testede, via OpenCode Go (10 USD/måned), flere LLM'er på en simpel prompt: "Lav et PHP-script, der forbruger en XML-fil med 100.000 poster så hurtigt som muligt."
I sidste ende testede jeg 6 LLM'er (jeg bruger i øjeblikket DeepSeek v4.1 Flash meget, som jeg finder ekstraordinær til kodning).
DeepSeek v4.1 Flash, Grok 4.7, Kimi K3.1 Pro, GPT-6 Luna, Gemini-5 Argon og Claude Haiku 5.5.
Og resultaterne på denne forespørgsel er som følger:
Den mest kompakte kode er genereret af GPT-6 Luna, på 29 sekunder, for en pris på 0,00156 USD! Dette er min store overraskelse i testen: OpenAI er 10 gange billigere med Luna end DeepSeek…
Det hurtigste script er produceret af DeepSeek v4.1 Flash, som når 528.000 poster/s på filbehandling.
Det tager faktisk kun 189 ms at parse de 100.000 XML-poster!
Det vælger at bruge XMLReader i streaming… og er det hurtigste.
Claude Haiku 5.5 er også billig i denne benchmark, genererer koden meget hurtigt (17 sekunder), versus 115 sekunder (næsten 7 gange mere) for DeepSeek, men producerer kode, der er blandt de langsomste at eksekvere.
Med hensyn til ydeevne / hastighed / omkostningsforhold er DeepSeek foran på denne, hvis man prioriterer eksekveringshastigheden af den producerede kode.
Grok er meget dyr (20 gange mere end DeepSeek), men kommer på andenpladsen i ydeevne.
Luna er 10 gange billigere end DeepSeek, til at komme på fjerdepladsen i ydeevne, med ekstremt hurtig produktion (29 sekunder).
Det interessante ved denne lille øvelse er, at vi ikke blot måler en LLM's evne til at producere funktionel kode, men også dens evne til at træffe de rigtige tekniske valg, undgå unødvendig omstændelighed og generere et virkelig performant program.
Og tydeligvis er den dyreste model ikke nødvendigvis den, der producerer den bedste kode.
Dette illustrerer også et andet problem: hvilke modeller til hvilke opgaver…
(God) orkestrering vil blive et stadig vigtigere emne.
LinkedIn-kilder
- Profil: Pierre Jean Duvivier dit Sage (LinkedIn)
Indlægget Har du nogensinde kigget på koden, der er produceret af din yndlings-LLM? dukkede først op på les plumes qui mordent.
Ofte stillede spørgsmål
FAQ'er At kigge på koden, din yndlings-LLM producerer
1 Hvad betyder det at kigge på koden, en LLM producerer
Det betyder faktisk at læse, køre og gennemgå koden, en AI-assistent giver dig, i stedet for at kopiere og indsætte den blindt
2 Hvorfor skal jeg gøre mig umagen at læse AI-genereret kode
Fordi LLM'er kan tage fejl med selvtillid. At læse koden hjælper dig med at fange fejl, sikkerhedsproblemer og logiske fejl, før de når dit projekt
3 Skal jeg være ekspert for at gennemgå AI-kode
Nej. Selv grundlæggende læsning hjælper – du kan spotte oplagte problemer som hardkodede adgangskoder, manglende fejlhåndtering eller kode, der ikke matcher det, du bad om
4 Hvilke slags fejl laver LLM'er almindeligvis i kode
Typiske problemer inkluderer hallucinerede funktioner eller biblioteker, forældede API'er, off-by-one-fejl, manglende edge cases og usikre standardindstillinger
5 Kan AI-genereret kode indeholde sikkerhedssårbarheder
Ja. Modeller producerer nogle gange kode med SQL-injektionsrisici, svag inputvalidering eller eksponerede hemmeligheder. Gennemgå altid før udgivelse
6 Hvorfor refererer koden nogle gange til funktioner eller pakker, der ikke eksisterer
LLM'er forudsiger plausibelt udseende tekst, så de kan opfinde API'er. Dette kaldes hallucination – verificer altid, at imports og funktioner faktisk eksisterer
7 Er AI-genereret kode normalt korrekt
Den er ofte tæt på, men normalt er "tæt på" ikke godt nok til produktion. Behandl den som et første udkast, ikke et endeligt svar
8 Hvad er den hurtigste måde at tjekke AI-kode på
Kør den på en lille testcase, læs den linje for linje, og tjek at hvert import og funktionskald er ægte. Test derefter edge cases
9 Skal jeg teste AI-genereret kode anderledes end min egen kode
Ikke rigtig – men test den grundigt, især edge cases og fejlstier, da modellen måske ikke har overvejet dem
10 Kan jeg stole på AI-kode, hvis den ser ren og velformateret ud
Nej. Ren formatering siger intet om korrekthed. Noget af den mest overbevisende udseende AI-kode er subtilt brudt
11 Hvad er fordelene ved at gennemgå AI-kode i stedet for at afvise den blankt
Du får AI-genereringens hastighed plus menneskelig dømmekrafts sikkerhed – og du lærer ofte nye mønstre eller tilgange undervejs
12 Hvordan ved jeg, om AI'en brugte et forældet bibliotek eller API
Tjek
