Har du någonsin tittat på koden som din favorit-LLM producerar?
Och framför allt dess prestanda, mellan mångordigheten i den genererade koden, dess produktionskostnad och skriptets exekveringshastighet?
Jag testade, via OpenCode Go (10 USD/månad), flera LLM:er på en enkel prompt: "Gör ett PHP-skript som konsumerar en XML-fil med 100 000 poster så snabbt som möjligt."
Till slut testade jag 6 LLM:er (jag använder för närvarande DeepSeek v4.1 Flash flitigt, som jag tycker är enastående för kodning).
DeepSeek v4.1 Flash, Grok 4.7, Kimi K3.1 Pro, GPT-6 Luna, Gemini-5 Argon och Claude Haiku 5.5.
Och resultaten på denna förfrågan är följande:
Den mest kompakta koden genereras av GPT-6 Luna, på 29 sekunder, till en kostnad av 0,00156 USD! Detta är min stora överraskning i testet: OpenAI är 10 gånger billigare med Luna än DeepSeek…
Det snabbaste skriptet produceras av DeepSeek v4.1 Flash, som når 528 000 poster/s vid filbearbetning.
Det tar faktiskt bara 189 ms att parsa de 100 000 XML-posterna!
Det väljer att använda XMLReader i streaming… och är snabbast.
Claude Haiku 5.5 är också billig i detta benchmark, genererar koden mycket snabbt (17 sekunder), jämfört med 115 sekunder (nästan 7 gånger mer) för DeepSeek, men producerar kod som är bland de långsammaste att exekvera.
När det gäller förhållandet prestanda / hastighet / kostnad ligger DeepSeek före i detta fall, om man prioriterar exekveringshastigheten hos den producerade koden.
Grok är mycket dyrt (20 gånger mer än DeepSeek), men kommer tvåa i prestanda.
Luna är 10 gånger billigare än DeepSeek, för att komma fyra i prestanda, med extremt snabb produktion (29 sekunder).
Det som är intressant i denna lilla övning är att vi inte bara mäter en LLM:s förmåga att producera funktionell kod, utan också dess förmåga att göra rätt tekniska val, att undvika onödig mångordighet och att generera ett verkligt presterande program.
Och uppenbarligen är den dyraste modellen inte nödvändigtvis den som producerar den bästa koden.
Detta illustrerar också ett annat problem: vilka modeller för vilka uppgifter…
(Bra) orkestrering kommer att bli en allt viktigare fråga.
LinkedIn-källor
- Profil: Pierre Jean Duvivier dit Sage (LinkedIn)
Inlägget Har du någonsin tittat på koden som din favorit-LLM producerar? dök först upp på les plumes qui mordent.
Vanliga frågor
Vanliga frågor Att titta på koden som din favorit-LLM producerar
1 Vad innebär det att titta på koden som en LLM producerar
Det innebär att faktiskt läsa, köra och granska koden som en AI-assistent ger dig istället för att kopiera och klistra in den blint
2 Varför ska jag bry mig om att läsa AI-genererad kod
Eftersom LLM:er kan ha fel med stor självsäkerhet. Att läsa koden hjälper dig att fånga buggar, säkerhetsproblem och logiska fel innan de når ditt projekt
3 Behöver jag vara expert för att granska AI-kod
Nej. Även grundläggande läsning hjälper du kan upptäcka uppenbara problem som hårdkodade lösenord, saknad felhantering eller kod som inte matchar det du bad om
4 Vilka typer av misstag gör LLM:er vanligtvis i kod
Typiska problem inkluderar hallucinerade funktioner eller bibliotek, föråldrade API:er, off-by-one-fel, saknade edge cases och osäkra standardinställningar
5 Kan AI-genererad kod innehålla säkerhetssårbarheter
Ja. Modeller producerar ibland kod med SQL-injektionsrisker, svag indatavalidering eller exponerade hemligheter. Granska alltid innan du levererar
6 Varför refererar koden ibland till funktioner eller paket som inte finns
LLM:er förutspår text som ser rimlig ut, så de kan hitta på API:er. Detta kallas hallucination verifiera alltid att importer och funktioner faktiskt finns
7 Är AI-genererad kod vanligtvis korrekt
Den är ofta nära, men vanligtvis nära är inte tillräckligt bra för produktion. Behandla den som ett första utkast, inte ett slutgiltigt svar
8 Vad är det snabbaste sättet att kontrollera AI-kod
Kör den på ett litet testfall, läs den rad för rad och kontrollera att varje import och funktionsanrop är verkligt. Testa sedan edge cases
9 Bör jag testa AI-genererad kod annorlunda än min egen kod
Inte direkt men testa den noggrant, särskilt edge cases och felsökvägar, eftersom modellen kanske inte har beaktat dem
10 Kan jag lita på AI-kod om den ser ren och välformaterad ut
Nej. Ren formatering säger ingenting om korrekthet. En del av den mest övertygande AI-koden är subtilt trasig
11 Vilka är fördelarna med att granska AI-kod istället för att avvisa den direkt
Du får AI-genereringens hastighet plus den mänskliga bedömningens säkerhet och du lär dig ofta nya mönster eller tillvägagångssätt på vägen
12 Hur vet jag om AI:n använde ett föråldrat bibliotek eller API
Kontrollera
