Előfordult már veled, hogy megnézted a kedvenc LLM-ed által generált kódot?
És mindenekelőtt annak teljesítményét, a generált kód bőbeszédűsége, előállítási költsége és a szkript végrehajtási sebessége között?
Az OpenCode Go-n (10 USD/hó) keresztül több LLM-et teszteltem egy egyszerű prompttal: „Készíts egy PHP szkriptet, amely a lehető leggyorsabban dolgoz fel egy 100 000 bejegyzésű XML fájlt."
Végül 6 LLM-et teszteltem (jelenleg a DeepSeek v4.1 Flash-t használom intenzíven, amelyet kivételesnek találok kódoláshoz).
DeepSeek v4.1 Flash, Grok 4.7, Kimi K3.1 Pro, GPT-6 Luna, Gemini-5 Argon és Claude Haiku 5.5.
És az erre a kérésre kapott eredmények a következők:
A legkompaktabb kódot a GPT-6 Luna generálja, 29 másodperc alatt, 0,00156 USD költséggel! Ez a teszt nagy meglepetése számomra: az OpenAI 10-szer olcsóbb a Lunával, mint a DeepSeek…
A leggyorsabb szkriptet a DeepSeek v4.1 Flash állítja elő, amely eléri az 528 000 bejegyzés/s sebességet a fájl feldolgozásánál.
Valóban csak 189 ms-ra van szüksége a 100 000 XML bejegyzés feldolgozásához!
Az XMLReader streaming használatát választja… és a leggyorsabb.
A Claude Haiku 5.5 szintén olcsó ebben a benchmarkban, nagyon gyorsan generálja a kódot (17 másodperc), szemben a DeepSeek 115 másodpercével (majdnem 7-szer több), de a leglassabban végrehajtható kódok közé tartozó kódot állít elő.
A teljesítmény / sebesség / költség arány tekintetében a DeepSeek vezet ebben, ha valaki a létrehozott kód végrehajtási sebességét helyezi előtérbe.
A Grok nagyon drága (20-szor drágább, mint a DeepSeek), de a teljesítményben a második helyen áll.
A Luna 10-szer olcsóbb, mint a DeepSeek, a teljesítményben a negyedik helyen áll, rendkívül gyors előállítással (29 másodperc).
Ami érdekes ebben a kis gyakorlatban, hogy nem egyszerűen egy LLM funkcionális kód előállítási képességét mérjük, hanem azt is, hogy képes-e a helyes technikai döntéseket meghozni, elkerülni a szükségtelen bőbeszédűséget és valóban teljesítőképes programot generálni.
És nyilvánvalóan a legdrágább modell nem feltétlenül az, amely a legjobb kódot állítja elő.
Ez egy másik problémát is szemléltet: mely modellek mely feladatokhoz…
A (jó) orkesztráció egyre fontosabb kérdéssé fog válni.
LinkedIn források
- Profil: Pierre Jean Duvivier dit Sage (LinkedIn)
A Előfordult már veled, hogy megnézted a kedvenc LLM-ed által generált kódot? bejegyzés először a les plumes qui mordent oldalon jelent meg.
Gyakran Ismételt Kérdések
GYIK A kedvenc LLM-ed által generált kód megtekintése
1 Mit jelent megnézni az LLM által generált kódot
Azt jelenti, hogy ténylegesen elolvasod, futtatod és átnézed az AI asszisztens által adott kódot ahelyett, hogy vakon másolnád és illesztenéd be
2 Miért érdemes elolvasnom az AI által generált kódot
Mert az LLM-ek magabiztosan tévedhetnek A kód elolvasása segít elkapni a hibákat biztonsági problémákat és logikai hibákat mielőtt elérnék a projektedet
3 Szakértőnek kell lennem az AI kód átnézéséhez
Nem Még az alapvető olvasás is segít észreveheted a nyilvánvaló problémákat mint a keménykódolt jelszavak hiányzó hibakezelés vagy a kód ami nem felel meg annak amit kértél
4 Milyen típusú hibákat követnek el gyakran az LLM-ek a kódban
Tipikus problémák közé tartoznak a hallucinált függvények vagy könyvtárak elavult API-k off-by-one hibák hiányzó esetszintek és nem biztonságos alapértelmezések
5 Tartalmazhat az AI által generált kód biztonsági sebezhetőségeket
Igen A modellek néha SQL injekciós kockázatokkal gyenge bemenet-validációval vagy felfedett titkokkal rendelkező kódot állítanak elő Mindig nézd át mielőtt szállítod
6 Miért hivatkozik a kód néha nem létező függvényekre vagy csomagokra
Az LLM-ek valószínűnek tűnő szöveget jósolnak így API-kat találhatnak ki Ezt hallucinációnak nevezik mindig ellenőrizd hogy az importok és függvények valóban léteznek
7 Az AI által generált kód általában helyes
Gyakran közel van de a közel általában nem elég jó a produkcióhoz Kezeld első piszkozatként nem végső válaszként
8 Mi a leggyorsabb módja az AI kód ellenőrzésének
Futtasd egy kis teszteseten olvasd el soronként és ellenőrizd hogy minden import és függvényhívás valódi Aztán teszteld az esetszinteket
9 Másképp kell tesztelnem az AI által generált kódot mint a sajátomat
Nem igazán de alaposan teszteld különösen az esetszinteket és hibautakat mivel a modell nem feltétlenül vette figyelembe őket
10 Megbízhatok az AI kódban ha tisztának és jól formázottnak tűnik
Nem A tiszta formázás semmit sem mond a helyességről Néhány legmeggyőzőbbnek tűnő AI kód finoman hibás
11 Milyen előnyei vannak az AI kód átnézésének az elutasítással szemben
Megkapod az AI generálás sebességét plusz az emberi ítélőképesség biztonságát és gyakran új mintákat vagy megközelítéseket tanulsz útközben
12 Honnan tudom hogy az AI elavult könyvtárat vagy API-t használt
Ellenőrizd a
