Už jste se někdy podívali na kód, který vygeneroval váš oblíbený LLM?
A především na jeho výkon, mezi upovídaností vygenerovaného kódu, jeho produkčními náklady a rychlostí provádění skriptu?
Testoval jsem prostřednictvím OpenCode Go (10 USD/měsíc) několik LLM na jednoduchém promptu: „Vytvoř PHP skript, který co nejrychleji zpracuje XML soubor se 100 000 položkami.“
Nakonec jsem otestoval 6 LLM (v současnosti hodně používám DeepSeek v4.1 Flash, který považuji za mimořádný pro programování).
DeepSeek v4.1 Flash, Grok 4.7, Kimi K3.1 Pro, GPT-6 Luna, Gemini-5 Argon a Claude Haiku 5.5.
A výsledky na tento požadavek jsou následující:
Nejkompaktnější kód generuje GPT-6 Luna, za 29 sekund, za cenu 0,00156 USD! To je mé velké překvapení z testu: OpenAI je s Lunou 10krát levnější než DeepSeek…
Nejrychlejší skript produkuje DeepSeek v4.1 Flash, který dosahuje 528 000 položek/s při zpracování souboru.
Zpracování 100 000 XML položek mu skutečně trvá pouze 189 ms!
Rozhodl se použít XMLReader ve streamovacím režimu… a je nejrychlejší.
Claude Haiku 5.5 je v tomto benchmarku také levný, generuje kód velmi rychle (17 sekund), oproti 115 sekundám (téměř 7krát více) u DeepSeek, ale produkuje kód, který patří k nejpomaleji prováděným.
Pokud jde o poměr výkon/rychlost/náklady, DeepSeek je v tomto případě napřed, pokud upřednostňujete rychlost provádění produkovaného kódu.
Grok je velmi drahý (20krát více než DeepSeek), ale ve výkonu je druhý.
Luna je 10krát levnější než DeepSeek, ve výkonu je čtvrtá, s extrémně rychlou produkcí (29 sekund).
Zajímavé na tomto malém cvičení je, že neměříme pouze schopnost LLM produkovat funkční kód, ale také jeho schopnost činit správná technická rozhodnutí, vyhnout se zbytečné upovídanosti a generovat skutečně výkonný program.
A jasně, nejdražší model není nutně ten, který produkuje nejlepší kód.
To také ilustruje další problém: které modely pro které úkoly…
(Dobrá) orchestrace se stane stále důležitějším tématem.
Zdroje LinkedIn
- Profil: Pierre Jean Duvivier dit Sage (LinkedIn)
Příspěvek Už jste se někdy podívali na kód, který vygeneroval váš oblíbený LLM? se poprvé objevil na les plumes qui mordent.
Často kladené otázky
FAQs Pohled na kód, který produkuje váš oblíbený LLM
1 Co znamená podívat se na kód, který produkuje LLM
Znamená to skutečně číst, spouštět a kontrolovat kód, který vám AI asistent dává, místo abyste ho slepě kopírovali a vkládali
2 Proč bych se měl obtěžovat čtením kódu generovaného AI
Protože LLM mohou být sebevědomě chybující. Čtení kódu vám pomůže odhalit chyby, bezpečnostní problémy a logické chyby dříve, než se dostanou do vašeho projektu
3 Musím být expert, abych mohl kontrolovat kód AI
Ne. I základní čtení pomáhá – můžete si všimnout zřejmých problémů, jako jsou pevně zakódovaná hesla, chybějící ošetření chyb nebo kód, který neodpovídá tomu, o co jste požádali
4 Jaké druhy chyb LLM běžně dělají v kódu
Typické problémy zahrnují halucinované funkce nebo knihovny, zastaralá API, chyby off-by-one, chybějící okrajové případy a nezabezpečené výchozí hodnoty
5 Může kód generovaný AI obsahovat bezpečnostní zranitelnosti
Ano. Modely někdy produkují kód s riziky SQL injection, slabou validací vstupu nebo odhalenými tajnými údaji. Před nasazením vždy zkontrolujte
6 Proč kód někdy odkazuje na funkce nebo balíčky, které neexistují
LLM předpovídají pravděpodobně vypadající text, takže mohou vymýšlet API. Tomu se říká halucinace – vždy ověřte, že importy a funkce skutečně existují
7 Je kód generovaný AI obvykle správný
Často je blízko, ale obvykle „blízko“ nestačí pro produkci. Berte to jako první návrh, ne jako konečnou odpověď
8 Jaký je nejrychlejší způsob, jak zkontrolovat kód AI
Spusťte ho na malém testovacím případě, přečtěte ho řádek po řádku a zkontrolujte, že každý import a volání funkce je skutečné. Poté otestujte okrajové případy
9 Měl bych testovat kód generovaný AI jinak než svůj vlastní kód
Ne tak docela – ale testujte ho důkladně, zejména okrajové případy a chybové cesty, protože model je nemusel zvážit
10 Mohu důvěřovat kódu AI, pokud vypadá čistě a dobře naformátovaně
Ne. Čisté formátování nic neříká o správnosti. Některý z nejpřesvědčivěji vypadajícího kódu AI je jemně rozbitý
11 Jaké jsou výhody kontroly kódu AI místo jeho úplného odmítnutí
Získáte rychlost generování AI plus bezpečnost lidského úsudku – a často se přitom naučíte nové vzory nebo přístupy
12 Jak poznám, jestli AI použila zastaralou knihovnu nebo API
Zkontrolujte
