Ați analizat vreodată codul produs de LLM-ul vostru preferat?
Și mai ales performanța acestuia, între verbiozitatea codului generat, costul său de producție și viteza de execuție a scriptului?
Am testat, prin OpenCode Go (10 USD/lună), mai multe LLM-uri pe un prompt simplu: „Faceți un script PHP care consumă un fișier XML cu 100.000 de intrări cât mai rapid posibil."
În final, am testat 6 LLM-uri (în prezent folosesc intens DeepSeek v4.1 Flash, pe care îl consider extraordinar pentru programare).
DeepSeek v4.1 Flash, Grok 4.7, Kimi K3.1 Pro, GPT-6 Luna, Gemini-5 Argon și Claude Haiku 5.5.
Iar rezultatele la această cerere sunt următoarele:
Cel mai compact cod este generat de GPT-6 Luna, în 29 de secunde, pentru un cost de 0,00156 USD! Aceasta este marea mea surpriză a testului: OpenAI este de 10 ori mai ieftin cu Luna decât DeepSeek…
Cel mai rapid script este produs de DeepSeek v4.1 Flash, care atinge 528.000 de intrări/s la procesarea fișierului.
Într-adevăr, îi ia doar 189 ms pentru a parsa cele 100.000 de intrări XML!
Alege să folosească XMLReader în streaming… și este cel mai rapid.
Claude Haiku 5.5 este de asemenea ieftin în acest benchmark, generează codul foarte rapid (17 secunde), față de 115 secunde (aproape de 7 ori mai mult) pentru DeepSeek, dar produce cod care se numără printre cele mai lente la execuție.
În ceea ce privește raportul performanță / viteză / cost, DeepSeek este în frunte la acesta, dacă se prioritizează viteza de execuție a codului produs.
Grok este foarte scump (de 20 de ori mai mult decât DeepSeek), dar se clasează pe locul al doilea la performanță.
Luna este de 10 ori mai ieftin decât DeepSeek, clasându-se pe locul al patrulea la performanță, cu o producție extrem de rapidă (29 de secunde).
Ceea ce este interesant în acest mic exercițiu este că nu măsurăm pur și simplu capacitatea unui LLM de a produce cod funcțional, ci și capacitatea sa de a face alegerile tehnice corecte, de a evita verbiozitatea inutilă și de a genera un program cu adevărat performant.
Și, clar, cel mai scump model nu este neapărat cel care produce cel mai bun cod.
Aceasta ilustrează și o altă problemă: ce modele pentru ce sarcini…
Orchestrarea (bună) va deveni o problemă din ce în ce mai importantă.
Surse LinkedIn
- Profil: Pierre Jean Duvivier dit Sage (LinkedIn)
Postarea Ați analizat vreodată codul produs de LLM-ul vostru preferat? a apărut prima dată pe les plumes qui mordent.
Întrebări frecvente
Întrebări frecvente Analizarea codului produs de LLM-ul vostru preferat
1 Ce înseamnă să analizezi codul produs de un LLM
Înseamnă să citești efectiv, să rulezi și să revizuiești codul pe care ți-l oferă un asistent AI, în loc să îl copiezi și să îl lipești orbește
2 De ce ar trebui să îmi bat capul citind codul generat de AI
Pentru că LLM-urile pot greși cu încredere Citirea codului te ajută să prinzi bug-uri, probleme de securitate și erori de logică înainte să ajungă în proiectul tău
3 Trebuie să fiu expert pentru a revizui codul AI
Nu Chiar și o citire de bază ajută poți observa probleme evidente precum parole hardcodate, lipsa gestionării erorilor sau cod care nu corespunde cu ce ai cerut
4 Ce tipuri de greșeli fac de obicei LLM-urile în cod
Problemele tipice includ funcții sau biblioteci halucinate, API-uri învechite, erori off-by-one, cazuri limită lipsă și valori implicite nesigure
5 Poate codul generat de AI să conțină vulnerabilități de securitate
Da Modelele produc uneori cod cu riscuri de injecție SQL, validare slabă a inputului sau secrete expuse Revizuiește întotdeauna înainte de livrare
6 De ce face codul uneori referire la funcții sau pachete care nu există
LLM-urile prezic text care pare plauzibil, așa că pot inventa API-uri Aceasta se numește halucinație verifică întotdeauna că importurile și funcțiile există cu adevărat
7 Este codul generat de AI de obicei corect
Este adesea aproape corect, dar de obicei aproape nu este suficient de bun pentru producție Tratează-l ca pe o primă schiță, nu ca pe un răspuns final
8 Care este cea mai rapidă modalitate de a verifica codul AI
Rulează-l pe un caz de test mic, citește-l linie cu linie și verifică dacă fiecare import și apel de funcție este real Apoi testează cazurile limită
9 Ar trebui să testez codul generat de AI diferit față de codul meu
Nu chiar dar testează-l temeinic, în special cazurile limită și căile de eroare, deoarece modelul poate să nu le fi luat în considerare
10 Pot avea încredere în codul AI dacă arată curat și bine formatat
Nu Formatarea curată nu spune nimic despre corectitudine Unele dintre cele mai convingătoare coduri AI sunt subtil defecte
11 Care sunt beneficiile revizuirii codului AI în loc de a-l respinge direct
Obții viteza generării AI plus siguranța judecății umane și deseori înveți modele sau abordări noi pe parcurs
12 Cum îmi dau seama dacă AI-ul a folosit o bibliotecă sau un API învechit
Verifică
