Avez-vous déjà regardé le code produit par votre LLM préféré ?
Et surtout ses performances, entre la verbosité du code généré, son coût de production et la vitesse d'exécution du script ?
J'ai testé, via OpenCode Go (10 USD/mois), plusieurs LLM sur un prompt simple : « Fais un script PHP qui consomme un fichier XML de 100 000 entrées le plus rapidement possible. »
Au final, j'ai testé 6 LLM (j'utilise actuellement massivement DeepSeek v4.1 Flash, que je trouve extraordinaire pour le codage).
DeepSeek v4.1 Flash, Grok 4.7, Kimi K3.1 Pro, GPT-6 Luna, Gemini-5 Argon et Claude Haiku 5.5.
Et les résultats sur cette requête sont les suivants :
Le code le plus compact est généré par GPT-6 Luna, en 29 secondes, pour un coût de 0,00156 USD ! C'est ma grande surprise du test : OpenAI est 10 fois moins cher avec Luna que DeepSeek…
Le script le plus rapide est produit par DeepSeek v4.1 Flash, qui atteint 528 000 entrées/s sur le traitement du fichier.
Il ne lui faut en effet que 189 ms pour parser les 100 000 entrées XML !
Il choisit d'utiliser XMLReader en streaming… et est le plus rapide.
Claude Haiku 5.5 est également peu coûteux dans ce benchmark, génère le code très rapidement (17 secondes), contre 115 secondes (presque 7 fois plus) pour DeepSeek, mais produit un code qui fait partie des plus lents à s'exécuter.
En termes de ratio performance / vitesse / coût, DeepSeek est en tête sur celui-ci, si l'on privilégie la vitesse d'exécution du code produit.
Grok est très cher (20 fois plus que DeepSeek), mais arrive deuxième en performance.
Luna est 10 fois moins cher que DeepSeek, pour arriver quatrième en performance, avec une production extrêmement rapide (29 secondes).
Ce qui est intéressant dans ce petit exercice, c'est que nous ne mesurons pas simplement la capacité d'un LLM à produire du code fonctionnel, mais aussi sa capacité à faire les bons choix techniques, à éviter la verbosité inutile et à générer un programme réellement performant.
Et, clairement, le modèle le plus cher n'est pas nécessairement celui qui produit le meilleur code.
Cela illustre aussi un autre problème : quels modèles pour quelles tâches…
Une (bonne) orchestration va devenir un enjeu de plus en plus important.
Sources LinkedIn
- Profil : Pierre Jean Duvivier dit Sage (LinkedIn)
L'article Avez-vous déjà regardé le code produit par votre LLM préféré ? est apparu en premier sur les plumes qui mordent.
Questions fréquemment posées
FAQ Regarder le code que produit votre LLM préféré
1 Que signifie regarder le code que produit un LLM
Cela signifie lire réellement, exécuter et examiner le code qu'un assistant IA vous donne au lieu de le copier-coller aveuglément
2 Pourquoi devrais-je prendre la peine de lire le code généré par l'IA
Parce que les LLM peuvent se tromper avec assurance Lire le code vous aide à repérer les bugs les problèmes de sécurité et les erreurs de logique avant qu'ils n'atteignent votre projet
3 Dois-je être un expert pour examiner du code IA
Non Même une lecture basique aide vous pouvez repérer des problèmes évidents comme des mots de passe codés en dur une gestion d'erreurs manquante ou du code qui ne correspond pas à ce que vous avez demandé
4 Quels types d'erreurs les LLM commettent-ils couramment dans le code
Les problèmes typiques incluent des fonctions ou bibliothèques hallucinées des API obsolètes des erreurs de décalage d'un élément des cas limites manquants et des configurations par défaut non sécurisées
5 Le code généré par l'IA peut-il contenir des vulnérabilités de sécurité
Oui Les modèles produisent parfois du code avec des risques d'injection SQL une validation d'entrée faible ou des secrets exposés Examinez toujours avant de livrer
6 Pourquoi le code fait-il parfois référence à des fonctions ou des paquets qui n'existent pas
Les LLM prédisent du texte d'apparence plausible, ils peuvent donc inventer des API C'est ce qu'on appelle une hallucination vérifiez toujours que les imports et les fonctions existent réellement
7 Le code généré par l'IA est-il généralement correct
Il est souvent proche, mais « souvent proche » ne suffit généralement pas pour la production Traitez-le comme un premier brouillon, pas comme une réponse finale
8 Quelle est la façon la plus rapide de vérifier du code IA
Exécutez-le sur un petit cas de test lisez-le ligne par ligne et vérifiez que chaque import et appel de fonction est réel Testez ensuite les cas limites
9 Dois-je tester le code généré par l'IA différemment de mon propre code
Pas vraiment mais testez-le minutieusement, en particulier les cas limites et les chemins d'erreur, car le modèle peut ne pas les avoir pris en compte
10 Puis-je faire confiance au code IA s'il semble propre et bien formaté
Non Un formatage propre ne dit rien sur l'exactitude Certains codes IA parmi les plus convaincants sont subtilement défectueux
11 Quels sont les avantages d'examiner le code IA plutôt que de le rejeter d'emblée
Vous obtenez la vitesse de génération de l'IA plus la sécurité du jugement humain et vous apprenez souvent de nouveaux modèles ou approches en cours de route
12 Comment savoir si l'IA a utilisé une bibliothèque ou une API obsolète
Vérifiez la
