Hai mai guardato il codice prodotto dal tuo LLM preferito?
E soprattutto le sue prestazioni, tra la verbosità del codice generato, il suo costo di produzione e la velocità di esecuzione dello script?
Ho testato, tramite OpenCode Go (10 USD/mese), diversi LLM su un semplice prompt: "Crea uno script PHP che consumi un file XML da 100.000 voci il più rapidamente possibile."
Alla fine, ho testato 6 LLM (attualmente uso intensamente DeepSeek v4.1 Flash, che trovo straordinario per la programmazione).
DeepSeek v4.1 Flash, Grok 4.7, Kimi K3.1 Pro, GPT-6 Luna, Gemini-5 Argon e Claude Haiku 5.5.
E i risultati su questa richiesta sono i seguenti:
Il codice più compatto è generato da GPT-6 Luna, in 29 secondi, per un costo di 0,00156 USD! Questa è la mia grande sorpresa del test: OpenAI è 10 volte più economico con Luna rispetto a DeepSeek…
Lo script più veloce è prodotto da DeepSeek v4.1 Flash, che raggiunge 528.000 voci/s nell'elaborazione del file.
Impiega infatti solo 189 ms per analizzare le 100.000 voci XML!
Sceglie di usare XMLReader in streaming… ed è il più veloce.
Claude Haiku 5.5 è anche economico in questo benchmark, genera il codice molto rapidamente (17 secondi), contro 115 secondi (quasi 7 volte di più) per DeepSeek, ma produce codice che è tra i più lenti da eseguire.
In termini di rapporto prestazioni / velocità / costo, DeepSeek è in vantaggio su questo, se si dà priorità alla velocità di esecuzione del codice prodotto.
Grok è molto costoso (20 volte più di DeepSeek), ma arriva secondo in prestazioni.
Luna è 10 volte più economico di DeepSeek, per arrivare quarto in prestazioni, con una produzione estremamente rapida (29 secondi).
Ciò che è interessante in questo piccolo esercizio è che non stiamo semplicemente misurando la capacità di un LLM di produrre codice funzionante, ma anche la sua capacità di fare le scelte tecniche giuste, di evitare verbosità inutile e di generare un programma davvero performante.
E, chiaramente, il modello più costoso non è necessariamente quello che produce il codice migliore.
Questo illustra anche un altro problema: quali modelli per quali compiti…
Una (buona) orchestrazione diventerà una questione sempre più importante.
Fonti LinkedIn
- Profilo: Pierre Jean Duvivier dit Sage (LinkedIn)
Il post Hai mai guardato il codice prodotto dal tuo LLM preferito? è apparso per la prima volta su les plumes qui mordent.
Domande frequenti
FAQ Guardare il codice prodotto dal tuo LLM preferito
1 Cosa significa guardare il codice che produce un LLM
Significa leggere, eseguire e rivedere effettivamente il codice che un assistente AI ti fornisce invece di copiarlo e incollarlo ciecamente
2 Perché dovrei prendermi la briga di leggere il codice generato dall'AI
Perché gli LLM possono sbagliarsi con sicurezza Leggere il codice ti aiuta a individuare bug problemi di sicurezza ed errori logici prima che raggiungano il tuo progetto
3 Devo essere un esperto per rivedere il codice AI
No Anche una lettura di base aiuta puoi individuare problemi evidenti come password hardcoded gestione degli errori mancante o codice che non corrisponde a ciò che hai chiesto
4 Che tipo di errori fanno comunemente gli LLM nel codice
I problemi tipici includono funzioni o librerie allucinate API obsolete errori offbyone casi limite mancanti e impostazioni predefinite non sicure
5 Il codice generato dall'AI può contenere vulnerabilità di sicurezza
Sì I modelli a volte producono codice con rischi di SQL injection validazione degli input debole o segreti esposti Rivedi sempre prima di pubblicare
6 Perché il codice a volte fa riferimento a funzioni o pacchetti che non esistono
Gli LLM prevedono testo dall'aspetto plausibile quindi possono inventare API Questo si chiama allucinazione verifica sempre che import e funzioni esistano davvero
7 Il codice generato dall'AI è di solito corretto
Spesso è vicino ma di solito vicino non è abbastanza buono per la produzione Trattalo come una prima bozza non come una risposta finale
8 Qual è il modo più veloce per controllare il codice AI
Eseguilo su un piccolo caso di test leggilo riga per riga e controlla che ogni import e chiamata di funzione sia reale Poi testa i casi limite
9 Dovrei testare il codice generato dall'AI diversamente dal mio codice
Non proprio ma testalo accuratamente soprattutto i casi limite e i percorsi di errore dato che il modello potrebbe non averli considerati
10 Posso fidarmi del codice AI se sembra pulito e ben formattato
No Una formattazione pulita non dice nulla sulla correttezza Alcuni dei codici AI dall'aspetto più convincente sono sottilmente difettosi
11 Quali sono i vantaggi di rivedere il codice AI invece di rifiutarlo outright
Ottieni la velocità della generazione AI più la sicurezza del giudizio umano e spesso impari nuovi pattern o approcci lungo il percorso
12 Come faccio a sapere se l'AI ha usato una libreria o un'API obsoleta
Controlla la
