Você já olhou para o código produzido pelo seu LLM favorito?
E, acima de tudo, seu desempenho, entre a verbosidade do código gerado, seu custo de produção e a velocidade de execução do script?
Testei, via OpenCode Go (10 USD/mês), vários LLMs com um prompt simples: "Faça um script PHP que consuma um arquivo XML de 100.000 entradas o mais rápido possível."
No final, testei 6 LLMs (atualmente uso muito o DeepSeek v4.1 Flash, que considero extraordinário para programação).
DeepSeek v4.1 Flash, Grok 4.7, Kimi K3.1 Pro, GPT-6 Luna, Gemini-5 Argon e Claude Haiku 5.5.
E os resultados nessa solicitação são os seguintes:
O código mais compacto é gerado pelo GPT-6 Luna, em 29 segundos, por um custo de 0,00156 USD! Esta é a minha grande surpresa do teste: a OpenAI é 10 vezes mais barata com o Luna do que a DeepSeek…
O script mais rápido é produzido pelo DeepSeek v4.1 Flash, que atinge 528.000 entradas/s no processamento do arquivo.
Ele de fato leva apenas 189 ms para analisar as 100.000 entradas XML!
Ele escolhe usar XMLReader em streaming… e é o mais rápido.
O Claude Haiku 5.5 também é barato neste benchmark, gera o código muito rapidamente (17 segundos), contra 115 segundos (quase 7 vezes mais) para o DeepSeek, mas produz código que está entre os mais lentos para executar.
Em termos de relação desempenho / velocidade / custo, o DeepSeek está à frente neste caso, se priorizarmos a velocidade de execução do código produzido.
O Grok é muito caro (20 vezes mais que o DeepSeek), mas fica em segundo lugar em desempenho.
O Luna é 10 vezes mais barato que o DeepSeek, ficando em quarto lugar em desempenho, com produção extremamente rápida (29 segundos).
O interessante neste pequeno exercício é que não estamos simplesmente medindo a capacidade de um LLM de produzir código funcional, mas também sua capacidade de fazer as escolhas técnicas certas, de evitar verbosidade desnecessária e de gerar um programa verdadeiramente performático.
E, claramente, o modelo mais caro não é necessariamente o que produz o melhor código.
Isso também ilustra outro problema: quais modelos para quais tarefas…
Uma (boa) orquestração vai se tornar uma questão cada vez mais importante.
Fontes do LinkedIn
- Perfil: Pierre Jean Duvivier dit Sage (LinkedIn)
O post Você já olhou para o código produzido pelo seu LLM favorito? apareceu primeiro em les plumes qui mordent.
Perguntas Frequentes
FAQs Olhando para o Código que Seu LLM Favorito Produz
1 O que significa olhar para o código que um LLM produz
Significa realmente ler, executar e revisar o código que um assistente de IA lhe dá, em vez de copiar e colar às cegas
2 Por que eu deveria me dar ao trabalho de ler código gerado por IA
Porque os LLMs podem estar confiantemente errados. Ler o código ajuda você a detectar bugs, problemas de segurança e erros de lógica antes que cheguem ao seu projeto
3 Preciso ser um especialista para revisar código de IA
Não. Mesmo uma leitura básica ajuda você pode identificar problemas óbvios como senhas codificadas, falta de tratamento de erros ou código que não corresponde ao que você pediu
4 Que tipos de erros os LLMs costumam cometer em código
Problemas típicos incluem funções ou bibliotecas alucinadas, APIs desatualizadas, erros de off-by-one, casos extremos ausentes e padrões inseguros
5 Código gerado por IA pode conter vulnerabilidades de segurança
Sim. Os modelos às vezes produzem código com riscos de injeção de SQL, validação de entrada fraca ou segredos expostos. Sempre revise antes de enviar
6 Por que o código às vezes referencia funções ou pacotes que não existem
Os LLMs preveem texto de aparência plausível, então podem inventar APIs. Isso se chama alucinação sempre verifique se imports e funções realmente existem
7 O código gerado por IA geralmente está correto
Frequentemente está próximo, mas geralmente próximo não é bom o suficiente para produção. Trate-o como um primeiro rascunho, não como uma resposta final
8 Qual é a maneira mais rápida de verificar código de IA
Execute-o em um pequeno caso de teste, leia linha por linha e verifique se cada import e chamada de função é real. Depois teste casos extremos
9 Devo testar código gerado por IA de forma diferente do meu próprio código
Na verdade não mas teste-o minuciosamente, especialmente casos extremos e caminhos de erro, já que o modelo pode não tê-los considerado
10 Posso confiar no código de IA se ele parece limpo e bem formatado
Não. Formatação limpa não diz nada sobre correção. Alguns dos códigos de IA de aparência mais convincente estão sutilmente quebrados
11 Quais são os benefícios de revisar código de IA em vez de rejeitá-lo de imediato
Você obtém a velocidade da geração por IA mais a segurança do julgamento humano e muitas vezes aprende novos padrões ou abordagens pelo caminho
12 Como sei se a IA usou uma biblioteca ou API desatualizada
Verifique a
