¿Alguna vez has mirado el código producido por tu LLM favorito?
¿Y sobre todo su rendimiento, entre la verbosidad del código generado, su coste de producción y la velocidad de ejecución del script?
He probado, vía OpenCode Go (10 USD/mes), varios LLM con un prompt simple: "Haz un script PHP que consuma un archivo XML de 100.000 entradas lo más rápido posible."
Al final, he probado 6 LLM (actualmente uso mucho DeepSeek v4.1 Flash, que encuentro extraordinario para programar).
DeepSeek v4.1 Flash, Grok 4.7, Kimi K3.1 Pro, GPT-6 Luna, Gemini-5 Argon y Claude Haiku 5.5.
Y los resultados en esta petición son los siguientes:
El código más compacto lo genera GPT-6 Luna, en 29 segundos, ¡por un coste de 0,00156 USD! Esta es mi gran sorpresa de la prueba: OpenAI es 10 veces más barato con Luna que DeepSeek…
El script más rápido lo produce DeepSeek v4.1 Flash, que alcanza 528.000 entradas/s en el procesamiento del archivo.
¡Efectivamente, solo tarda 189 ms en parsear las 100.000 entradas XML!
Elige usar XMLReader en streaming… y es el más rápido.
Claude Haiku 5.5 también es económico en este benchmark, genera el código muy rápidamente (17 segundos), frente a 115 segundos (casi 7 veces más) para DeepSeek, pero produce código que está entre los más lentos de ejecutar.
En términos de ratio rendimiento / velocidad / coste, DeepSeek va por delante en este caso, si se prioriza la velocidad de ejecución del código producido.
Grok es muy caro (20 veces más que DeepSeek), pero queda segundo en rendimiento.
Luna es 10 veces más barato que DeepSeek, para quedar cuarto en rendimiento, con una producción extremadamente rápida (29 segundos).
Lo interesante de este pequeño ejercicio es que no medimos simplemente la capacidad de un LLM para producir código funcional, sino también su capacidad para tomar las decisiones técnicas correctas, evitar verbosidad innecesaria y generar un programa verdaderamente performante.
Y, claramente, el modelo más caro no es necesariamente el que produce el mejor código.
Esto también ilustra otro problema: qué modelos para qué tareas…
La (buena) orquestación va a convertirse en un tema cada vez más importante.
Fuentes de LinkedIn
- Perfil: Pierre Jean Duvivier dit Sage (LinkedIn)
La publicación ¿Alguna vez has mirado el código producido por tu LLM favorito? apareció primero en les plumes qui mordent.
Preguntas frecuentes
Preguntas frecuentes Mirar el código que produce tu LLM favorito
1 ¿Qué significa mirar el código que produce un LLM?
Significa leer, ejecutar y revisar realmente el código que te da un asistente de IA en lugar de copiarlo y pegarlo a ciegas
2 ¿Por qué debería molestarme en leer el código generado por IA?
Porque los LLM pueden equivocarse con confianza Leer el código te ayuda a detectar errores, problemas de seguridad y errores de lógica antes de que lleguen a tu proyecto
3 ¿Necesito ser un experto para revisar código de IA?
No Incluso una lectura básica ayuda puedes detectar problemas obvios como contraseñas codificadas directamente, falta de manejo de errores o código que no coincide con lo que pediste
4 ¿Qué tipo de errores cometen comúnmente los LLM en el código?
Los problemas típicos incluyen funciones o librerías alucinadas, APIs obsoletas, errores offbyone, casos límite faltantes y configuraciones predeterminadas inseguras
5 ¿Puede el código generado por IA contener vulnerabilidades de seguridad?
Sí Los modelos a veces producen código con riesgos de inyección SQL, validación de entrada débil o secretos expuestos Revisa siempre antes de publicar
6 ¿Por qué el código a veces hace referencia a funciones o paquetes que no existen?
Los LLM predicen texto que parece plausible, por lo que pueden inventar APIs Esto se llama alucinación verifica siempre que las importaciones y funciones existan realmente
7 ¿Suele ser correcto el código generado por IA?
A menudo está cerca, pero normalmente cerca no es suficientemente bueno para producción Trátalo como un primer borrador, no como una respuesta final
8 ¿Cuál es la forma más rápida de comprobar código de IA?
Ejecútalo en un caso de prueba pequeño, léelo línea por línea y comprueba que cada importación y llamada a función es real Luego prueba casos límite
9 ¿Debería probar el código generado por IA de forma diferente a mi propio código?
En realidad no pero pruébalo a fondo, especialmente los casos límite y las rutas de error, ya que puede que el modelo no los haya considerado
10 ¿Puedo confiar en el código de IA si parece limpio y bien formateado?
No El formato limpio no dice nada sobre la corrección Parte del código de IA que parece más convincente está sutilmente roto
11 ¿Cuáles son los beneficios de revisar el código de IA en lugar de rechazarlo directamente?
Obtienes la velocidad de la generación por IA más la seguridad del juicio humano y a menudo aprendes nuevos patrones o enfoques por el camino
12 ¿Cómo sé si la IA usó una librería o API obsoleta?
Comprueba la
