Haben Sie sich jemals den Code angesehen, den Ihr bevorzugtes LLM erzeugt?
Und vor allem seine Leistung, zwischen der Ausführlichkeit des generierten Codes, seinen Produktionskosten und der Ausführungsgeschwindigkeit des Skripts?
Ich habe über OpenCode Go (10 USD/Monat) mehrere LLMs mit einem einfachen Prompt getestet: „Erstelle ein PHP-Skript, das eine XML-Datei mit 100.000 Einträgen so schnell wie möglich verarbeitet.“
Am Ende habe ich 6 LLMs getestet (ich nutze derzeit DeepSeek v4.1 Flash intensiv, das ich für das Programmieren außergewöhnlich finde).
DeepSeek v4.1 Flash, Grok 4.7, Kimi K3.1 Pro, GPT-6 Luna, Gemini-5 Argon und Claude Haiku 5.5.
Und die Ergebnisse zu dieser Anfrage sind wie folgt:
Der kompakteste Code wird von GPT-6 Luna generiert, in 29 Sekunden, für Kosten von 0,00156 USD! Das ist meine große Überraschung des Tests: OpenAI ist mit Luna 10-mal günstiger als DeepSeek…
Das schnellste Skript wird von DeepSeek v4.1 Flash erzeugt, das 528.000 Einträge/s bei der Dateiverarbeitung erreicht.
Es braucht tatsächlich nur 189 ms, um die 100.000 XML-Einträge zu parsen!
Es entscheidet sich für die Verwendung von XMLReader im Streaming… und ist das schnellste.
Claude Haiku 5.5 ist in diesem Benchmark ebenfalls günstig, generiert den Code sehr schnell (17 Sekunden), gegenüber 115 Sekunden (fast 7-mal mehr) für DeepSeek, erzeugt aber Code, der zu den langsamsten in der Ausführung gehört.
In Bezug auf das Verhältnis Leistung / Geschwindigkeit / Kosten liegt DeepSeek bei diesem hier vorne, wenn man die Ausführungsgeschwindigkeit des erzeugten Codes priorisiert.
Grok ist sehr teuer (20-mal mehr als DeepSeek), kommt aber in der Leistung an zweiter Stelle.
Luna ist 10-mal günstiger als DeepSeek und kommt in der Leistung an vierter Stelle, mit extrem schneller Produktion (29 Sekunden).
Was an dieser kleinen Übung interessant ist, ist, dass wir nicht einfach die Fähigkeit eines LLM messen, funktionalen Code zu produzieren, sondern auch seine Fähigkeit, die richtigen technischen Entscheidungen zu treffen, unnötige Ausführlichkeit zu vermeiden und ein wirklich performantes Programm zu generieren.
Und eindeutig ist das teuerste Modell nicht unbedingt dasjenige, das den besten Code produziert.
Dies veranschaulicht auch ein weiteres Problem: welche Modelle für welche Aufgaben…
(Gute) Orchestrierung wird zu einem immer wichtigeren Thema werden.
LinkedIn-Quellen
- Profil: Pierre Jean Duvivier dit Sage (LinkedIn)
Der Beitrag Haben Sie sich jemals den Code angesehen, den Ihr bevorzugtes LLM erzeugt? erschien zuerst auf les plumes qui mordent.
Häufig gestellte Fragen
FAQs Den Code betrachten, den Ihr bevorzugtes LLM erzeugt
1 Was bedeutet es, den Code zu betrachten, den ein LLM erzeugt
Es bedeutet, den Code, den Ihnen ein KI-Assistent gibt, tatsächlich zu lesen, auszuführen und zu überprüfen, anstatt ihn blind zu kopieren und einzufügen
2 Warum sollte ich mir die Mühe machen, KI-generierten Code zu lesen
Weil LLMs selbstsicher falsch liegen können. Das Lesen des Codes hilft Ihnen, Fehler, Sicherheitsprobleme und Logikfehler zu erkennen, bevor sie Ihr Projekt erreichen
3 Muss ich ein Experte sein, um KI-Code zu überprüfen
Nein. Selbst grundlegendes Lesen hilft – Sie können offensichtliche Probleme erkennen wie fest codierte Passwörter, fehlende Fehlerbehandlung oder Code, der nicht dem entspricht, was Sie angefordert haben
4 Welche Arten von Fehlern machen LLMs häufig im Code
Typische Probleme sind halluzinierte Funktionen oder Bibliotheken, veraltete APIs, Off-by-one-Fehler, fehlende Randfälle und unsichere Standardeinstellungen
5 Kann KI-generierter Code Sicherheitslücken enthalten
Ja. Modelle erzeugen manchmal Code mit SQL-Injection-Risiken, schwacher Eingabevalidierung oder offengelegten Geheimnissen. Überprüfen Sie immer, bevor Sie ausliefern
6 Warum verweist der Code manchmal auf Funktionen oder Pakete, die nicht existieren
LLMs sagen plausibel aussehenden Text voraus, daher können sie APIs erfinden. Dies wird Halluzination genannt – verifizieren Sie immer, dass Importe und Funktionen tatsächlich existieren
7 Ist KI-generierter Code normalerweise korrekt
Er ist oft nahe dran, aber „nahe dran“ ist normalerweise nicht gut genug für die Produktion. Behandeln Sie ihn als ersten Entwurf, nicht als endgültige Antwort
8 Was ist der schnellste Weg, KI-Code zu prüfen
Führen Sie ihn mit einem kleinen Testfall aus, lesen Sie ihn Zeile für Zeile und prüfen Sie, ob jeder Import und jeder Funktionsaufruf real ist. Testen Sie dann Randfälle
9 Sollte ich KI-generierten Code anders testen als meinen eigenen Code
Nicht wirklich – aber testen Sie ihn gründlich, insbesondere Randfälle und Fehlerpfade, da das Modell sie möglicherweise nicht berücksichtigt hat
10 Kann ich KI-Code vertrauen, wenn er sauber und gut formatiert aussieht
Nein. Saubere Formatierung sagt nichts über Korrektheit aus. Einige der überzeugend aussehenden KI-Codes sind subtil fehlerhaft
11 Was sind die Vorteile der Überprüfung von KI-Code, anstatt ihn rundheraus abzulehnen
Sie erhalten die Geschwindigkeit der KI-Generierung plus die Sicherheit menschlichen Urteilsvermögens – und Sie lernen oft nebenbei neue Muster oder Ansätze kennen
12 Woher weiß ich, ob die KI eine veraltete Bibliothek oder API verwendet hat
Prüfen Sie die
