Czy kiedykolwiek spojrzałeś na kod wygenerowany przez swojego ulubionego LLM?
A przede wszystkim na jego wydajność, między gadatliwością wygenerowanego kodu, jego kosztem produkcji a szybkością wykonania skryptu?
Testowałem, poprzez OpenCode Go (10 USD/miesiąc), kilka LLM-ów na prostym prompcie: „Stwórz skrypt PHP, który przetwarza plik XML z 100 000 wpisów tak szybko, jak to możliwe”.
Ostatecznie przetestowałem 6 LLM-ów (obecnie intensywnie używam DeepSeek v4.1 Flash, który uważam za niezwykły do kodowania).
DeepSeek v4.1 Flash, Grok 4.7, Kimi K3.1 Pro, GPT-6 Luna, Gemini-5 Argon i Claude Haiku 5.5.
A wyniki na to zapytanie są następujące:
Najbardziej zwarty kod generuje GPT-6 Luna, w 29 sekund, za koszt 0,00156 USD! To moja duża niespodzianka testu: OpenAI jest 10 razy tańsze z Luną niż DeepSeek…
Najszybszy skrypt produkuje DeepSeek v4.1 Flash, który osiąga 528 000 wpisów/s przy przetwarzaniu pliku.
Rzeczywiście potrzeba tylko 189 ms, aby sparsować 100 000 wpisów XML!
Wybierze użycie XMLReader w trybie strumieniowym… i jest najszybszy.
Claude Haiku 5.5 jest również niedrogi w tym benchmarku, generuje kod bardzo szybko (17 sekund), w porównaniu do 115 sekund (prawie 7 razy więcej) dla DeepSeek, ale produkuje kod, który jest jednym z najwolniejszych w wykonaniu.
Pod względem stosunku wydajność / szybkość / koszt, DeepSeek jest na prowadzeniu w tym przypadku, jeśli priorytetem jest szybkość wykonania wyprodukowanego kodu.
Grok jest bardzo drogi (20 razy więcej niż DeepSeek), ale zajmuje drugie miejsce pod względem wydajności.
Luna jest 10 razy tańsza niż DeepSeek, zajmując czwarte miejsce pod względem wydajności, z niezwykle szybką produkcją (29 sekund).
Co jest interesujące w tym małym ćwiczeniu, to to, że nie mierzymy po prostu zdolności LLM-a do produkowania funkcjonalnego kodu, ale także jego zdolności do dokonywania właściwych wyborów technicznych, unikania niepotrzebnej gadatliwości i generowania naprawdę wydajnego programu.
I, jasno, najdroższy model niekoniecznie jest tym, który produkuje najlepszy kod.
To ilustruje również inny problem: które modele do których zadań…
(Dobra) orkiestracja stanie się coraz ważniejszym zagadnieniem.
Źródła LinkedIn
- Profil: Pierre Jean Duvivier dit Sage (LinkedIn)
Wpis Czy kiedykolwiek spojrzałeś na kod wygenerowany przez swojego ulubionego LLM? pojawił się najpierw na les plumes qui mordent.
Najczęściej zadawane pytania
FAQ Patrzenie na kod produkowany przez twojego ulubionego LLM-a
1 Co oznacza patrzenie na kod produkowany przez LLM-a
Oznacza to faktyczne czytanie, uruchamianie i przeglądanie kodu, który daje ci asystent AI, zamiast kopiowania i wklejania go na ślepo
2 Dlaczego powinienem zadać sobie trud czytania kodu generowanego przez AI
Ponieważ LLM-y mogą z pewnością siebie się mylić. Czytanie kodu pomaga wychwycić błędy, problemy z bezpieczeństwem i błędy logiczne, zanim trafią do twojego projektu
3 Czy muszę być ekspertem, aby przeglądać kod AI
Nie. Nawet podstawowe czytanie pomaga — możesz zauważyć oczywiste problemy, takie jak zahardkodowane hasła, brak obsługi błędów lub kod, który nie odpowiada temu, o co prosiłeś
4 Jakie rodzaje błędów LLM-y często popełniają w kodzie
Typowe problemy obejmują halucynowane funkcje lub biblioteki, przestarzałe API, błędy off-by-one, brakujące przypadki brzegowe i niebezpieczne ustawienia domyślne
5 Czy kod generowany przez AI może zawierać luki w zabezpieczeniach
Tak. Modele czasami produkują kod z ryzykiem SQL injection, słabą walidacją danych wejściowych lub ujawnionymi sekretami. Zawsze przeglądaj przed wdrożeniem
6 Dlaczego kod czasami odwołuje się do funkcji lub pakietów, które nie istnieją
LLM-y przewidują tekst wyglądający prawdopodobnie, więc mogą wymyślać API. Nazywa się to halucynacją — zawsze weryfikuj, czy importy i funkcje rzeczywiście istnieją
7 Czy kod generowany przez AI jest zazwyczaj poprawny
Często jest blisko, ale zazwyczaj blisko nie jest wystarczająco dobre dla produkcji. Traktuj go jako pierwszy szkic, a nie ostateczną odpowiedź
8 Jaki jest najszybszy sposób sprawdzenia kodu AI
Uruchom go na małym przypadku testowym, przeczytaj linia po linii i sprawdź, czy każdy import i wywołanie funkcji jest prawdziwe. Następnie przetestuj przypadki brzegowe
9 Czy powinienem testować kod generowany przez AI inaczej niż własny kod
Niezbyt — ale testuj go dokładnie, zwłaszcza przypadki brzegowe i ścieżki błędów, ponieważ model mógł ich nie uwzględnić
10 Czy mogę zaufać kodowi AI, jeśli wygląda czysto i dobrze sformatowany
Nie. Czyste formatowanie nic nie mówi o poprawności. Niektóre z najbardziej przekonująco wyglądających kodów AI są subtelnie zepsute
11 Jakie są korzyści z przeglądania kodu AI zamiast odrzucania go od razu
Otrzymujesz szybkość generowania AI plus bezpieczeństwo ludzkiego osądu — i często uczysz się nowych wzorców lub podejść po drodze
12 Skąd mam wiedzieć, czy AI użyło przestarzałej biblioteki lub API
Sprawdź
