Някога гледали ли сте кода, генериран от любимия ви LLM?

Преглеждали ли сте някога кода, генериран от любимия ви LLM? И най-вече представянето му — между многословието на генерирания код, разходите за производство и скоростта на изпълнение на скрипта? Тествах, чрез OpenCode Go (10 USD/месец), няколко LLM с прост промпт: „Направи PHP скрипт, който консумира XML файл с 100 000 записа възможно най-бързо." В крайна сметка тествах 6 LLM (в момента използвам интензивно DeepSeek v4.1 Flash, който намирам за изключителен за програмиране). DeepSeek v4.1 Flash, Grok 4.7, Kimi K3.1 Pro, GPT-6 Luna, Gemini-5 Argon и Claude Haiku 5.5. И резултатите по тази заявка са следните: Най-компактният код е генериран от GPT-6 Luna, за 29 секунди, на цена от 0.00156 USD! Това е голямата ми изненада от теста: OpenAI е 10 пъти по-евтин с Luna от DeepSeek… Най-бързият скрипт е произведен от DeepSeek v4.1 Flash, който достига 528 000 записа/сек при обработка на файла. Наистина са необходими само 189 мс за парсване на 100 000 XML записа! Той избира да използва XMLReader в стрийминг режим… и е най-бързият. Claude Haiku 5.5 също е евтин в този бенчмарк, генерира кода много бързо (17 секунди), срещу 115 секунди (почти 7 пъти повече) за DeepSeek, но произвежда код, който е сред най-бавните за изпълнение. По отношение на съотношението производителност / скорост / цена, DeepSeek е напред в това отношение, ако се даде приоритет на скоростта на изпълнение на произведения код. Grok е много скъп (20 пъти повече от DeepSeek), но се класира втори по производителност. Luna е 10 пъти по-евтин от DeepSeek, за да се класира четвърти по производителност, с изключително бързо производство (29 секунди). Интересното в това малко упражнение е, че ние не измерваме просто способността на един LLM да произвежда функционален код, но също и способността му да прави правилните технически избори, да избягва ненужното многословие и да генерира наистина производителна програма. И, очевидно, най-скъпият модел не е непременно този, който произвежда най-добрия код. Това също илюстрира друг проблем: кои модели за кои задачи… (Добрата) оркестрация ще се превърне в все по-важен въпрос. **Източници от LinkedIn** - Профил: [Pierre Jean Duvivier dit Sage](https://www.linkedin.com/in/pierrejeanduvivier/) (LinkedIn) Публикацията [Преглеждали ли сте някога кода, генериран от любимия ви LLM?](https://lesplumesquimordent.com/benchmark-llm-code-performance/) се появи за първи път на [les plumes qui mordent](https://lesplumesquimordent.com). **Често задавани въпроси** ЧЗВ Преглед на кода, който любимият ви LLM произвежда 1 Какво означава да прегледаш кода, който един LLM произвежда Означава действително да прочетеш, стартираш и прегледаш кода, който AI асистентът ти дава, вместо сляпо да го копираш и поставяш 2 Защо трябва да си правя труда да чета AI-генериран код Защото LLM могат да бъдат уверено грешни. Четенето на кода ти помага да хванеш бъгове, проблеми със сигурността и логически грешки, преди да стигнат до проекта ти 3 Трябва ли да съм експерт, за да преглеждам AI код Не. Дори основно четене помага — можеш да забележиш очевидни проблеми като твърдо кодирани пароли, липсваща обработка на грешки или код, който не отговаря на това, което си поискал 4 Какви видове грешки правят LLM обикновено в код Типичните проблеми включват халюцинирани функции или библиотеки, остарели API, грешки от тип off-by-one, липсващи гранични случаи и несигурни настройки по подразбиране 5 Може ли AI-генерираният код да съдържа уязвимости в сигурността Да. Моделите понякога произвеждат код с рискове от SQL инжекция, слаба валидация на входа или разкрити тайни. Винаги преглеждай преди пускане 6 Защо кодът понякога реферира функции или пакети, които не съществуват LLM предсказват правдоподобно изглеждащ текст, така че могат да измислят API. Това се нарича халюцинация — винаги проверявай дали импортите и функциите действително съществуват 7 Обикновено правилен ли е AI-генерираният код Често е близо, но обикновено „близо" не е достатъчно добро за продукция. Отнасяй се към него като към първа чернова, не като към окончателен отговор 8 Кой е най-бързият начин да провериш AI код Стартирай го на малък тестов случай, прочети го ред по ред и провери дали всеки импорт и извикване на функция е реално. След това тествай гранични случаи 9 Трябва ли да тествам AI-генерирания код по различен начин от собствения си код Не съвсем — но тествай го задълбочено, особено граничните случаи и пътищата за грешки, тъй като моделът може да не ги е обмислил 10 Мога ли да се доверя на AI код, ако изглежда чист и добре форматиран Не. Чистото форматиране не казва нищо за коректността. Някои от най-убедително изглеждащите AI кодове са фино счупени 11 Какви са ползите от преглеждането на AI код вместо директното му отхвърляне Получаваш скоростта на AI генерирането плюс сигурността на човешката преценка — и често научаваш нови модели или подходи по пътя 12 Как да разбера дали AI е използвал остаряла библиотека или API Провери