좋아하는 LLM이 생성한 코드를 본 적이 있나요?
그리고 무엇보다 그 성능, 생성된 코드의 장황함, 생산 비용, 스크립트의 실행 속도 사이에서요?
저는 OpenCode Go(월 10달러)를 통해 간단한 프롬프트로 여러 LLM을 테스트했습니다: "100,000개 항목의 XML 파일을 가능한 한 빠르게 소비하는 PHP 스크립트를 만들어라."
결국 저는 6개의 LLM을 테스트했습니다(저는 현재 DeepSeek v4.1 Flash를 많이 사용하는데, 코딩에 있어서 extraordinary하다고 생각합니다).
DeepSeek v4.1 Flash, Grok 4.7, Kimi K3.1 Pro, GPT-6 Luna, Gemini-5 Argon, Claude Haiku 5.5.
그리고 이 요청에 대한 결과는 다음과 같습니다:
가장 컴팩트한 코드는 GPT-6 Luna가 생성했으며, 29초 만에, 비용은 0.00156달러였습니다! 이것이 이번 테스트의 큰 surprise였습니다: OpenAI는 Luna를 통해 DeepSeek보다 10배 저렴합니다…
가장 빠른 스크립트는 DeepSeek v4.1 Flash가 생성했으며, 파일 처리에서 528,000개 항목/s에 도달합니다.
실제로 100,000개의 XML 항목을 파싱하는 데 189ms밖에 걸리지 않습니다!
그것은 스트리밍에서 XMLReader를 사용하기로 선택했으며… 가장 빠릅니다.
Claude Haiku 5.5도 이 벤치마크에서 저렴하며, 코드를 매우 빠르게 생성합니다(17초). DeepSeek의 경우 115초(거의 7배 더)인 것과 대조적이지만, 실행 속도가 가장 느린 축에 속하는 코드를 생성합니다.
성능/속도/비용 비율 측면에서, 생성된 코드의 실행 속도를 우선시한다면 DeepSeek이 이번에는 앞서 있습니다.
Grok은 매우 비쌉니다(DeepSeek보다 20배 더), 하지만 성능에서는 2위입니다.
Luna는 DeepSeek보다 10배 저렴하며, 성능에서는 4위이고, 생산 속도는 극도로 빠릅니다(29초).
이 작은 실험에서 흥미로운 점은 우리가 단순히 LLM이 기능적인 코드를 생산하는 능력을 측정하는 것이 아니라, 올바른 기술적 선택을 하고, 불필요한 장황함을 피하며, 진정으로 성능이 좋은 프로그램을 생성하는 능력도 측정한다는 것입니다.
그리고 분명히, 가장 비싼 모델이 반드시 최고의 코드를 생산하는 것은 아닙니다.
이것은 또 다른 문제를 보여줍니다: 어떤 작업에 어떤 모델을 사용할 것인가…
(좋은) 오케스트레이션은 점점 더 중요한 문제가 될 것입니다.
LinkedIn 출처
- 프로필: Pierre Jean Duvivier dit Sage (LinkedIn)
게시물 좋아하는 LLM이 생성한 코드를 본 적이 있나요?는 les plumes qui mordent에 처음 게시되었습니다.
자주 묻는 질문
FAQs 좋아하는 LLM이 생성한 코드 살펴보기
1 LLM이 생성한 코드를 살펴본다는 것은 무엇을 의미하나요
AI 어시스턴트가 제공한 코드를 무작정 복사해 붙여넣는 대신 실제로 읽고 실행하고 검토하는 것을 의미합니다
2 왜 AI 생성 코드를 읽어볼 필요가 있나요
LLM은 자신 있게 틀릴 수 있기 때문입니다 코드를 읽으면 버그 보안 문제 논리 오류가 프로젝트에 도달하기 전에 잡아낼 수 있습니다
3 AI 코드를 검토하려면 전문가여야 하나요
아니요 기본적인 읽기만으로도 도움이 됩니다 하드코딩된 비밀번호 누락된 오류 처리 요청한 것과 맞지 않는 코드 같은 명백한 문제를 발견할 수 있습니다
4 LLM이 코드에서 흔히 저지르는 실수는 어떤 것인가요
전형적인 문제로는 환각된 함수나 라이브러리 오래된 API off-by-one 오류 누락된 엣지 케이스 안전하지 않은 기본값 등이 있습니다
5 AI 생성 코드에 보안 취약점이 포함될 수 있나요
예 모델은 때때로 SQL 인젝션 위험 약한 입력 검증 노출된 비밀 정보가 있는 코드를 생성합니다 배포 전에 항상 검토하세요
6 왜 코드가 때때로 존재하지 않는 함수나 패키지를 참조하나요
LLM은 그럴듯해 보이는 텍스트를 예측하므로 API를 만들어낼 수 있습니다 이것을 환각이라고 합니다 항상 임포트와 함수가 실제로 존재하는지 확인하세요
7 AI 생성 코드는 보통 정확한가요
종종 거의 맞지만 보통 거의 맞는 것은 프로덕션에 충분하지 않습니다 최종 답변이 아니라 초안으로 취급하세요
8 AI 코드를 확인하는 가장 빠른 방법은 무엇인가요
작은 테스트 케이스에서 실행하고 한 줄씩 읽으며 모든 임포트와 함수 호출이 실제인지 확인하세요 그런 다음 엣지 케이스를 테스트하세요
9 AI 생성 코드를 내 코드와 다르게 테스트해야 하나요
꼭 그렇지는 않습니다 하지만 철저히 테스트하세요 특히 모델이 고려하지 않았을 수 있는 엣지 케이스와 오류 경로를 테스트하세요
10 AI 코드가 깔끔하고 잘 포맷되어 보이면 신뢰할 수 있나요
아니요 깔끔한 포맷은 정확성에 대해 아무것도 말해주지 않습니다 가장 설득력 있어 보이는 AI 코드 중 일부는 미묘하게 망가져 있습니다
11 AI 코드를 완전히 거부하는 대신 검토할 때의 이점은 무엇인가요
AI 생성의 속도와 인간 판단의 안전성을 얻을 수 있으며 종종 새로운 패턴이나 접근법을 배우게 됩니다
12 AI가 오래된 라이브러리나 API를 사용했는지 어떻게 알 수 있나요
확인하세요
