お気に入りのLLMが生成したコードを見たことはありますか?
そして何よりそのパフォーマンス、生成されたコードの冗長さ、その生成コスト、スクリプトの実行速度についてはどうでしょうか?
私はOpenCode Go(月額10ドル)経由で、シンプルなプロンプト「10万件のエントリを持つXMLファイルをできるだけ高速に消費するPHPスクリプトを作成してください」に対して、いくつかのLLMをテストしました。
最終的に、6つのLLMをテストしました(現在、私はDeepSeek v4.1 Flashをコーディング用に多用しており、非常に優れていると感じています)。
DeepSeek v4.1 Flash、Grok 4.7、Kimi K3.1 Pro、GPT-6 Luna、Gemini-5 Argon、Claude Haiku 5.5です。
そして、このリクエストに対する結果は以下の通りです:
最もコンパクトなコードを生成したのはGPT-6 Lunaで、29秒、コストは0.00156ドルでした!これはこのテストでの私の大きな驚きです:OpenAIはLunaではDeepSeekより10倍安いのです…
最速のスクリプトを生成したのはDeepSeek v4.1 Flashで、ファイル処理で毎秒528,000エントリに達します。
実際、10万件のXMLエントリを解析するのにわずか189ミリ秒しかかかりません!
ストリーミングでXMLReaderを使用することを選択しており…そして最速です。
Claude Haiku 5.5もこのベンチマークでは安価で、コードを非常に迅速に生成します(17秒)。DeepSeekの115秒(ほぼ7倍)と比較してですが、生成されるコードは実行が最も遅い部類に入ります。
パフォーマンス/速度/コストの比率で言えば、生成されたコードの実行速度を優先するなら、この点ではDeepSeekが優位です。
Grokは非常に高価で(DeepSeekの20倍)、パフォーマンスでは2位です。
LunaはDeepSeekより10倍安く、パフォーマンスでは4位で、生成は極めて高速です(29秒)。
この小さな演習で興味深いのは、単にLLMが機能するコードを生成する能力を測定しているだけでなく、適切な技術的選択を行い、不必要な冗長性を避け、真に高性能なプログラムを生成する能力も測定しているということです。
そして明らかに、最も高価なモデルが必ずしも最良のコードを生成するわけではありません。
これは別の問題も示しています:どのタスクにどのモデルを使うか…
(優れた)オーケストレーションは、ますます重要な課題になるでしょう。
LinkedInの情報源
- プロフィール:Pierre Jean Duvivier dit Sage(LinkedIn)
投稿お気に入りのLLMが生成したコードを見たことはありますか?はles plumes qui mordentで最初に公開されました。
よくある質問
FAQ お気に入りのLLMが生成するコードを見ることについて
1 LLMが生成するコードを見るとはどういう意味ですか
AIアシスタントが提供するコードを盲目的にコピー&ペーストするのではなく、実際に読んで実行しレビューすることを意味します
2 なぜAI生成コードをわざわざ読むべきなのですか
LLMは自信満々に間違えることがあるからです。コードを読むことで、バグやセキュリティ問題、論理エラーがプロジェクトに到達する前に発見できます
3 AIコードをレビューするには専門家である必要がありますか
いいえ。基本的な読解でも役立ちます。ハードコードされたパスワード、エラー処理の欠如、要求と一致しないコードなど、明らかな問題を発見できます
4 LLMはコードでよくどのような間違いをしますか
典型的な問題には、幻覚的な関数やライブラリ、古いAPI、オフバイワンエラー、エッジケースの欠如、安全でないデフォルト設定などがあります
5 AI生成コードにはセキュリティ脆弱性が含まれる可能性がありますか
はい。モデルはSQLインジェクションのリスク、弱い入力検証、露出したシークレットを含むコードを生成することがあります。出荷前に必ずレビューしてください
6 なぜコードが存在しない関数やパッケージを参照することがあるのですか
LLMはもっともらしいテキストを予測するため、APIを発明することがあります。これはハルシネーションと呼ばれます。インポートと関数が実際に存在することを常に確認してください
7 AI生成コードは通常正しいですか
多くの場合近いですが、通常「近い」は本番環境には十分ではありません。最終的な答えではなく、最初の草案として扱ってください
8 AIコードを確認する最速の方法は何ですか
小さなテストケースで実行し、行ごとに読み、すべてのインポートと関数呼び出しが実在することを確認します。その後エッジケースをテストします
9 AI生成コードは自分のコードとは違う方法でテストすべきですか
それほど違いませんが、徹底的にテストしてください。特にエッジケースとエラーパスは、モデルが考慮していない可能性があるためです
10 AIコードがきれいで整形されていれば信頼できますか
いいえ。きれいな整形は正確さについて何も語りません。最も説得力のある見た目のAIコードの中には微妙に壊れているものがあります
11 AIコードを完全に拒否するのではなくレビューする利点は何ですか
AI生成の速度と人間の判断の安全性の両方が得られます。そして多くの場合、新しいパターンやアプローチを学ぶことができます
12 AIが古いライブラリやAPIを使用したかどうかをどうやって知ることができますか
確認してください