DeepSeek V4実務テスト46%失敗の真相

DeepSeekのV4 Flashがエージェントタスクのベンチマークで首位を獲得し、開発者コミュニティから高い評価を受けている一方で、Composioが実施した実務条件に近いテストでは、240回の実行のうち約46%が失敗したことが明らかになった。ベンチマークのスコアと実際の業務での動作の間にある乖離が、あらためて可視化された形だ。

240回実行して通過は129回

Composioは、Gmail・GitHub・Slack・Google Sheetsといった実際のサービスと連携する30のマルチステップエージェントタスクを、Claude Code・Codex・OpenCodeを含む8種類のフレームワークで合計240回実行した。通過したのは129回（53.8%）。残りの46.2%は何らかの段階で失敗に終わった。30のワークフローのうち、8つのフレームワーク全てで成功したのはわずか6件だった。

V4 Flashは単独のコーディングタスクや定型的な質疑応答では速くて安定している。しかし、複数のツールをまたいで処理を続け、途中でAPIエラーや想定外の応答が発生した場合に対処する能力が問われる複合タスクでは、信頼性が大きく下がる。「最初の一手は正確だが、途中でつまずく」という傾向が、複数のフレームワークで共通して現れた。

Terminal Bench 2.1のスコア82.7が意味すること

DeepSeek V4 Flashは2026年7月に正式公開されたモデルで、DeepSeek社のエージェントベンチマークTerminal Bench 2.1ではスコア82.7を記録し、複数の競合モデルを上回った。この種のベンチマークは、知識問答や数学の正答率ではなく、エージェントとしてのタスク完遂率を測るものだ。

ただし、ベンチマークが設計する「エージェントタスク」は、難易度・ツール構成・エラー条件をある程度制御した環境で成立している。Composioのテストが加えたのは、本物のサービスが返す予期しないレスポンス、認証の失敗、ツール仕様の細かい差異といった、現実の業務が当然のように含む不確実性だ。そこで10ポイント以上の差が生まれた。

DeepSeekが公開したオープンソースのエージェントハーネスを使えば、自社環境に近い条件で独自に評価することもできる。ただし、あくまで「自分のワークフローでどう動くか」を確かめる手段として使うことが重要だ。

モデルを選ぶ基準を変える

この結果が問い直すのは、AIモデルを評価する軸だ。「どのリーダーボードで何位か」は探索の出発点にはなる。ただ、自分が実際に使うタスクがどのカテゴリに属するかを見極めた上で、それに近い条件で検証するプロセスが必要になる。複数ツールをまたぐ自動化なら、Composioのようなエージェントテストの結果が参考になる。単発の質問や文書生成が主なら、ベンチマーク評価も有効だ。

DeepSeekはモデルをHugging Faceで公開しており、自社環境での事前検証が可能だ。コスト効率の高さは本物で、用途によっては有力な選択肢になり得る。ただ、ベンチマーク首位という数字だけで判断を終えると、実運用に入ってから問題が出る。試してから選ぶ。それが今のAI選定に求められる姿勢だ。