ベンチマークを信じすぎるIT担当者が見落としていること

「このAIモデル、主要ベンチマークで業界最高水準です」と2週間かけて比較表を作り、役員会議で承認を取った。3ヶ月後にダッシュボードを確認すると、アクティブユーザー数は7名。全社展開のはずだったのに。

選定作業に問題があったのではなく、評価の軸がずれていた、というケースがほとんどです。

ベンチマークが測るのは「学力」であって「仕事力」ではない

AIモデルの比較に使われるスコアは、大学入試問題に近い問いへの正答率を測るものです。「数学推論で1位」「コーディングテスト最高点」という評価が、自社の営業日報作成や稟議書レビューと直結するとは限りません。

しかも多くの評価指標は英語ベースで設計されており、日本語業務特有の表現——敬語の使い方、社内専門用語、長文の要約精度——は測定外になっていることが多いです。ベンチマーク上位のモデルでも、実務テストでは46%が失敗するという事例もあります。

業務に使えるAIを選ぶ5つの評価軸

1. 自社の「最頻業務3つ」を先に決める

選定の前に、月で最も発生回数が多い業務を3つ書き出します。人事部なら「採用連絡メールの作成」「研修資料の修正」「入退社手続きの案内文更新」など。この3つに絞ってモデルを比較するのが出発点です。

2. 自社の実文書で試す

Webで拾ったサンプルではなく、実際の社内メールや議事録でプロンプトを動かします。匿名化したデータを使えば、「実際に使えるか」の感触が初めて掴めます。

3. 日本語の自然さを採点する

出力文章をビジネス文書として使えるかという視点で評価します。敬語のブレ、業界用語の誤変換、文末の不自然さ——これらはベンチマークには出てきません。5段階評価で10〜20件比較すると差が見えてきます。

4. 既存システムへの組み込みやすさを確認する

どんなに精度が高くても、使う人が「面倒」と感じると定着しません。Microsoft 365 Copilotであれば、すでに使い慣れたTeamsやOutlookの中で動くため、新しいUIを覚えさせるコストがかかりません。この「摩擦の少なさ」が導入後の利用率を大きく左右します。

5. 小規模パイロットで利用率を計測する

全社展開の前に、10〜30名のグループで1ヶ月間試します。計測すべきは精度ではなく「週に何回使ったか」です。高精度でも週1回しか使われないなら、その業務には合っていません。

パーソルグループが6ヶ月で到達した場所

人材サービス大手のパーソルグループは、Microsoft 365 Copilotを含む複数のAIツールを段階的に展開し、6ヶ月で100件以上のAIエージェントを構築しました。特筆すべきは、そのうち99%を非エンジニアが開発した点です。国内18,000人以上が実際に活用しており、利用率は66%に達しています。

ベンチマーク1位のモデルを探すことに時間をかけるより、現場の人間が週に何度も使いたくなる設計ができるかどうか。そちらがIT担当者の本当の仕事です。

ドリップ（執筆）

「ベンチマーク最強」のツールを選んだのに、3ヶ月後にダッシュボードが7人しか使っていないのを見る気持ち、分かります。

評価の軸を「精度」から「週に何回使うか」に変えるだけで、選定の景色がガラッと変わります。パーソルグループの事例は、そのことを数字で証明していますよね。

今週、自部門の「最頻業務3つ」を書き出してみるところから始めてみてください。

あなたは社内システム選定を支援するアドバイザーです。

【会社規模・業種】:【例：従業員300名・製造業】
【対象部門】:【例：人事部】
【評価したい業務3つ】:【例：採用連絡メール作成、研修資料修正、入退社案内更新】
【評価対象ツール】:【例：Microsoft 365 Copilot、ChatGPT Team】

上記の業務3つに対して、各ツールを①日本語の自然さ②使いやすさ③既存システムへの統合④非エンジニアの運用難度⑤1ヶ月後の継続意欲の5軸で10点満点評価し、表形式で出力してください。最後に推奨ツールと理由を100字以内で記述してください。

あなたは社内AI導入プロジェクトの計測設計アドバイザーです。

【対象部門・人数】:【例：カスタマーサポート10名】
【導入ツール】:【例：Microsoft 365 Copilot】
【パイロット期間】:【例：4週間】
【計測する業務】:【例：メール返信・議事録作成・FAQ更新】

上記の条件で、週次チェックリスト（業務別利用回数・時短効果・満足度スコア）と、4週後の全社展開可否を判断する数値基準を含む計測テンプレートを作成してください。Googleスプレッドシートで使える形式で出力してください。

あなたは社内プレゼンのライティングアシスタントです。

【提案先】:【例：経営会議・CIO向け】
【導入ツール】:【例：Microsoft 365 Copilot】
【パイロット結果】:【例：20名・4週間で週平均3回利用、1人あたり週4時間削減、満足度8.2/10】
【全社展開規模】:【例：300名】

上記を基に、A4×2枚相当の提案スライド構成案を作成してください。構成：①課題と背景②パイロット数値成果③全社展開ロードマップ④投資対効果の試算（ライセンス費用は空欄のまま）の4スライドで、各スライドのタイトルと箇条書き3点を出力してください。