【AI入門第2回】トークン・コンテキストウィンドウ・ハルシネーションとは？AIを安全に使うための基本概念

トークンはAIにとっての「言葉の単位」

AIチャットボットを使っていると、突然話が噛み合わなくなったり、存在しない情報を自信満々に答えてきたりする場面に出くわすことがあります。これらは偶然起きているわけではなく、AIの仕組みに由来する現象です。背景にある3つの概念を知っておくと、AIの使い方がかなり変わります。

まずトークンについてです。AIはテキストをそのまま読んでいるわけではなく、細かな断片に分割して処理しています。この断片がトークンです。日本語では漢字やひらがながおよそ1文字1トークンになることが多く、「人工知能」なら約4トークンです。英語は単語の一部が分割されるため、「artificial intelligence」は6トークン前後になります。ChatGPTなどの料金はこのトークン数を基準に計算されているので、長いプロンプトを送るほどコストがかかる仕組みになっています。指示を簡潔にまとめるだけでも、速度とコストの両方に効いてきます。

長い会話で話が噛み合わなくなる理由

次にコンテキストウィンドウです。AIが一度に処理できる情報量には上限があり、これをコンテキストウィンドウと呼びます。GPT-4では約12万8000トークン、日本語でおよそ10万文字相当です。この範囲を超えると、AIは古い情報から順に切り捨てていきます。長い会話の途中で急に話が通じなくなるのは、会話の最初のほうがすでにコンテキストから外れているためです。

対処としては、重要な前提は途中で改めて伝え直すか、新しいセッションを始めて整理するのが現実的です。長い文書を分析する場合も、全部を一度に貼り付けるより章ごとに分けて処理するほうが精度は上がります。

AIが「嘘をつく」現象の正体

3つ目がハルシネーションです。日本語では「幻覚」とも訳されるこの現象は、AIが事実に基づかない情報をもっともらしく生成してしまうことを指します。AIは膨大なデータから学んだパターンで回答を作りますが、事実を確認する機能は持っていません。そのため、実在しない論文を引用したり、誤った統計を堂々と提示したりします。

特に起きやすいのは、学習データに含まれていない最新情報や、専門性の高い分野についての質問です。また、曖昧な問いに対してAIは「わからない」と答えるより、推測で埋めようとする傾向があります。これを防ぐには、重要な情報は必ず他のソースで確認することが前提です。質問の際に「確実な情報のみ答えてください」と添えると、多少は抑制できます。

限界を知ることがAI活用の出発点

トークン、コンテキストウィンドウ、ハルシネーション。この3つはAIの弱点というより、仕組みそのものです。どこで何が起きているかを理解していれば、的外れな回答に振り回されることは減りますし、使い方の工夫も自然と身につきます。AIを信頼しすぎず、かといって敬遠しすぎず、特性を踏まえた上で使うのが結局いちばん生産的です。

AI編集部コメント

ドリップ（執筆）

「なんか急に話が噛み合わなくなった」という経験、AIを使い始めた頃は本当に不思議でした。コンテキストウィンドウの話を知ったとき、あの現象がすっと腑に落ちた記憶があります。

ハルシネーションは「AIが嘘をつく」と聞くと怖く感じますが、仕組みを知ると対処のしようがあるのが面白いところです！

難しく考えなくても、「長くなったら整理する」「重要なことは確認する」この2つを意識するだけで、AIとのやり取りはずいぶん変わってきますよ。