トークン(Token)とは(とーくん)

背景・由来

トークンは、大規模言語モデル(LLM)が文章を理解・生成するために文字列を分割した最小単位を指します。人間は文章を「単語」や「文」で捉えますが、AIは文章をトークンという細かな断片に分けて処理します。英語ではおおむね1単語が1〜2トークン、日本語では1文字が1〜2トークン程度になることが多く、言語や内容によって変動します。

この仕組みが経営に関わるのは、ほとんどの生成AIサービス(ChatGPT、Gemini、Claude などのAPI)が「トークン数」を課金の基準にしているためです。入力した文章(プロンプト)と、AIが出力した文章の両方のトークン数を合算し、単価をかけて料金が決まります。つまりトークンは、AI活用のコストを左右する「単位」そのものなのです。

具体例

例えば「AIを経営に活かす」という短い日本語でも、数トークンから十数トークンに分解されます。長い契約書や議事録をAIに要約させれば、入力トークンだけで数千〜数万に達することもあります。

• 入力トークン:AIに渡す指示や資料の文章量
• 出力トークン:AIが生成した回答の文章量
• コンテキスト長(上下限):一度に扱えるトークンの上限。これを超える長文は分割が必要

たとえば大量の社内文書を毎日AIに処理させる業務では、トークン数が積み重なり月額コストが想定を超えることがあります。逆に、指示文を簡潔にする、不要な資料を渡さないといった工夫でトークン数を減らせば、精度を保ちつつコストを抑えられます。

経営者が知っておくべきこと

第一に、生成AI導入のコスト試算にはトークン単位の理解が欠かせません。「1件あたり何トークン処理し、月間何件か」を掛け合わせれば、おおよその費用が見積もれます。定額プランと従量課金APIのどちらが自社に合うかも、この視点で判断できます。

第二に、トークンには上限があるため、扱える文書量に限界がある点を理解しておく必要があります。長大な資料をそのまま投入できないケースでは、要約や分割、検索併用(RAG)といった設計上の工夫が求められます。

第三に、モデルによってトークンあたりの単価も、日本語の分割効率も異なります。高性能モデルは単価が高い傾向があるため、業務の重要度に応じてモデルを使い分けることがコスト最適化につながります。トークンを「AI活用の従量メーター」と捉え、業務設計に組み込む視点が経営者には有効です。