トークン
とーくん
Token
一言でいうと
AIが文章を処理するときの「文字の単位」。APIの課金単位でもある。
詳しい意味
トークンは、LLM（大規模言語モデル）が文章を理解・生成する際に使う最小単位です。英語では1単語が約1トークン、日本語では1文字が約1〜2トークンになります。OpenAIやAnthropicのAPIは、入力トークン数と出力トークン数に基づいて課金されます。
何に使うか
AIのAPIコスト計算。入力テキストの長さ制限。モデルの能力評価。
どんな時に出るか
「トークン数を確認する」「コンテキストウィンドウが128Kトークン」「トークン単価」といった場面で登場します。
具体例
- GPT-4のAPIは入力1Kトークンあたり約3円で課金される。
- 長い文章を入力するとトークン数が増え、APIの利用料金が上がる。
初心者向けメモ
トークンは「AIの読み書きの単位」です。英語の「Hello」は1トークン、日本語の「こんにちは」は数トークンになります。AI APIの料金はこの単位で計算されます。