トークン

トークンは、大規模言語モデルがテキストを処理する際の最小単位です。トークン化によって文章が分割された一つひとつの断片で、英単語1語や、単語の一部、句読点などに相当します。目安として、英語では1単語が約1〜2トークン、日本語では1文字が1〜2トークン程度です。一度に扱えるトークン数の上限がコンテキストウィンドウで、APIの料金もトークン数で計算されます。

💡 青い破線の用語にカーソルを合わせる(タップする)と、その場で簡単な説明が表示されます。