概要
文章を[[token]]という処理の最小単位に分割すること。言語モデルが文を扱う最初のステップ。
詳しい解説
トークン化(トークナイゼーション)は、文章をと呼ばれる小さな単位に分割する処理です。は文字や単語をそのまま扱うのではなく、まずこのトークンに変換してから処理します。日本語では1文字が複数トークンになることもあり、トークン数はの制限や料金計算の基準にもなります。
💡 青い破線の用語にカーソルを合わせる(タップする)と、その場で簡単な説明が表示されます。
具体例・活用シーン
分割の例
英語の「unbelievable」は「un」「believ」「able」のように複数トークンに分かれることがあります。
関連用語
この説明に誤りや改善点を見つけましたか?
✏️ この説明を改善提案する