概要
文章をトークンに分割する処理プログラム。LLMの入口を担う。
詳しい解説
トークナイザは、文章をという単位に分割する(を行う)プログラムです。どんな単位で区切るかのルール(語彙)を持ち、テキストを数値IDの列に変換してに渡します。同じ文でもトークナイザが違えばトークン数が変わり、料金やの消費に影響します。
💡 青い破線の用語にカーソルを合わせる(タップする)と、その場で簡単な説明が表示されます。
具体例・活用シーン
サブワード分割
多くのトークナイザは未知語を「サブワード」に分解し、どんな単語もトークン列で表現できるようにします。
関連用語
この説明に誤りや改善点を見つけましたか?
✏️ この説明を改善提案する