検索

文章を[[token]]という処理の最小単位に分割すること。言語モデルが文を扱う最初のステップ。

文章をトークンに分割する処理プログラム。LLMの入口を担う。