検索

文章をトークンに分割する処理プログラム。LLMの入口を担う。

文章を[[token]]という処理の最小単位に分割すること。言語モデルが文を扱う最初のステップ。

人間が日常使う言葉(自然言語)をコンピュータに理解・生成させるための技術分野。

言語モデルがテキストを処理する際の最小単位。単語や単語の一部、記号などに相当する。