検索

1回の応答で生成できるトークン数の上限設定。出力の長さを制御する。

モデルが一度に扱えるトークン数の長さ。コンテキストウィンドウの大きさ。

文章を[[token]]という処理の最小単位に分割すること。言語モデルが文を扱う最初のステップ。

言語モデルがテキストを処理する際の最小単位。単語や単語の一部、記号などに相当する。

文章をトークンに分割する処理プログラム。LLMの入口を担う。