ソフトマックス関数

ソフトマックス関数は、複数の数値を受け取り、合計が1になる確率の分布に変換する関数です。多クラス分類の出力層で、各クラスの確率を求めるのに使われます。大規模言語モデルが次のトークンを選ぶ際も、全語彙に対するソフトマックスで確率を計算し、その分布から単語を選びます。温度(Temperature)はこの分布の鋭さを調整します。

💡 青い破線の用語にカーソルを合わせる(タップする)と、その場で簡単な説明が表示されます。