概要
同一の文の中で、各単語が他のすべての単語との関連度を計算するアテンションの一種。
詳しい解説
セルフアテンション(自己注意)は、ひとつの入力文の中で、各単語が同じ文の他のすべての単語に対してどれだけ関連するかを計算するの一形態です。これにより、離れた位置にある単語同士の関係も直接捉えられます。の各層で繰り返し適用され、文脈を深く理解する原動力になっています。
💡 青い破線の用語にカーソルを合わせる(タップする)と、その場で簡単な説明が表示されます。
具体例・活用シーン
並列処理の利点
文中の全単語の関係を一度に計算できるため、従来の逐次処理より高速に学習できます。
関連用語
この説明に誤りや改善点を見つけましたか?
✏️ この説明を改善提案する