概要
入力の中で「どこに注目すべきか」を動的に重み付けする仕組み。Transformerの心臓部。
詳しい解説
アテンション(注意機構)は、入力の各部分に対して「どこをどれだけ重視するか」を動的に計算する仕組みです。たとえば「それ」が何を指すかを判断する際、文中の関連語に強く注目します。とりわけ同じ文の中で各単語が互いを参照しあうがの中核となり、長い文脈でも単語間の関係を捉えられるようになりました。
💡 青い破線の用語にカーソルを合わせる(タップする)と、その場で簡単な説明が表示されます。
具体例・活用シーン
代名詞の解決
「猫がボールを追いかけた。それは転がっていた」の「それ」がボールを指すと判断する際、アテンションが働きます。
関連用語
この説明に誤りや改善点を見つけましたか?
✏️ この説明を改善提案する