概要
複数のアテンションを並列に走らせ、多様な観点から単語間の関係を捉える仕組み。
詳しい解説
マルチヘッドアテンションは、を複数(ヘッド)並列に実行し、それぞれ異なる観点で単語間の関係を捉えるの中核機構です。あるヘッドは文法的な係り受け、別のヘッドは意味的な関連、というように役割分担することで、豊かな文脈理解が可能になります。
💡 青い破線の用語にカーソルを合わせる(タップする)と、その場で簡単な説明が表示されます。
具体例・活用シーン
複数の視点
1つの注意だけでなく、8個・16個と並列に注目させることで、文の多面的な関係を同時に学べます。
関連用語
この説明に誤りや改善点を見つけましたか?
✏️ この説明を改善提案する