概要
単語の並び順の情報を、Transformerが扱えるようベクトルに埋め込む仕組み。
詳しい解説
位置エンコーディングは、に単語の「順番」を伝えるための仕組みです。は単語を一度に並列処理するため、そのままでは語順を区別できません。そこで各の位置情報をに加算し、「何番目の単語か」を認識できるようにします。
💡 青い破線の用語にカーソルを合わせる(タップする)と、その場で簡単な説明が表示されます。
具体例・活用シーン
語順の区別
「犬が猫を追う」と「猫が犬を追う」を区別するために、位置情報が不可欠です。
関連用語
この説明に誤りや改善点を見つけましたか?
✏️ この説明を改善提案する