検索

リクエストから応答が返るまでの待ち時間。短いほど快適。

同一の文の中で、各単語が他のすべての単語との関連度を計算するアテンションの一種。

複数のアテンションを並列に走らせ、多様な観点から単語間の関係を捉える仕組み。

入力の中で「どこに注目すべきか」を動的に重み付けする仕組み。Transformerの心臓部。

1バッチを処理してパラメータを1回更新する、学習の最小ステップ。