検索

同一の文の中で、各単語が他のすべての単語との関連度を計算するアテンションの一種。

入力の中で「どこに注目すべきか」を動的に重み付けする仕組み。Transformerの心臓部。

複数のアテンションを並列に走らせ、多様な観点から単語間の関係を捉える仕組み。

AIが自分の誤りに気づき、自ら訂正する能力。

[[attention]]機構を中核とする深層学習アーキテクチャ。現代のLLMの基盤となっている。

単語の並び順の情報を、Transformerが扱えるようベクトルに埋め込む仕組み。

LLMの推論を高速・高効率に行うための人気の推論サーバー。

AIが自分の出力や手順を振り返り、改善点を見つけて修正する仕組み。

処理中の失敗を検知し、適切に対処してシステムを止めない仕組み。