深層学習

入力の中で「どこに注目すべきか」を動的に重み付けする仕組み。Transformerの心臓部。

単語の並び順の情報を、Transformerが扱えるようベクトルに埋め込む仕組み。

訓練データ全体を1回学習し終える単位。学習の繰り返し回数を表す。

ニューラルネットワークの各接続が持つ、入力信号の重要度を表すパラメータ。学習で調整される。

ノイズを少しずつ除去する過程を学習し、高品質な画像などを生成する生成モデル。

勾配降下法で、一度の更新でパラメータをどれだけ動かすかを決めるハイパーパラメータ。

ニューロンの出力に非線形性を加え、ネットワークが複雑なパターンを表現できるようにする関数。

生成役と判別役を競わせて、本物そっくりのデータを生成する手法。

損失関数の傾き(勾配)をたどって、誤差が最小になる方向へパラメータを少しずつ更新する最適化手法。

出力の誤差を出力層から入力層へ逆向きに伝え、各[[weight]]を効率的に更新する学習アルゴリズム。

損失関数を最小化するよう、モデルのパラメータを調整していく過程。

入力を0〜1の範囲のなめらかな値に変換する活性化関数。確率の表現に使われる。

データ自身から擬似的な正解を自動生成し、人手のラベルなしで学習する手法。

多層の[[neural-network]]を用いて、データから複雑な特徴を自動的に学習する機械学習の一分野。

モデルが複雑になりすぎるのを抑え、過学習を防ぐための工夫の総称。

同一の文の中で、各単語が他のすべての単語との関連度を計算するアテンションの一種。

データの本質的な特徴を圧縮して表す、低次元の抽象的な空間。

複数の数値を、合計が1になる確率分布に変換する関数。多クラス分類の出力に使う。

モデルの予測と正解とのズレを数値化する関数。学習はこの値の最小化を目指す。

画像認識で威力を発揮する深層学習モデル。フィルタで局所的な特徴を段階的に抽出する。

ノイズを段階的に取り除く処理。拡散モデルが画像を生成する中核工程。

あるタスクで学習済みのモデルを、別の関連タスクに転用して効率的に学習する手法。

[[attention]]機構を中核とする深層学習アーキテクチャ。現代のLLMの基盤となっている。

学習中に一部のニューロンをランダムに無効化し、過学習を防ぐ正則化手法。

人間の脳の神経細胞(ニューロン)の仕組みを模倣・着想源とした、機械学習の数理モデル。

拡散モデルで、各ステップでどれだけノイズを加除するかの計画。

ニューロンの出力に加える調整用の定数。重みとは別に学習されるパラメータ。

1回のパラメータ更新でまとめて処理する訓練データの件数。

モデルが学習を通じて獲得する内部の数値。重みやバイアスの総称。

データを潜在空間に圧縮・復元しながら、新しいデータを生成するモデル。

複数のアテンションを並列に走らせ、多様な観点から単語間の関係を捉える仕組み。

入力ごとに一部の専門家(サブネットワーク)だけを使い、効率的に大規模化する設計。

「0より小さければ0、大きければそのまま」を返す、最も広く使われる活性化関数。