検索

モデルが学習を通じて獲得する内部の数値。重みやバイアスの総称。

ニューラルネットワークの各接続が持つ、入力信号の重要度を表すパラメータ。学習で調整される。

学習を始める前に人間が設定する、学習の進め方を制御する値。

モデルの一部のパラメータだけを更新し、低コストでファインチューニングする手法群。

学習中のモデルの性能を確認し、ハイパーパラメータの調整に使うデータ。訓練には直接使わない。

勾配降下法で、一度の更新でパラメータをどれだけ動かすかを決めるハイパーパラメータ。

パラメータ数を抑えた小型の言語モデル。端末上での動作や低コスト運用に向く。

出力のランダム性(多様さ)を調整するパラメータ。高いほど創造的。

損失関数の傾き(勾配)をたどって、誤差が最小になる方向へパラメータを少しずつ更新する最適化手法。

損失関数を最小化するよう、モデルのパラメータを調整していく過程。

1回のパラメータ更新でまとめて処理する訓練データの件数。

1バッチを処理してパラメータを1回更新する、学習の最小ステップ。

ニューロンの出力に加える調整用の定数。重みとは別に学習されるパラメータ。

パラメータの数値精度を下げてモデルを軽量化し、省メモリ・高速化する技術。

モデルが複雑になりすぎるのを抑え、過学習を防ぐための工夫の総称。

入力ごとに一部の専門家(サブネットワーク)だけを使い、効率的に大規模化する設計。

画像生成で、プロンプトにどれだけ忠実に従わせるかを調整する強度。