概要
損失関数の傾き(勾配)をたどって、誤差が最小になる方向へパラメータを少しずつ更新する最適化手法。
詳しい解説
勾配降下法は、モデルの誤差(損失)を最小化するための最適化アルゴリズムです。損失関数を山の地形にたとえると、現在地点の傾き(勾配)を計算し、最も急に下る方向へ一歩ずつ進んで谷底(最小値)を目指します。一歩の大きさは(学習率)で決まり、大きすぎると発散し、小さすぎると学習が遅くなります。で求めた勾配を使って、の重みを更新する際に用いられます。
💡 青い破線の用語にカーソルを合わせる(タップする)と、その場で簡単な説明が表示されます。
具体例・活用シーン
学習率の影響
学習率が大きすぎると谷を飛び越えてしまい、小さすぎると収束に時間がかかります。適切な調整が重要です。
関連用語
この説明に誤りや改善点を見つけましたか?
✏️ この説明を改善提案する