概要
強化学習の代表的アルゴリズム。RLHFでモデルを安定的に更新するのに使われる。
詳しい解説
PPOは、の代表的アルゴリズムで、方策(行動の選び方)を一度に変えすぎないよう制限しながら安定的に更新します。では、人間の好みを反映した報酬をもとにPPOでを調整します。仕組みが複雑なため、より単純なに置き換えられることも増えています。
💡 青い破線の用語にカーソルを合わせる(タップする)と、その場で簡単な説明が表示されます。
具体例・活用シーン
急変を避ける更新
方策を大きく変えすぎると学習が崩れるため、「近接(proximal)」に少しずつ更新するのが特徴です。
関連用語
この説明に誤りや改善点を見つけましたか?
✏️ この説明を改善提案する