強化学習

人間の好みの評価を報酬として[[reinforcement-learning]]を行い、AIの応答を人間の価値観に近づける手法。

エージェントが取りうる行動の選択肢全体の範囲。

エージェントが環境の中で試行錯誤し、報酬を最大化する行動を学んでいく機械学習の枠組み。

強化学習の代表的アルゴリズム。RLHFでモデルを安定的に更新するのに使われる。