概要
好まれた応答を直接学習し、報酬モデルなしで人間の好みに合わせる手法。
詳しい解説
DPOは、「どちらの応答が好まれたか」という人間の選好データから、報酬モデルを別途作らずに直接を最適化する手法です。複雑な強化学習()を使うより仕組みがシンプルで安定しやすく、近年広く使われています。目的は同じく、モデルを人間の好みに沿った応答へ導くことです。
💡 青い破線の用語にカーソルを合わせる(タップする)と、その場で簡単な説明が表示されます。
具体例・活用シーン
好みを直接学ぶ
「AよりBの回答が良い」という比較データから、好まれる方を出しやすいように直接調整します。
関連用語
この説明に誤りや改善点を見つけましたか?
✏️ この説明を改善提案する