検索

エージェントが環境の中で試行錯誤し、報酬を最大化する行動を学んでいく機械学習の枠組み。

人間の好みの評価を報酬として[[reinforcement-learning]]を行い、AIの応答を人間の価値観に近づける手法。

あるタスクで学習済みのモデルを、別の関連タスクに転用して効率的に学習する手法。

強化学習の代表的アルゴリズム。RLHFでモデルを安定的に更新するのに使われる。

APIにアクセスするための接続先URL。リクエストの宛先。

事前学習済みのモデルを、特定タスク向けの追加データで再訓練し、専門特化させる手法。

AIの目標や振る舞いを、人間の意図・価値観と一致させること。AI安全性の中核課題。

大量の汎用データでモデルに基礎的な知識・能力を獲得させる最初の学習段階。

指示と理想の応答のペアで学習させ、指示に従う能力を高める手法。

理想的な応答例を正解として学習させる、ファインチューニングの基本段階。

好まれた応答を直接学習し、報酬モデルなしで人間の好みに合わせる手法。

「憲法」と呼ばれる原則のリストに基づき、AI自身が応答を評価・改善する、Anthropic独自の訓練手法。