SFT(教師ありファインチューニング)

ファインチューニング

事前学習済みのモデルを、特定タスク向けの追加データで再訓練し、専門特化させる手法。

インストラクションチューニング

指示と理想の応答のペアで学習させ、指示に従う能力を高める手法。

人間のフィードバックによる強化学習

人間の好みの評価を報酬として[[reinforcement-learning]]を行い、AIの応答を人間の価値観に近づける手法。

DPO(直接選好最適化)

好まれた応答を直接学習し、報酬モデルなしで人間の好みに合わせる手法。