概要
「憲法」と呼ばれる原則のリストに基づき、AI自身が応答を評価・改善する、Anthropic独自の訓練手法。
詳しい解説
Constitutional AI(CAI)は、がの訓練に用いる手法です。「憲法(Constitution)」と呼ばれる原則の集まりを与え、AI自身が自らの応答をその原則に照らして批評・修正します。人間の評価に大きく依存すると比べ、人間のラベル付け負担を減らしつつ、有害な出力を抑える狙いがあります。を実現する代表的アプローチのひとつです。
💡 青い破線の用語にカーソルを合わせる(タップする)と、その場で簡単な説明が表示されます。
具体例・活用シーン
自己批評
AIが自分の回答を「この原則に反していないか」と自らチェックし、より無害な回答へ書き直します。
関連用語
Anthropic
[[claude]]を開発するAI企業。AIの安全性研究を重視する方針で知られる。
Claude
Anthropicが開発する大規模言語モデル。安全性と有用性の両立を重視して設計されている。
人間のフィードバックによる強化学習
人間の好みの評価を報酬として[[reinforcement-learning]]を行い、AIの応答を人間の価値観に近づける手法。
アライメント
AIの目標や振る舞いを、人間の意図・価値観と一致させること。AI安全性の中核課題。
HHH(Helpful・Harmless・Honest)
Anthropicが掲げるAIの理想像。「役立ち・無害・誠実」の3つの頭文字をとった指針。
この説明に誤りや改善点を見つけましたか?
✏️ この説明を改善提案する