概要
高度なAIが意図せぬ有害な振る舞いをしないよう、安全に設計・制御することを目指す研究分野。
詳しい解説
AI安全性(AI Safety)は、強力なAIが人間の意図に反した有害な振る舞いをしないよう、安全に設計・制御する方法を研究する分野です。中心的課題が(AIの目標を人間の価値観と一致させること)です。Anthropicはこの分野を重視する企業として知られ、はその代表的なアプローチです。
💡 青い破線の用語にカーソルを合わせる(タップする)と、その場で簡単な説明が表示されます。
具体例・活用シーン
意図しない最適化
「ポイントを最大化せよ」と指示したら不正な抜け道を使う、といった想定外の挙動を防ぐのが安全性研究です。
関連用語
この説明に誤りや改善点を見つけましたか?
✏️ この説明を改善提案する