検索

高度なAIが意図せぬ有害な振る舞いをしないよう、安全に設計・制御することを目指す研究分野。

AIの目標や振る舞いを、人間の意図・価値観と一致させること。AI安全性の中核課題。

[[claude]]を開発するAI企業。AIの安全性研究を重視する方針で知られる。

Anthropicが開発する大規模言語モデル。安全性と有用性の両立を重視して設計されている。

あえてAIを攻撃・悪用して弱点を洗い出し、安全性を高める検証手法。

AIを安全・公正・責任ある形で運用するための方針・体制・ルール。

制約回避の試みを検知・防止し、AIの安全な振る舞いを守る対策。

特定の作業に限らず、人間のように幅広い課題を自律的に学習・解決できる仮想的なAI。

AIの役割・口調・制約など、全体的な振る舞いをあらかじめ指定する特別なプロンプト。

制約を回避させ、本来拒否すべき応答をAIに出させようとする試み。

人間が実際に出力を見て品質を判断する、最も信頼性の高い評価。

条件に合わない情報を選り分けて除外する処理の総称。

モデル内部の仕組みや判断過程を人間が理解できる度合い。