検索

「憲法」と呼ばれる原則のリストに基づき、AI自身が応答を評価・改善する、Anthropic独自の訓練手法。

画像認識で威力を発揮する深層学習モデル。フィルタで局所的な特徴を段階的に抽出する。

AIの目標や振る舞いを、人間の意図・価値観と一致させること。AI安全性の中核課題。

Anthropicが開発する大規模言語モデル。安全性と有用性の両立を重視して設計されている。

[[claude]]を開発するAI企業。AIの安全性研究を重視する方針で知られる。

Anthropicが掲げるAIの理想像。「役立ち・無害・誠実」の3つの頭文字をとった指針。

制約を回避させ、本来拒否すべき応答をAIに出させようとする試み。

あえてAIを攻撃・悪用して弱点を洗い出し、安全性を高める検証手法。

制約回避の試みを検知・防止し、AIの安全な振る舞いを守る対策。

高度なAIが意図せぬ有害な振る舞いをしないよう、安全に設計・制御することを目指す研究分野。

人間の好みの評価を報酬として[[reinforcement-learning]]を行い、AIの応答を人間の価値観に近づける手法。