検索

AIの目標や振る舞いを、人間の意図・価値観と一致させること。AI安全性の中核課題。

既存データに変形を加えて学習データを水増しし、性能を高める手法。

外部の知識を検索してプロンプトに与え、その情報をもとにAIに回答させる手法。最新情報や社内文書に強い。

特定の作業に限らず、人間のように幅広い課題を自律的に学習・解決できる仮想的なAI。

Anthropicが掲げるAIの理想像。「役立ち・無害・誠実」の3つの頭文字をとった指針。

モデル内部の仕組みや判断過程を人間が理解できる度合い。

高度なAIが人類の存続そのものを脅かしかねないという長期的リスク。

人間より賢いAIを、人間が安全に制御し続けられるかという課題。

高度なAIが意図せぬ有害な振る舞いをしないよう、安全に設計・制御することを目指す研究分野。

「憲法」と呼ばれる原則のリストに基づき、AI自身が応答を評価・改善する、Anthropic独自の訓練手法。

人間の好みの評価を報酬として[[reinforcement-learning]]を行い、AIの応答を人間の価値観に近づける手法。

実データの代わりにAIが人工的に作り出す学習用データ。