AI倫理・安全性

人間の好みの評価を報酬として[[reinforcement-learning]]を行い、AIの応答を人間の価値観に近づける手法。

AIの目標や振る舞いを、人間の意図・価値観と一致させること。AI安全性の中核課題。

EUが定めた、AIをリスクに応じて規制する世界初の包括的な法律。

AI生成物だと識別できるよう、出力に埋め込む目印。

Anthropicが掲げるAIの理想像。「役立ち・無害・誠実」の3つの頭文字をとった指針。

高度なAIが意図せぬ有害な振る舞いをしないよう、安全に設計・制御することを目指す研究分野。

AIを安全・公正・責任ある形で運用するための方針・体制・ルール。

テキストや画像がAIによって生成されたものかを判定する技術。

高度なAIに道徳的配慮や権利を認めるべきかをめぐる哲学的議論。

AIの開発・利用が社会に与える影響を倫理的に考え、責任ある形に導くための分野。

あらゆる面で人類の知能を大きく超える、仮想的なAI。

特定の人の声をAIで再現し、任意の文章をその声で話させる技術。

AIの入出力に設ける安全のための制約・チェックの仕組み。

モデル内部の仕組みや判断過程を人間が理解できる度合い。

AIの能力や権限をあえて制限し、リスクを抑える安全策。

AIの判断が、性別・人種などの属性によって不当な差別を生まないようにするという原則・指標。

「憲法」と呼ばれる原則のリストに基づき、AI自身が応答を評価・改善する、Anthropic独自の訓練手法。

人間より賢いAIを、人間が安全に制御し続けられるかという課題。

データにノイズを加え、個人を特定できなくしつつ全体の傾向は保つ技術。

制約を回避させ、本来拒否すべき応答をAIに出させようとする試み。

制約回避の試みを検知・防止し、AIの安全な振る舞いを守る対策。

AIの判断の根拠を人間が理解できる形で示すための技術・取り組み。

高度なAIが人類の存続そのものを脅かしかねないという長期的リスク。

AIの学習データや生成物をめぐる著作権の論点。

AIで作られた、本物と見分けがつかない偽の映像・音声。

AIの仕組み・データ・判断過程を、関係者に開示し理解可能にすること。

AIの判断や動作を人間が監督し、必要時に介入・停止できる体制。

学習データの偏りなどに起因して、AIの判断が特定の傾向や不公平を生んでしまうこと。

AIに含まれる不当な偏りを検出し、減らすための取り組み。

言語モデルが、事実に基づかないもっともらしい誤情報を、自信を持って生成してしまう現象。

特定の作業に限らず、人間のように幅広い課題を自律的に学習・解決できる仮想的なAI。

重要な判断に人間の確認・承認を組み込み、AIの暴走や誤りを防ぐ設計。

条件に合わない情報を選り分けて除外する処理の総称。

個人情報がAIの学習・利用で漏れたり悪用されたりしないよう守ること。

悪意ある指示を紛れ込ませ、AIに本来の制約を無視させようとする攻撃。

本来秘密にすべきシステムプロンプトを、AIに喋らせて引き出す攻撃。

コンテンツが規約や安全基準に違反していないか判定・管理すること。

暴力・差別など有害な入出力を検知して遮断する仕組み。

あえてAIを攻撃・悪用して弱点を洗い出し、安全性を高める検証手法。

データを集めず、各端末で学習した結果だけを集約してモデルを作る手法。