検索

Anthropicが掲げるAIの理想像。「役立ち・無害・誠実」の3つの頭文字をとった指針。

「憲法」と呼ばれる原則のリストに基づき、AI自身が応答を評価・改善する、Anthropic独自の訓練手法。

複数のAI・ツール・処理の流れを統括し、全体を協調させる制御。

構成要素を一つずつ取り除き、各部分の貢献度を調べる検証手法。

ある言語の文章を別の言語に変換すること。NLPの代表的応用。

AIの目標や振る舞いを、人間の意図・価値観と一致させること。AI安全性の中核課題。

Anthropicが開発する大規模言語モデル。安全性と有用性の両立を重視して設計されている。

[[claude]]を開発するAI企業。AIの安全性研究を重視する方針で知られる。

制約を回避させ、本来拒否すべき応答をAIに出させようとする試み。

複数のAIエージェントが役割分担・協調して課題を解決する仕組み。

定型業務の一連の流れを、AIやツールの連携で自動的に処理すること。

複数の処理を同時に走らせ、全体の処理時間を短縮すること。

あえてAIを攻撃・悪用して弱点を洗い出し、安全性を高める検証手法。

制約回避の試みを検知・防止し、AIの安全な振る舞いを守る対策。

LLMアプリ開発を支援する人気フレームワーク。RAGやエージェント構築に使う。

高度なAIが意図せぬ有害な振る舞いをしないよう、安全に設計・制御することを目指す研究分野。

人間の好みの評価を報酬として[[reinforcement-learning]]を行い、AIの応答を人間の価値観に近づける手法。