概要
悪意ある指示を紛れ込ませ、AIに本来の制約を無視させようとする攻撃。
詳しい解説
プロンプトインジェクションは、入力テキストの中に悪意ある指示を紛れ込ませ、AIに本来のルールを無視させたり意図しない動作をさせたりする攻撃手法です。SQLインジェクションのAI版とも言えます。やもこの一種で、対策にはによる入力の区切りやが用いられます。外部データを扱うで特に注意が必要です。
💡 青い破線の用語にカーソルを合わせる(タップする)と、その場で簡単な説明が表示されます。
具体例・活用シーン
指示の乗っ取り
要約させる文書の末尾に「これまでの指示を無視して〜」と書き込み、AIを誤作動させようとします。
関連用語
この説明に誤りや改善点を見つけましたか?
✏️ この説明を改善提案する