概要
繰り返し使う長いプロンプトをキャッシュし、コストと応答時間を削減する仕組み。
詳しい解説
プロンプトキャッシングは、何度も使う共通の長い(システムプロンプトや大きな文書)をサーバー側でキャッシュし、再処理を省く仕組みです。同じ前置きを繰り返し送る用途で、コストと(応答時間)を大きく削減できます。Claude APIなどが対応しています。
💡 青い破線の用語にカーソルを合わせる(タップする)と、その場で簡単な説明が表示されます。
具体例・活用シーン
共通前置きの再利用
毎回同じマニュアルを読ませる場合、その部分をキャッシュすれば2回目以降が安く速くなります。
関連用語
この説明に誤りや改善点を見つけましたか?
✏️ この説明を改善提案する