検索

意味を保ちつつプロンプトを短くし、トークン消費とコストを減らす手法。

モデルを小さく軽くする技術の総称。量子化・蒸留・枝刈りなど。

悪意ある指示を紛れ込ませ、AIに本来の制約を無視させようとする攻撃。

処理で使われたトークンの総量。API料金の算定基準になる。

GPUに搭載されたメモリ。扱えるモデルやバッチの大きさを決める。

クラウドに送らず、現場の機器側でAI処理を行う形態。

重要度の低い重みや接続を削り、モデルを軽量化する技術。