検索

モデルを小さく軽くする技術の総称。量子化・蒸留・枝刈りなど。

意味を保ちつつプロンプトを短くし、トークン消費とコストを減らす手法。

GPUに搭載されたメモリ。扱えるモデルやバッチの大きさを決める。

クラウドに送らず、現場の機器側でAI処理を行う形態。

重要度の低い重みや接続を削り、モデルを軽量化する技術。

処理で使われたトークンの総量。API料金の算定基準になる。