検索

NVIDIA製の推論高速化エンジン。GPU上で推論を最適化する。

パラメータの数値精度を下げてモデルを軽量化し、省メモリ・高速化する技術。

LLMの推論を高速・高効率に行うための人気の推論サーバー。

学習済みモデルに入力を与えて、予測や生成の結果を得ること。

拡散モデルで、各ステップでどれだけノイズを加除するかの計画。

リクエストから応答が返るまでの待ち時間。短いほど快適。

モデルを小さく軽くする技術の総称。量子化・蒸留・枝刈りなど。

重要度の低い重みや接続を削り、モデルを軽量化する技術。