概要
パラメータの数値精度を下げてモデルを軽量化し、省メモリ・高速化する技術。
詳しい解説
量子化は、モデルのを表す数値の精度(ビット数)を下げて、サイズとメモリ消費を減らす技術です。例えば32ビットを8ビットや4ビットに落とすことで、の節約との高速化を実現します。精度低下による性能劣化を最小限に抑えるのが工夫のしどころで、やローカル実行で重宝されます。
💡 青い破線の用語にカーソルを合わせる(タップする)と、その場で簡単な説明が表示されます。
具体例・活用シーン
4bit量子化
大型モデルを4ビットに量子化すると、必要なメモリが数分の一になり、個人PCでも動かしやすくなります。
関連用語
この説明に誤りや改善点を見つけましたか?
✏️ この説明を改善提案する