検索

大きな教師モデルの知識を、小さな生徒モデルに移して軽量化する手法。

AIに含まれる不当な偏りを検出し、減らすための取り組み。

パラメータ数を抑えた小型の言語モデル。端末上での動作や低コスト運用に向く。

モデル規模・データ量・計算量を増やすほど性能が予測的に向上する経験則。

モデルを小さく軽くする技術の総称。量子化・蒸留・枝刈りなど。

重要度の低い重みや接続を削り、モデルを軽量化する技術。