概要
大きな教師モデルの知識を、小さな生徒モデルに移して軽量化する手法。
詳しい解説
蒸留(知識蒸留)は、高性能だが大きな「教師モデル」の振る舞いを、小さな「生徒モデル」に学ばせて、軽量ながら高性能なモデルを作る手法です。生徒は教師の出力を真似るように学習します。と並ぶ軽量化技術で、(小型言語モデル)を作る際にも使われます。
💡 青い破線の用語にカーソルを合わせる(タップする)と、その場で簡単な説明が表示されます。
具体例・活用シーン
大から小へ知識を移す
巨大モデルの判断を教師役にして小型モデルを訓練し、スマホでも動く高性能モデルを目指します。
関連用語
この説明に誤りや改善点を見つけましたか?
✏️ この説明を改善提案する