推論

推論は、学習を終えたモデルに新しい入力を与えて、予測・分類・生成の結果を得る処理です。学習(訓練)が「賢くする段階」なら、推論は「実際に使う段階」にあたります。チャットでAIが回答を返すのも推論です。サービスでは推論の速度(レイテンシ(応答速度))とコストが重要で、量子化などで効率化します。

💡 青い破線の用語にカーソルを合わせる(タップする)と、その場で簡単な説明が表示されます。