オンデマンド推論

On-demand Inference

読み: おんでまんどすいろん

概要

リクエストが来るたびに即座に1件ずつ推論する方式。対話向き。

オンデマンド推論は、リクエストが来るたびにその場で即座にを行う方式です。チャットなど即応性が必要な用途に向きます。応答の速さ()が重視され、まとめて処理するとは対照的です。需要変動にはで対応します。

💡 青い破線の用語にカーソルを合わせる(タップする)と、その場で簡単な説明が表示されます。

ユーザーが質問するたびにリアルタイムで回答を生成するのがオンデマンド推論です。