レイテンシ(応答速度)

レイテンシは、リクエストを送ってから応答が返り始める・返り終わるまでの待ち時間です。短いほど快適で、特に対話型アプリでは体験を大きく左右します。ストリーミング出力で体感を改善したり、量子化やスモールランゲージモデル(SLM)で推論を高速化したりして短縮します。処理量を表すスループットと並ぶ重要な性能指標です。

💡 青い破線の用語にカーソルを合わせる(タップする)と、その場で簡単な説明が表示されます。