検索

負荷に応じて計算資源を自動で増減させる仕組み。

AWS・GCP・Azureなどクラウド上でAIの学習・推論を行う形態。

学習済みモデルを本番環境で稼働させ、推論を提供すること。

多数のコンテナの配置・スケール・運用を自動化する基盤。

リクエストが来るたびに即座に1件ずつ推論する方式。対話向き。

停止状態から起動・モデル読み込みを経て応答するまでの遅延。

リクエストを複数のサーバーに振り分け、負荷の集中を防ぐ仕組み。