検索

大量のデータをまとめて一括で推論する方式。効率とコストに優れる。

リクエストが来るたびに即座に1件ずつ推論する方式。対話向き。

学習済みモデルに入力を与えて、予測や生成の結果を得ること。

単位時間あたりに処理できる量。システムの処理能力を表す。

パラメータの数値精度を下げてモデルを軽量化し、省メモリ・高速化する技術。

入力ごとに一部の専門家(サブネットワーク)だけを使い、効率的に大規模化する設計。

リクエストから応答が返るまでの待ち時間。短いほど快適。

大量の並列計算が得意な演算装置。AIの学習・推論に不可欠。

AWS・GCP・Azureなどクラウド上でAIの学習・推論を行う形態。

学習済みモデルを本番環境で稼働させ、推論を提供すること。

学習フレームワーク間でモデルを共通形式で受け渡すための標準。

NVIDIA製の推論高速化エンジン。GPU上で推論を最適化する。

LLMの推論を高速・高効率に行うための人気の推論サーバー。

モデルを事前に読み込んで待機させ、即座に応答できる状態。

Mistral AIが公開した、混合エキスパート(MoE)採用のオープンモデル。