検索

リクエストから応答が返るまでの待ち時間。短いほど快適。

同じ問題を複数回解かせ、多数決で最も一貫した答えを採用する手法。

AIの仕組み・データ・判断過程を、関係者に開示し理解可能にすること。

データの本質的な特徴を圧縮して表す、低次元の抽象的な空間。

学習済みモデルに入力を与えて、予測や生成の結果を得ること。

生成しながら逐次テキストを返す方式。体感の待ち時間を短くできる。

意味を保ちつつプロンプトを短くし、トークン消費とコストを減らす手法。

単位時間あたりに処理できる量。システムの処理能力を表す。

学習済みモデルを本番環境で稼働させ、推論を提供すること。

リクエストが来るたびに即座に1件ずつ推論する方式。対話向き。

NVIDIA製の推論高速化エンジン。GPU上で推論を最適化する。

モデルを事前に読み込んで待機させ、即座に応答できる状態。

稼働中のモデルの性能・コスト・異常を継続的に監視すること。

繰り返し使う長いプロンプトをキャッシュし、コストと応答時間を削減する仕組み。

データを潜在空間に圧縮・復元しながら、新しいデータを生成するモデル。

AIの判断の根拠を人間が理解できる形で示すための技術・取り組み。

AIを安全・公正・責任ある形で運用するための方針・体制・ルール。