検索

学習済みモデルに入力を与えて、予測や生成の結果を得ること。

リクエストが来るたびに即座に1件ずつ推論する方式。対話向き。

大量のデータをまとめて一括で推論する方式。効率とコストに優れる。

好まれた応答を直接学習し、報酬モデルなしで人間の好みに合わせる手法。

モデルが自分の予測にどれだけ自信があるかを表す数値。

データにノイズを加え、個人を特定できなくしつつ全体の傾向は保つ技術。

エージェントが環境の中で試行錯誤し、報酬を最大化する行動を学んでいく機械学習の枠組み。

プログラム同士が機能をやり取りするための窓口・取り決め。

パラメータの数値精度を下げてモデルを軽量化し、省メモリ・高速化する技術。

入力ごとに一部の専門家(サブネットワーク)だけを使い、効率的に大規模化する設計。

リクエストから応答が返るまでの待ち時間。短いほど快適。

単位時間あたりに処理できる量。システムの処理能力を表す。

大量の並列計算が得意な演算装置。AIの学習・推論に不可欠。

AWS・GCP・Azureなどクラウド上でAIの学習・推論を行う形態。

学習済みモデルを本番環境で稼働させ、推論を提供すること。

学習フレームワーク間でモデルを共通形式で受け渡すための標準。

NVIDIA製の推論高速化エンジン。GPU上で推論を最適化する。

LLMの推論を高速・高効率に行うための人気の推論サーバー。

モデルを事前に読み込んで待機させ、即座に応答できる状態。

Mistral AIが公開した、混合エキスパート(MoE)採用のオープンモデル。

人間の好みの評価を報酬として[[reinforcement-learning]]を行い、AIの応答を人間の価値観に近づける手法。

大量のデータから規則やパターンをコンピュータ自身に学ばせ、予測や分類を行わせる手法。

強化学習の代表的アルゴリズム。RLHFでモデルを安定的に更新するのに使われる。

エージェントが取りうる行動の選択肢全体の範囲。

モデルの信頼度が、実際の正解率と一致するように調整すること。

個人情報がAIの学習・利用で漏れたり悪用されたりしないよう守ること。