AIインフラ

MicrosoftのクラウドAzure上でOpenAIのモデルを利用できるサービス。

大量データを高速に検索するために事前に整理した索引構造。

モデルを事前に読み込んで待機させ、即座に応答できる状態。

プログラム同士が機能をやり取りするための窓口・取り決め。

新旧バージョンを一部ユーザーに出し分けて比較しながら展開する手法。

パラメータ数を抑えた小型の言語モデル。端末上での動作や低コスト運用に向く。

クラウドに送らず、現場の機器側でAI処理を行う形態。

機械学習モデルの開発・デプロイ・運用・監視を継続的に回す方法論。

AIモデルを外部ツールやデータソースに接続するための、Anthropic提唱のオープンな標準規格。

処理中の失敗を検知し、適切に対処してシステムを止めない仕組み。

APIにアクセスするための接続先URL。リクエストの宛先。

複数のAI・ツール・処理の流れを統括し、全体を協調させる制御。

負荷に応じて計算資源を自動で増減させる仕組み。

学習フレームワーク間でモデルを共通形式で受け渡すための標準。

スマホなど端末の中だけでAIを動かす形態。通信不要でプライバシーに強い。

リクエストが来るたびに即座に1件ずつ推論する方式。対話向き。

NVIDIA製GPUで汎用計算を行うための開発基盤。AI計算の事実上の標準。

多数のコンテナの配置・スケール・運用を自動化する基盤。

AWS・GCP・Azureなどクラウド上でAIの学習・推論を行う形態。

停止状態から起動・モデル読み込みを経て応答するまでの遅延。

得られる性能・成果に対して、かかる費用がどれだけ少ないか。

アプリと実行環境をひとまとめにし、どこでも同じように動かす技術。

コードの統合・テスト・デプロイを自動化する開発手法。

大量の並列計算が得意な演算装置。AIの学習・推論に不可欠。

新モデルに本番と同じ入力を裏で流し、影響なく挙動を検証する手法。

学習済みモデルに入力を与えて、予測や生成の結果を得ること。

単位時間あたりに処理できる量。システムの処理能力を表す。

AWSが提供する、機械学習の構築・学習・デプロイの統合サービス。

Googleが開発した、機械学習計算に特化した専用プロセッサ。

NVIDIA製の推論高速化エンジン。GPU上で推論を最適化する。

コード・モデル・データの変更履歴を記録し、いつでも復元できる仕組み。

Google Cloudが提供する、AI開発・運用の統合プラットフォーム。

大量のデータをまとめて一括で推論する方式。効率とコストに優れる。

LLMの推論を高速・高効率に行うための人気の推論サーバー。

GPUに搭載されたメモリ。扱えるモデルやバッチの大きさを決める。

リクエストを複数のサーバーに振り分け、負荷の集中を防ぐ仕組み。

意味を保ちつつプロンプトを短くし、トークン消費とコストを減らす手法。

繰り返し使う長いプロンプトをキャッシュし、コストと応答時間を削減する仕組み。

複数の処理を同時に走らせ、全体の処理時間を短縮すること。

[[embedding]]で数値化したデータを保存し、意味の近さで高速に検索できるデータベース。RAGの基盤。

モデルを小さく軽くする技術の総称。量子化・蒸留・枝刈りなど。

学習済みモデルを本番環境で稼働させ、推論を提供すること。

重要度の低い重みや接続を削り、モデルを軽量化する技術。

学習済みモデルをバージョン管理・保管し、来歴を追える台帳。

稼働中のモデルの性能・コスト・異常を継続的に監視すること。

パラメータの数値精度を下げてモデルを軽量化し、省メモリ・高速化する技術。

リクエストから応答が返るまでの待ち時間。短いほど快適。