検索

単位時間あたりに処理できる量。システムの処理能力を表す。

複数の思考の道筋を木構造で枝分かれさせ、有望な経路を探索する推論手法。

AIに結論だけでなく途中の推論過程を順を追って書かせることで、複雑な問題の正答率を高める手法。

リクエストから応答が返るまでの待ち時間。短いほど快適。

学習済みモデルを本番環境で稼働させ、推論を提供すること。

大量のデータをまとめて一括で推論する方式。効率とコストに優れる。

NVIDIA製の推論高速化エンジン。GPU上で推論を最適化する。

LLMの推論を高速・高効率に行うための人気の推論サーバー。

リクエストを複数のサーバーに振り分け、負荷の集中を防ぐ仕組み。

AIに与える指示文や質問。プロンプトの良し悪しが、出力の質を大きく左右する。

AIから望む出力を引き出すために、[[prompt]]を工夫・設計する技術や手法の体系。

目標を与えると、自ら計画を立て、ツールを使いながら多段階のタスクを自律的に遂行するAI。

手本を一切示さず、指示だけでタスクを解かせるプロンプト手法。

推論と行動(ツール使用)を交互に繰り返し、課題を解決させる手法。

同じ問題を複数回解かせ、多数決で最も一貫した答えを採用する手法。

AIに考える過程を明示的に書き出させ、推論の質と透明性を高めること。

大きな課題を、扱いやすい小さなサブタスクに分割すること。

Claudeが回答前に、時間をかけて段階的に推論を行う機能。複雑な問題の精度を高める。