検索

LLMの推論を高速・高効率に行うための人気の推論サーバー。

リクエストを複数のサーバーに振り分け、負荷の集中を防ぐ仕組み。

重みが公開され、誰でも入手・改変・自社運用できる大規模言語モデル。

本来秘密にすべきシステムプロンプトを、AIに喋らせて引き出す攻撃。

AWS・GCP・Azureなどクラウド上でAIの学習・推論を行う形態。

学習済みモデルを本番環境で稼働させ、推論を提供すること。

停止状態から起動・モデル読み込みを経て応答するまでの遅延。

負荷に応じて計算資源を自動で増減させる仕組み。

AI・物理・数学などの論文を、査読前に無料公開するプレプリントサイト。

繰り返し使う長いプロンプトをキャッシュし、コストと応答時間を削減する仕組み。