概要
LLMの推論を高速・高効率に行うための人気の推論サーバー。
詳しい解説
vLLMは、のを高速・高効率に行うためのオープンソースの推論サーバーです。メモリ管理の工夫(PagedAttention)で多人数の同時利用()を大きく向上させます。を自社でする際の定番ツールになっています。
💡 青い破線の用語にカーソルを合わせる(タップする)と、その場で簡単な説明が表示されます。
具体例・活用シーン
LLMを効率配信
オープンソースLLMをvLLMで立てると、少ないGPUで多くのリクエストをさばけます。
関連用語
この説明に誤りや改善点を見つけましたか?
✏️ この説明を改善提案する