概要
入力ごとに一部の専門家(サブネットワーク)だけを使い、効率的に大規模化する設計。
詳しい解説
MoE(混合エキスパート)は、モデル内に多数の「専門家」サブネットワークを持ち、入力ごとに一部だけを選んで使うアーキテクチャです。全パラメータを毎回使わないため、巨大なモデルでもを効率化できます。Mixtralなど近年の高性能に採用され、大規模化とコストのバランスを取る鍵になっています。
💡 青い破線の用語にカーソルを合わせる(タップする)と、その場で簡単な説明が表示されます。
具体例・活用シーン
必要な専門家だけ稼働
「数学が得意な専門家」「コードが得意な専門家」のうち、入力に合うものだけを呼び出すイメージです。
関連用語
この説明に誤りや改善点を見つけましたか?
✏️ この説明を改善提案する