概要
57分野の知識を問う、LLMの総合学力を測る代表的ベンチマーク。
詳しい解説
MMLU(Massive Multitask Language Understanding)は、歴史・数学・法律・医学など57分野の多肢選択問題で、の幅広い知識と理解力を測る代表的です。モデルの「総合学力」の指標として広く引用されます。高得点でも実用上の使い勝手とは必ずしも一致しない点には注意が必要です。
💡 青い破線の用語にカーソルを合わせる(タップする)と、その場で簡単な説明が表示されます。
具体例・活用シーン
総合学力テスト
幅広い分野の試験問題を解かせ、何%正解できるかでモデルの知識量を比較します。
関連用語
この説明に誤りや改善点を見つけましたか?
✏️ この説明を改善提案する