概要
コード生成能力を測る代表的ベンチマーク。テスト通過率で評価する。
詳しい解説
HumanEvalは、プログラミング課題を解かせてのコード生成能力を測るです。生成したコードが用意されたテストに通るかで評価します。コーディング性能の比較に広く使われ、モデルの実用的なプログラミング力を示す指標とされています。
💡 青い破線の用語にカーソルを合わせる(タップする)と、その場で簡単な説明が表示されます。
具体例・活用シーン
コードのテスト合格率
「この仕様の関数を書け」という課題を解かせ、テストに通った割合でコード力を測ります。
関連用語
この説明に誤りや改善点を見つけましたか?
✏️ この説明を改善提案する