評価・品質

構成要素を一つずつ取り除き、各部分の貢献度を調べる検証手法。

2つの案を実際のユーザーに出し分け、どちらが優れるか比較する手法。

適合率と再現率の調和平均。両者のバランスを1つの数値で表す指標。

57分野の知識を問う、LLMの総合学力を測る代表的ベンチマーク。

別のLLMに出力の良し悪しを採点させる、自動評価の手法。

出力のランダム性(多様さ)を調整するパラメータ。高いほど創造的。

モデルの信頼度が、実際の正解率と一致するように調整すること。

AIの回答を、信頼できる根拠情報に結びつけて裏付けること。

得られる性能・成果に対して、かかる費用がどれだけ少ないか。

本来見つけるべきもののうち、実際に検出できた割合。取りこぼしの少なさ。

1回の応答で生成できるトークン数の上限設定。出力の長さを制御する。

乱数の初期値。固定すると生成結果を再現しやすくなる。

モデルが自分の予測にどれだけ自信があるかを表す数値。

単位時間あたりに処理できる量。システムの処理能力を表す。

全体の予測のうち、正解した割合を表す最も基本的な評価指標。

陽性と判定したもののうち、実際に正しかった割合。誤検出の少なさ。

処理で使われたトークンの総量。API料金の算定基準になる。

確率の高い上位k個の候補だけに絞り、その中から次の語を選ぶ手法。

確率の高い候補を累積pまで残してその中から選ぶ、出力の絞り込み手法。

人間が実際に出力を見て品質を判断する、最も信頼性の高い評価。

200以上の多様なタスクでLLMの能力を多角的に測る大規模ベンチマーク。

コード生成能力を測る代表的ベンチマーク。テスト通過率で評価する。

機械翻訳の品質を、参照訳との一致度で自動評価する指標。

モデルの性能を共通の基準で測り、比較するための標準テスト。

稼働中のモデルの性能・コスト・異常を継続的に監視すること。

要約の品質を、参照要約との重なりで自動評価する指標。

リクエストから応答が返るまでの待ち時間。短いほど快適。