Evaluate whether benchmark mea…

# MMLU法律子集构念效度评估

一、MMLU法律题目的构成概况

MMLU中法律相关内容主要分布在三个子集：

• Professional Law（专业法律）：题量最大（约1700题），题目来源包含美国各类法律资格考试（如律师资格多选题MBE风格题目）
• Jurisprudence（法理学）：题量小（约百题级别）
• International Law（国际法）：题量同样偏少

需注意：MMLU是美国法为中心的题库，与中国“法考”（国家统一法律职业资格考试）并不对应。

二、构念效度的核心问题

构念效度指测试是否真正测到了“法学专业能力”这一目标构念。MMLU存在以下具体缺陷：

1. 构念覆盖不全

• 法学专业能力应包括：法律检索、事实认定与涵摄（把事实归入规范）、法律论证与说理、文书写作、利益衡量
• MMLU仅考察单选事实记忆与规则回忆，几乎不测推理链、多步涵摄和论证生成
• 律师实务中的核心技能（谈判、起草、程序策略）完全缺位

2. 题目形式失真

• 真实法律考试（如MBE）依赖长事实题干+规则适用，MMLU中不少题目退化为“法条/概念复述型”记忆题
• 单一正确答案的设定忽略了法律中大量“最优答案”“多数观点”的弹性，与实务判断的或然性不符

3. 内容效度与代表性不足

• 题目集中于美国普通法部门法，对大陆法系、成文法体系（如中国法、德国法）覆盖极弱
• 判例更新滞后：法律是动态体系，静态题库无法反映法规修订和判例变化
• 子集间题量悬殊，Professional Law一枝独秀，法理学、国际法样本过小，统计不稳定

4. 测量学层面缺陷

• 污染风险：法律文本大量公开，预训练语料与测试题可能重叠，分数可能反映“背诵”而非能力
• 区分度不明：不同模型在该子集的分数差异难以对应真实法律实务表现差异，缺乏与人类律师表现的外部效标关联研究
• 天花板效应：近年头部模型分数接近饱和，区分能力下降

三、结论与建议

结论：MMLU法律子集只能作为“法律知识记忆”的弱代理指标，构念效度不足以支撑“衡量法学专业能力”的结论。

改进方向：

• 引入多步法律推理、案例涵摄、文书生成类开放题
• 采用多法域、动态更新的题库
• 参考LegalBench、LawBench等专门基准，结合人类专家评分做外部效标验证