Collect independent rankings f…

# 多评委聚合：综合排名与平均分计算方案

一、前提说明

由于你尚未提供三份评委（GPT-4、Claude、Gemini）的打分数据，本方案给出完整可操作的计算流程与公式，你把原始分数代入即可得出结果。如需直接计算，请贴出三组分数。

二、数据准备

• 建立表格：行=20份文案（A1–A20），列=三位评委分数
• 统一量表：确认三模型是否用同一分制（如均为10分制/100分制），不一致需先归一化
• 归一化公式：新分数 = (原始分 − 该评委最低分) / (该评委最高分 − 该评委最低分) × 100

三、多评委聚合方法（推荐由简到繁）

方法1：简单平均分

• 每份文案最终分 = (S₁ + S₂ + S₃) / 3
• 按最终分降序排列即最终排名

方法2：加权平均（处理评委可信度差异）

• 先计算每位评委与“共识排序”的Spearman相关系数作为权重
• 最终分 = Σ(权重ᵢ × 分数ᵢ) / Σ权重ᵢ
• 若某评委排序频繁与另两位相反，可降权

方法3：中位数聚合（抗异常值）

• 每份文案取三位评委分数的中位数
• 适合某模型打分波动大、有明显离群值的情况

方法4：排名聚合（Borda计数法）

• 忽略绝对分数，仅用排序：每位评委给第1名计20分、第2名计19分……
• 三位评委的Borda分求和，得出最终排名
• 优点：规避不同模型的打分尺度差异

四、一致性检验（建议做）

• 计算 Kendall's W（肯德尔和谐系数）衡量三位评委排序一致性，取值0–1，越接近1越一致
• 若一致性低：检查是否存在争议文案（评委分差>量程的30%），这类建议人工复核

五、输出模板

| 排名 | 文案编号 | 平均分 | 中位数 | Borda分 | 备注 |

|------|---------|--------|--------|---------|------|

| 1 | — | — | — | — | 分歧小/大 |

六、实操建议

• 用Excel或Python（pandas + scipy.stats）10分钟可完成
• 报告中同时呈现“平均分”与“排名”两个维度：平均分看质量，排名看相对优劣
• 分差较大的文案标注评委分歧度，避免单一指标误导决策

把三组原始数据发给我，我可以直接帮你算出最终排名表。