Map system architecture to abl…

# 客服系统四模块消融实验方案

示例场景：用户提问“我上周买的X200耳机右边没声音，怎么退换？”，标准答案：7天内可无理由退货，需保留包装，走“我的订单-申请售后”。

模块定义与消融方法

每次仅移除/降级一个模块，其余不变，对比基线准确率。指标：回答准确率、意图识别Top1命中率、幻觉率、人工复核通过率。测试集：300条真实客服问答。

| 实验组 | 替换方式 | 预期影响 | 预估降幅 |

|---|---|---|---|

| E1 去意图识别 | 所有query统一送RAG+生成 | “退换货”与“维修咨询”混淆，检索错知识库 | 准确率 -12~18% |

| E2 去RAG检索 | 仅靠大模型直接生成 | 保修政策回答编造（如“30天无理由”vs实际7天），幻觉率升至25%+ | 准确率 -20~30% |

| E3 去回复生成 | 直接返回检索原文 | 回答冗长含无关条款，答非所问 | 准确率 -8~12% |

| E4 去安全过滤 | 生成后直接返回 | 竞品对比、违规承诺（“保证全额退款”）漏出，风险回答率升至3~5% | 合规通过率 -5~8% |

具体案例分析

• 去意图：上例query被当作“故障报修”，检索维修工单流程而非退换政策。
• 去RAG：模型凭通用知识答“15天退货”，与实际7天政策冲突。
• 去生成：直接返回整篇《退换货细则》原文，用户需自行找答案。
• 去安全：对情绪激动用户生成“我们从不推卸责任”等不当表述。

实施要点

1. 固定测试集与评分规则（人工+LLM-as-judge双评）；

2. 每组跑3次取均值，控制随机性；

3. 关注交互效应：去RAG+去生成叠加时降幅非线性放大，需补做组合消融。

结论排序：RAG > 意图识别 > 生成 > 安全过滤（对准确率），安全过滤对合规率影响最大。