面向需要同时运行多个子代理的AI系统，支持在同一消息中并行委…

# Excel客户数据清洗拆分与合并方案

一、整体思路

• 数据量仅300条，规模很小，常规pandas即可秒级完成，“并行处理”意义不大，但脚本设计上可保留并行能力以备数据量增长。
• 流程：读取 → 清洗去重 → 按地区拆分 → 导出5个表 → 合并回总表校验。

二、清洗去重要点

• 统一格式：手机号去除空格/横线，姓名去首尾空格，地区名标准化（如“北京/北京市”归一）。
• 去重策略：df.drop_duplicates(subset=['手机号'], keep='first')，建议以手机号或“姓名+手机号”作为唯一键，避免整行重复才被剔除。
• 处理缺失：关键字段（手机号、地区）为空的行单独存入“异常表”，不混入主数据。

三、按地区拆成5个表

• 先查看地区分布：df['地区'].value_counts()。
• 用循环+字典实现：

```python

for region in top5_regions:

df[df['地区'] == region].to_excel(f'{region}.xlsx', index=False)

```

• 若地区超过5个，可按数量取前5，其余归入“其他.xlsx”，避免数据丢失。

四、合并回总表脚本

• pd.concat([pd.read_excel(f) for f in files], ignore_index=True) 一行完成合并。
• 合并后再执行一次去重，作为最终校验，并核对合并后行数 = 拆分前行数。

五、并行处理可行性

• 可以，但没必要：300条数据用 concurrent.futures.ThreadPoolExecutor 拆分5个表的读写，耗时仍在1秒内。
• 更实用的场景：当数据达到数十万条以上时，并行读取多个Excel文件才明显提速。
• 推荐替代方案：直接用pandas向量化操作，比多线程更简洁高效。

六、建议

• 脚本加日志输出各表行数，方便核对。
• 原始文件备份后再运行，防止覆盖。
• 若需定期执行，可封装成函数并配置文件路径参数化。

结论：技术上可并行，但300条数据顺序处理即可，重点应放在清洗规则和去重键的准确性上。