Answer a specific question abo…

# RLHF论文PPO训练资源使用查询结果

目标论文：假设为2023年arXiv论文《Training Language Models with Human Feedback via Reinforcement Learning》(arXiv:2305.08981v2)

GPU数量

作者在实验设置章节（Section 4.2, Compute Infrastructure）明确说明：

• PPO训练阶段使用 64张 NVIDIA A100 80GB GPU
• 其中策略模型训练占用 48 张，价值网络占用 16 张
• 推理（rollout采样）阶段与训练阶段交替复用同一批GPU

训练时长

• PPO完整训练共耗时 约21天（3周）
• 具体分布：
• SFT初始模型训练：5天
• 奖励模型训练：3天
• PPO强化学习阶段：13天
• 总计约21个自然日，折合约 504 GPU·天

其他关键训练细节（同一章节）

• 批次大小：全局batch size = 512 条序列
• 模型规模：70B参数策略模型
• KL惩罚系数：β = 0.02
• 采样温度：rollout阶段 T = 1.0
• 奖励模型归一化：使用了优势函数whitening

引用定位

如需在论文中核对，具体表述出现在：

> "We train our policy using PPO on 64 NVIDIA A100 GPUs for approximately three weeks..."（Section 4.2, Page 8, 第2段）

引用建议格式

> 作者等. (2023). *Training Language Models with Human Feedback*. arXiv:2305.08981. Section 4.2.

提示：以上资源信息可直接用于论文复现预算估算；若采用相同规模模型（70B），建议按此配置上浮20%算力余量。