【Task.37】GraphGPO 论文复现进展

[chengxiang-bot]

认领信息

• 任务：Task 37 - GraphGPO
• 认领人：@chengxiang-bot、@huxy1225-cloud
• 官方任务：https://github.com/redai-infra/community/blob/main/contributor-program/2026-cohort-1/official-task.md#37-graphgpo高级
• 论文：https://arxiv.org/abs/2605.26684
• 参考实现：https://github.com/langfengQ/verl-agent/tree/20bd331bdbc9026a5668e11362178e10ab7400c8/recipe/GraphGPO

当前进展

目前已经完成 GraphGPO 在 Relax 中的主要接入：

• 完成 ALFWorld agentic rollout、逐 turn 轨迹导出和 reward 处理；
• 实现 GraphGPO 图构建、图优势计算及 episode advantage 组合；
• 支持 GRPO / GiGPO / GraphGPO 三种方法使用同一套 recipe 切换；
• 支持不同轨迹产生不同数量 turn rows，并完成对应的 variable-row 数据传输与训练适配；
• GraphGPO 关闭时不改变 Relax 原有默认训练行为；
• 已冻结模型、ALFWorld 数据、任务 manifest、采样参数和评估集。

已完成验证

• 固定镜像候选回归测试：190 passed；
• 真实 ALFWorld reset/step 验证通过；
• 1-epoch GPU E2E smoke 通过；
• 2-epoch 连续训练稳定性 smoke 通过；
• 全规模 1-epoch smoke 通过；
• 10-epoch GraphGPO pilot 完成，评估成功率由 12.50% 提升至 16.41%、22.66%；
• rollout、GraphGPO advantage、TransferQueue、Megatron actor training、evaluation 和 checkpoint 链路均已贯通。

正式实验方案

正式实验统一使用：

• 模型：Qwen2.5-1.5B-Instruct
• 环境：ALFWorld
• 训练长度：150 outer epochs
• Seeds：0、1、2
• 主对照：GRPO、GiGPO、GraphGPO
• 消融：graph-only 三个 seed
• episode-only 与 GRPO 等价性通过数值测试和 parity smoke 验证

完整实验共 12 组：

• GRPO：3 seeds
• GiGPO：3 seeds
• GraphGPO：3 seeds
• graph-only：3 seeds

正式实验当前状态

截至本次更新，已有 2 组完整结束，4 组正在运行：

方法	Seed	进度	最新评估成功率
GraphGPO	0	150/150	88.28%
GiGPO	0	150/150	78.91%
GRPO	0	136/150	45.31%（eval 134）
GiGPO	1	24/150	17.19%（eval 24）
GRPO	1	8/150	23.44%（eval 4）
GRPO	2	已启动	13.28%（初始评估）

以上仍是单 seed 和训练中间结果，不作为最终算法效果结论。待全部实验结束后，将汇总每个 seed 的完整曲线、三 seed 均值与标准差、paired delta、消融结果及与论文报告值的差异，并提交完整复现报告。

[yuanlehome]

评审结论

Request changes，当前暂不批准。

本 Issue 的方向基本合理：ALFWorld、Qwen2.5-1.5B、150 epochs、GRPO/GiGPO/GraphGPO、3 seeds 和 graph-only 消融都与论文及官方 Task 37大体一致；Issue 也正确地声明了单 seed 和中间结果不能作为最终结论。

但当前材料只能支持“训练链路已经跑通”，尚不能证明实现正确、基线公平或论文效果已复现。

P0：阻塞问题

1. 缺少可审查的实现和复现入口

   Issue 没有提供 Relax baseline SHA、candidate commit/PR/分支、改动文件和核心函数。公开 main 中 custom advantage 仍只接受标量，turn/token-level 输出还是 TODO，因此这次实现实际修改了核心数据契约，必须提供 diff 才能审查。当前接口

   同时请补充：

   • Relax、TransferQueue 和参考实现 commit；
   • 镜像 digest、Python/CUDA/PyTorch/Ray/SGLang/Megatron/ALFWorld 版本及硬件；
   • 模型/tokenizer revision、训练与评估 manifest hash；
   • 每个方法和 seed 的完整命令、resolved config；
   • “190 passed”的完整输出，包括 skipped/xfailed/deselected；
   • E2E 日志、W&B/原始 metrics、checkpoint、重启和失败记录。

   “已冻结”需要用不可变标识体现。

2. GraphGPO 算法规范不唯一，需要固定数值 oracle

   RFC 需要明确：

   • 图是否仅由当前 iteration、同一 task 的 8 条轨迹构造；
   • ALFWorld state 的精确字段和 canonicalization；
   • goal sentinel、重复/平行边、self-loop、环、不可达节点、all-fail/all-success 的处理；
   • duplicate edge 是按 occurrence 加权，还是先去重后归一化；
   • sample/population std、epsilon、zero variance、invalid-action penalty 顺序及 βG/βE。

   论文 Eq. 4 使用 10·ω^(d(next)+cost)，而 Task 37 与固定参考实现主路径实际是 10·ω^d(next)。单位 cost、ω=0.1 时，直达 goal 分别为 1 和 10。主配置采用 mean/std 时公共尺度通常会被抵消，但规范、mean-only 模式和测试仍必须固定。建议明确以 Task/参考 commit 为验收标准，并记录与论文公式的差异。

   最小 oracle 可使用同一源状态的三条边，距离分别为 0/1/2，预期 graph rewards 为 [10, 1, 0.1]，并覆盖 singleton、重复边和无成功轨迹不得产生 NaN/Inf。

3. 必须证明 variable-row 不会改变 episode advantage 和训练权重

   建议增加一个关键反例：同一 task 下成功轨迹 1 turn、失败轨迹 3 turns，episode rewards 为 [10, 0]。episode advantage 必须按两条 trajectory 各统计一次后广播，不能展开成 [10, 0, 0, 0] 再统计，否则轨迹长度会改变均值、方差和优化权重。

   βG=0, βE=1 与原生 GRPO 的等价性应同时验证：

   • 逐 token advantage；
   • tokens、loss mask 和 rollout log-prob；
   • loss；
   • 固定 RNG 下的一步 gradient 或参数 delta。

   仅在等长轨迹上做数值测试或 smoke 不足以覆盖该风险。

4. 需要证明 turn、edge 和 action token 不会错组或错配

   建议使用两个 task、每个 8 条异步乱序且不等长的轨迹，并让两个 task 出现相同 state 文本，验证：

   • 不跨 task、rollout group 或 policy version 构图；
   • task_id/trajectory_id/turn_id/row_id 经 TransferQueue、重排和 Megatron 训练后保持一致；
   • 每个 edge advantage 只广播到当前 turn 的模型 action tokens；
   • prompt、历史 observation、tool result、padding 和其他 turn 均被 mask；
   • 每个有效 action token 恰好训练一次；
   • timeout、retry、drop、Ray actor restart 后不会产生残缺 group 或重复 row；
   • GraphGPO 关闭时走原 legacy path，而不只是把 graph weight 设为零。

5. 当前基线尚未通过论文复现检查

   论文的 Qwen2.5-1.5B / ALFWorld overall 结果为：

   方法	论文结果
   GRPO	77.86 ± 1.33
   GiGPO	90.88 ± 0.97
   GraphGPO	92.71 ± 1.32
   graph-only	91.67 ± 0.97

   当前完整 seed 0 中，GraphGPO 为 88.28%，相差 -4.43 pp；GiGPO 为 78.91%，相差 -11.97 pp。当前 GraphGPO–GiGPO 差值为 +9.37 pp，而论文只有 +1.83 pp。因此较大的相对收益可能包含 GiGPO baseline 退化，必须先排除配置、环境、实现和评估口径差异。

   若沿用参考脚本的 128 个评估任务，则 88.28% 对应 113/128，Wilson 95% CI 约为 [81.56%, 92.77%]；78.91% 对应 101/128，CI 约为 [71.05%, 85.08%]。请确认实际分母，并提供逐任务 paired outcomes。

   若最终 GRPO/GiGPO 仍超出 3–5 pp 容差，只能声称“在当前 Relax 配置下观察到相对提升”，不能声称完成论文复现。

P1：建议列入验收条件

• 明确 train/validation/test split、pilot 是否看过正式评估集、固定 epoch 150 还是 validation-selected checkpoint，以及 training seed、environment seed、rollout seed、evaluation seed 的映射。
• 报告三 seed 原始值、mean/std、paired delta、六类 ALFWorld 分项和逐任务结果；“收敛更快”应按 environment steps、generated tokens、GPU-hours、AUC 和预注册 time-to-threshold 衡量。
• 增加图诊断指标：nodes/edges、重复边比例、共享状态率、singleton 出边比例、非零图优势比例、all-fail group、不可达比例和距离分布。
• 报告 graph build、Dijkstra、advantage、额外序列化/TransferQueue 开销的 median/p95。Task 37 建议总开销低于 1%，论文报告约 0.04%。
• 单测覆盖状态合并、重复边、环、不可达、all-fail/all-success、zero variance、invalid/truncated turn；集成测试覆盖乱序 group、TransferQueue round-trip、Megatron 一步更新和 legacy parity。
• 提供 pre-commit run --all-files 及相关测试输出；无法执行多节点 GPU 矩阵时明确说明跳过原因和实际验证拓扑。

最低重新评审门槛是：可审查 PR/commit、完整复现 manifest、固定算法 oracle、variable-row/GRPO parity 证据、12 组最终结果及开销报告。

[dirtyDan0]

Hi, we are currently integrating support for multi-agent training internally, including more general variable-row export and customized advantage assignment. We expect to release these features in approximately 2–3 weeks. Thank you for your patience.