Weak-to-Strong Generalization via Direct On-Policy Distillation

Feng, Shiyuan; Gao, Huan-ang; Chi, Haohan; Wu, Hanlin; Zhang, Zhilong; Jiang, Zheng; He, Bingxiang; Ma, Wei-Ying; Zhang, Ya-Qin; Zhou, Hao

Weak-to-Strong Generalization via Direct On-Policy Distillation

Direct-OPD 让强学生模型从小 RL 教师中学习：它把 RL 诱导出的 policy shift 作为学生自身 on-policy 状态上的稠密监督，而不是模仿弱教师的最终策略分布。

Shiyuan Feng^1,2,4,*, Huan-ang Gao^1,2,3,*,‡, Haohan Chi^1,2,3,*, Hanlin Wu^1,2, Zhilong Zhang^1,2, Zheng Jiang³, Bingxiang He³ Wei-Ying Ma^1,2, Ya-Qin Zhang^1,2, Hao Zhou^1,2,†

^*Equal contribution. ^‡Project Lead. ^†Corresponding author.

¹SIA-Lab of Tsinghua AIR and ByteDance Seed

²Institute for AI Industry Research (AIR), Tsinghua University

³Department of Computer Science and Technology, Tsinghua University

⁴Peking University

arXiv

Code

Models

RLVR 已经证明能提升推理模型，但每换到一个更大的模型，都要在稀疏奖励下重新探索。 Direct-OPD 复用小模型已经完成的这部分探索：先让小模型通过 RL 学到改进方向，再把这个方向施加到强模型自己的 on-policy 状态上。相比之下，vanilla OPD 蒸馏的是 post-RL teacher 的最终分布，可能把更强的学生拉回弱教师附近，而不是只迁移 RL 诱导出的 reward direction。

方法：迁移策略变化，而不是迁移教师模型本身

小教师上的 policy-as-reward

把 KL-regularized RL 的恒等式用在小教师上。如果 teacher 从 $\pi_{\mathrm{ref,teacher}}$ 出发，用外部奖励 $R_{\mathrm{teacher}}$ 和 KL 系数 $\beta_T$ 训练，最优策略满足：

$$\pi^*_{\mathrm{teacher}}(y\mid x)\propto \pi_{\mathrm{ref,teacher}}(y\mid x)\exp(R_{\mathrm{teacher}}(x,y)/\beta_T).$$

把这个式子反解，就得到 policy-as-reward 的恒等式：

$$\log\frac{\pi^*_{\mathrm{teacher}}(y\mid x)} {\pi_{\mathrm{ref,teacher}}(y\mid x)} =\frac{1}{\beta_T}R_{\mathrm{teacher}}(x,y)-\log Z_T(x).$$

其中 $\log Z_T(x)$ 对同一个 prompt 下的所有 response 都是常数，所以 teacher/reference log-ratio 可以恢复 teacher 的 RL reward，只差一个正比例缩放和 prompt-level 常数。

教师 checkpoint pair 暴露这个 reward

实际上，post-RL checkpoint $\pi_{\mathrm{teacher}}$ 就是这个 RL 过程得到的 teacher。把它和 pre-RL checkpoint $\pi_{\mathrm{ref,teacher}}$ 相比，就能暴露外部 RL supervision 写进 teacher 策略里的 reward-like signal：

$$\Delta_T(y\mid x):= \log\frac{\pi_{\mathrm{teacher}}(y\mid x)} {\pi_{\mathrm{ref,teacher}}(y\mid x)} =\frac{1}{\beta_T}R_{\mathrm{teacher}}(x,y)-\log Z_T(x).$$

这才是 Direct-OPD 迁移的对象：teacher-derived implicit reward，而不是 teacher policy $\pi_{\mathrm{teacher}}$ 本身。

Direct-OPD 把它变换成学生监督

由于语言模型策略可以按 prefix 分解，sequence-level shift 也能分解成 token-level reward：

$$R_{\mathrm{student},t}(v\mid s_t)\leftarrow \Delta_{T,t}(v\mid s_t)= \log\frac{\pi_{\mathrm{teacher}}(v\mid s_t)} {\pi_{\mathrm{ref,teacher}}(v\mid s_t)}.$$

训练 Direct-OPD 时，学生自己采样 rollout，在每个访问到的 prefix 上保留自己真正会考虑的 top-k actions，再用 $R_{\mathrm{student},t}$ 给这些 actions 打分。因此强学生学到的是从小模型 RL 过程中恢复出的隐式稠密外部监督，而不是对弱教师的模仿，也不需要在目标模型上重新跑稀疏奖励 RL。

实验一：小模型 RL 学到的方向，可以提升更强的学生

Direct-OPD 在不同学生模型上都带来了提升。实验并不要求教师强过学生；被复用的是教师通过 RL 形成的变化方向。

(a) JustRL policy-shift transfer

Model	AIME24	AIME25
Teacher ref	28.5	24.0
Teacher RL	51.3	37.5
Qwen3-1.7B	48.3	36.8
+ Direct-OPD	62.4 +14.1	46.3 +9.5
Qwen3-4B	72.5	65.6
+ Direct-OPD	77.6 +5.1	68.8 +3.2
R1-Distill-7B	56.7	40.5
+ Direct-OPD	63.1 +6.4	48.8 +8.3

(b) QuestA policy-shift transfer

Model	AIME24	AIME25
Teacher ref	61.8	49.5
Teacher RL	72.5	62.3
Qwen3-1.7B	49.1	36.8
+ Direct-OPD	59.0 +9.9	43.1 +6.3
R1-Distill-7B	56.3	39.5
+ Direct-OPD	61.2 +4.9	44.0 +4.5

JustRL policy-shift transfer results — JustRL-1.5B 的 policy shift 同时提升了 Qwen3-1.7B、Qwen3-4B 和 R1-Distill-7B。后两个学生的起点已经高于 post-RL teacher；这说明训练收益主要来自 RL 方向，而不是弱教师分布本身。

实验二：先在小模型上找到方向，再把方向迁移给大模型

直接在大模型上跑 RL，等于让大模型用大量 rollout 重新发现 credit assignment。Direct-OPD 把这部分探索转移到小模型上，再把 RL 后形成的 policy shift 迁移给大模型。

Takeaway. 相比直接在大模型上跑 RL，先在小模型上跑 RL、再迁移到大模型有两个优势：小模型 RL 更稳定、更容易、更便宜；后续 Direct-OPD 阶段只需要短训练，就能把这个优势转移到大模型上。

实验三：不同 RL 过程学到的方向，可以顺序组合

Direct-OPD 迁移的是方向，不是 post-RL teacher 的完整分布。因此，不同教师对学到的 policy shift 可以被顺序应用到同一个学生上。

Sequential policy-shift composition — Qwen3-1.7B 先接收 JustRL signal，再接收 QuestA signal，AIME 2024 从 48.3 提升到 63.8。

Takeaway. 不同 RL 训练过程会学到不同能力，Direct-OPD 可以把这些能力以 policy shift 的形式顺序组合到同一个学生模型里。

BibTeX

@misc{feng2026directopd,
  title  = {Weak-to-Strong Generalization via Direct On-Policy Distillation},
  author = {Shiyuan Feng and Huan-ang Gao and Haohan Chi and Hanlin Wu and Zhilong Zhang and Zheng Jiang and Bingxiang He and Wei-Ying Ma and Ya-Qin Zhang and Hao Zhou},
  year   = {2026},
  eprint = {2607.05394},
  archivePrefix = {arXiv},
  primaryClass = {cs.LG},
  url    = {https://arxiv.org/abs/2607.05394}
}