Rethinking On-Policy Distillation II

OPD는 학생이 생성한 rollout 위에서 teacher가 모든 prefix의 다음 token 분포를 제공하는, on-policy state 방문과 dense 감독의 결합이다. Qwen3·MiMo·GLM-5·DeepSeek-V4·Kimi K3가 모두 쓴다. 선행 연구는 OPD의 dynamics를 알고리즘 관점에서 설명했지만, 학습 데이터가 OPD를 어떻게 형성하는지는 아무도 묻지 않았다. 이 논문은 RLVR의 one-shot 실험을 OPD로 가져와 query 하나로 학습하는 극단 설정에서 데이터의 역할을 분리한다.

State는 autoregressive context $s_i=(x,y_{<i})$다. Full-distribution OPD는 방문 state에서 per-token KL을 최소화한다.

실제로는 per-token advantage로 추정한다. 학생이 낸 token에서만 평가하는 sampled-token 형태와, 학생 top-$k$ token을 학생 확률로 가중하는 top-$k$ 형태가 있다.

이 advantage는 국소적(trajectory 결과가 아니라 state $s$의 예측 문제에만 의존)이고 dense(모든 방문 state에서 분포 신호)하다.

설정. 수학·코드 생성·instruction following·agentic tool use 4개 영역, 각 영역에서 같은 family의 post-trained teacher를 짝짓는다.

수학 one-shot query는 학생의 사전 pass rate로 쉬움(8/8)·중간(4/8)·어려움(0/8) 세 개를 고른다. 다른 영역은 무작위 추출. veRL 구현, batch 64 rollout, AdamW lr $10^{-6}$, temperature 1.0. 수학 run은 top-$k$($k=16$) advantage, 나머지는 sampled-token advantage.

세 benchmark 평균에서 step 300에 one-shot 68.5 vs full-data 69.8, teacher–student 격차의 69%, full-data 이득의 87%를 회복한다. step 300 이후 두 곡선은 약 3점 폭 안에 머물며 회복 비율은 step 1000까지 62–89%를 오간다. step 1000에서 68.4 vs 72.1, 72% 회복. dynamics도 같다. top-16 overlap ratio가 full-data 수준까지 오르고, overlap-token advantage가 0에 접근하며, entropy gap이 거의 닫힌다.

• 수학, 세 family: 학생 baseline 77.1·28.2·70.8 → one-shot 후 85.5·40.2·82.4(R1-Distill-1.5B·Llama-3B-It·OLMo-7B-It-DPO).
• 다른 영역: 코드 생성 73%, instruction following 66%, agentic tool use 64%의 teacher–student 격차 회복.

쉬움·중간·어려움 query 모두에서 작동한다. 쉬운 query는 거의 매 step 풀리고, 중간은 학습 중 대부분 풀리게 되며, 어려운 query는 끝내 한 번도 풀리지 않는데도 이득이 난다. 응답 길이 상한을 줄이거나 rollout temperature를 낮춰도 one-shot 이득은 유지된다.

OPD는 query가 아니라 state로 학습한다. query $x$와 응답 $y$는 prefix마다 state $s=(x,y_{<i})$를 만든다. 가설은 하나의 query에서 나온 rollout이 full-data OPD가 방문하는 state 공간의 대부분에 이미 닿는다는 것이다.

방문 state의 개수가 아니라 폭을 잰다. 생성된 token마다 새 prefix가 생기므로 개수는 의미가 없다.

Coverage는 어느 cluster에 닿았는지를 기록하지 방문 빈도는 아니다. 같은 300 step 예산에서 full data (held-out)가 100%에 닿으므로 척도의 꼭대기는 구성이 보장하는 최대가 아니라 full-data OPD가 실제 도달하는 수준이다. $K$·기준 집합·state 위치를 바꿔도 비교는 안정적이다(Appendix B.1).

중간 난이도 query의 one-shot OPD는 step 300에 71.5% coverage에 이른다. 대부분이 일찍 나타난다. step 100에 65.9%, 이후 200 step 동안 5.6%p만 추가된다. 같은 query에서 반복 rollout이 새 cluster를 계속 발견하지만 급격히 줄어드는 속도로. 같은 run의 검증 정확도는 59.1 → 66.9(full-data는 70.8). one-shot OPD는 query 수는 작지만 만들어 내는 감독은 넓다.

State coverage가 실제 원인인지 확인하기 위해 도달 state 수만 바꾸는 ablation을 두 방향에서 한다.

두 통제 실험(Appendix B.2)이 개수와 다양성을 분리한다. 개수를 16으로 고정했을 때 16개 의미 cluster에서 뽑은 query가 한 cluster에서 뽑은 것보다 coverage와 정확도를 크게 올리고, 고정된 query 집합의 학습 순서는 무관하다. 추가 query의 가치는 새 state에 닿는가로 결정된다.

데이터 쪽이 "왜 이렇게 많이"를 설명했다면, "왜 이렇게 오래"는 알고리즘 쪽 질문이다. 정렬 상태는 두 양으로 기술한다.

$d_t$는 step $t$에 학생이 방문한 위치에서 teacher–student 불일치의 평균 크기(distance), $v_t$는 한 update가 그 거리 중 흡수하는 비율(absorption rate)이다. gradient clipping이 풀리는 step 30부터 추적하고, run마다 step 30 대비 남은 거리 $d_t/d_{30}$로 보고한다. 후반의 $v_t$는 기하 창 $[t/1.4,\,1.4t]$로 추정한다.

Query 1·4·16·17K 전체로 학습한 네 run에서 distance는 run 내내 떨어진다. 학생이 멈추는 것이 아니다. 떨어지는 것은 absorption rate다. 로그 축에서 일정한 rate라면 직선일 텐데 네 곡선 모두 점점 평평해진다. 매 update가 직전보다 남은 것의 더 작은 비율을 흡수하므로 run이 수십이 아니라 수백 step 걸린다.

네 run 각각이 step 300까지 step-30 거리의 78–84%를 제거하고, 학습 중 비슷한 배율로 느려진다. query 하나가 정렬을 더 빠르게도 느리게도 만들지 않는다. 속도는 학습 집합이 아니라 OPD의 속성이다. learning rate는 걸리는 step 수를 바꾸지만 거리가 떨어지는 방식은 바꾸지 않는다(Appendix C.2).

On-policy 학습은 학생이 변하면서 계속 새 state를 만든다. "run이 오래가는 것은 새 state 공급이 이어지기 때문"이라는 해석을 검증하기 위해 두 one-shot run을 비교한다. always-on-policy는 매 step 현재 학생에서 rollout을 새로 뽑고, always-off-policy는 초기 학생에서 한 번 뽑은 trajectory 64개를 매 update 재사용해 학습 state를 고정한다.

현대 pipeline은 여러 도메인을 한 run에서 학습하고 query를 도메인 teacher로 routing하는 multi-teacher OPD(MOPD)를 쓴다. 같은 query 다양성 결과가 옮겨 가는가.

설정. R1-Distill-1.5B 학생 하나를 수학(JustRL-1.5B)·코드(Nemotron-1.5B)·instruction following(UltraData-IF-1.5B)으로 MOPD. agentic tool use는 학생이 달라 제외. one-shot·16-shot·full-data 세 설정, 16-shot은 도메인별로 따로 fit한 BGE-M3 16 cluster의 대표. 300 step.

도메인별로도 수학 93%, 코드 136%, instruction following 109%로 한 도메인이 끌고 가는 결과가 아니다. 16-shot과 full-data가 같은 rollout·최적화 예산을 쓰므로, 이 설정에서 도메인당 16개 다양한 query를 넘어서는 확장은 추가 이득이 없다. 의미적으로 다른 query가 도메인 안에서 상보적인 state를 유도한다는 state-space 설명과 일치한다.

이 기제는 관심을 prompt에서 prompt가 유도하는 추론 state 영역으로 옮긴다. 입력이 유용한 것은 학생 rollout이 teacher가 유용한 감독을 줄 수 있는 영역에 닿을 때이고, 문제를 진술하는 것은 거기 닿는 한 방법일 뿐이다.

수학 OPD를 (a) 실제 training set, (b) <think>로 끝나는 빈 user turn 템플릿, (c) 같은 템플릿에 간단한 도메인 system prompt, (d) WildChat의 일반 대화 query 192,824개(수학 관련 0.17%, 코드 관련 2.63%)로 학습한다.

• 세 조건 모두 실제 query baseline(59.1 → 69.8)을 따라가며, baseline의 1/3에서 1/2의 rollout token으로 그 수준에 이른다. 코드 생성도 같은 그림이다(Appendix E.1).
• 단 요구 조건이 비어 있지는 않다. block을 즉시 닫는 <think>\n</think>\n scaffold는 학습할 수 없는 짧은 meta-level 응답으로 붕괴한다.
• 이 결과는 task 내용이 일반적으로 불필요하다는 뜻이 아니다. 내용이 OPD 신호의 유일한 원천이 아니라는 뜻이다. 명시적 도메인 내용은 이 실험에서 최종 성능을 약 1점 바꾼다.

같은 중간 query에서 one-shot OPD와 one-shot RLVR(GRPO)을 비교한다. 둘 다 step당 query 64개 batch. RLVR은 query당 8 rollout을 outcome으로 채점하고, OPD는 1 rollout의 모든 token을 teacher와 대조한다.

One-shot RLVR은 query가 주는 outcome 변동에 제한되고, one-shot OPD는 dense 감독을 흡수하는 속도에 제한된다.

• OPD 설명 연구는 전부 알고리즘 쪽이었다. dense per-token 목표가 만드는 early-locked 저차원 update subspace(Cai et al., Shen et al.), token-level policy gradient로의 재해석(Ko et al.), 성패 조건과 학습 가능한 token(Li et al. 2026, Armandpour et al., Wang et al.). 모두 training set을 주어진 것으로 본다. 이 논문은 입력이 몇 개 필요한가를 묻고, 병목은 데이터가 아니라 흡수 속도임을 찾는다.
• Data-efficient post-training: one-shot RLVR(Wang et al.), LIMR, LIMA·LIMO·s1, 영향도·품질 기반 subset 선택. 이들의 감독은 여전히 큐레이션된 문제(sparse outcome 또는 reference solution)에 의존한다. OPD는 학생이 못 푸는 query에서도 teacher 신호가 유효하다.
• 합성·비지도 데이터: Self-Instruct·Evol-Instruct·Magpie(입력 합성), 신뢰도·entropy·다수결 reward(label 제거), 모델이 스스로 task를 제안하는 계열. 이 논문의 템플릿·WildChat 결과는 query의 역할을 "학생을 유용한 추론 state에 놓는 것"으로 더 밀어붙인다.

• State coverage는 full-data rollout으로 만든 기준 공간에 대한 의미 수준 proxy다. query 집합이 그 공간의 얼마를 닿는지 보고하지, 스스로 무엇을 덮는지는 아니며, 방문 빈도와 남은 teacher 신호량에 상관없이 모든 cluster를 동등하게 센다.
• Absorption rate를 무엇이 결정하는지는 열려 있다.
• MOPD는 3개 도메인·teacher 1개씩이라 teacher가 늘어날 때 다양성 결과가 어디까지 가는지 미확인.