TailSFT

표준 SFT는 demonstration의 negative log-likelihood를 계속 낮춘다. 그러나 후속 단계가 verifiable reward를 쓰는 online RL이라면, 필요한 것은 한 정답에 대한 높은 확률만이 아니다. 여러 번 sampling했을 때 적어도 하나의 reward-bearing response를 찾을 수 있는 초기 probability support가 중요하다.

입력 $x$에서 한 번 sampling해 정답일 확률을 $p_\pi(x)$라 두면, $K$번 중 하나 이상 성공할 확률은 다음과 같다.

논문의 모든 large-$K$ 평가는 $K=16$을 사용한다. pass@1이 현재 policy의 평균 정확도를 본다면, pass@16은 낮은 확률로라도 남아 있는 유효 응답을 더 민감하게 포착한다.

Maximum-likelihood SFT는 이미 base model이 잘 설명하거나 학습 초기에 빠르게 fit 된 demonstration도 계속 밀어 올린다. 제한된 확률 질량이 소수의 demonstration mode에 더 집중되면, 정답이지만 SFT target과 다른 응답의 확률은 낮아질 수 있다.

논문의 stylized graph construction은 이 상충을 극단적으로 보인다.

이 수치는 실제 LLM 성능표가 아니라, pass@1 최적화와 large-$K$ coverage가 일치하지 않을 수 있음을 보이는 이론 예시다.

각 SFT example $(x_i,y_i)$에 대해 sequence length로 정규화한 loss를 사용한다.

학습 시작 전 base policy $\pi_0$의 loss $\ell_i^0$를 한 번 계산해 저장한다. Step $t$에서 현재 loss와의 margin을 계산한다.

$m_i^t$가 가장 작은 sequence는 base model 대비 loss가 가장 많이 감소한, 즉 이미 많이 fit 된 example이다. TailSFT는 selection batch에서 이들 하위 $\gamma_t$ 비율을 제외하고 나머지 token에 표준 cross-entropy를 적용한다.

논문은 filtered loss를 세 종류로 비교한다. 구현된 TailSFT는 mini-batch에서 offset margin의 quantile을 사용하며, 이론은 population-level threshold objective를 분석한다.

이론에서 두 threshold objective는 다음과 같이 쓸 수 있다.

Stylized setting에서 적절한 $\beta$를 고른 offset filtering은 standard ERM 또는 최적 absolute threshold보다 나쁜 coverage를 갖지 않으며, 엄격히 더 좋은 경우가 존재한다. 다만 이는 mini-batch TailSFT SGD와 post-GRPO 성능을 직접 보장하는 정리가 아니라, 초기 정책을 기준으로 삼는 설계 원리를 지지하는 결과다.

Math SFT는 decontaminated OpenMathInstruct-2의 약 350K subset을 사용한다. 모든 SFT 결과는 동일한 평가 protocol과 세 seed로 비교하며, large-$K$는 $K=16$으로 고정한다.

GRPO 비교는 prompt당 4개 rollout과 binary verifier reward를 사용한다. 같은 SFT dataset 안에서 Standard SFT와 TailSFT만 바꾼 matched comparison이므로, 최종 차이를 RL 알고리즘 변경이 아니라 초기 policy의 차이로 해석할 수 있다.

18개 dataset–benchmark 조합 중 15개에서 TailSFT의 pass@16이 Standard SFT보다 높았다.

pass@1은 일관되게 오르지 않는다. 예를 들어 Magicoder → CruxEval-I는 28.50에서 26.48로, OCI → HumanEval+는 54.76에서 51.94로 낮아진다. 반대로 BigCode → CruxEval-O는 4.16에서 13.18로 오른다.

논문이 의도한 결과는 SFT pass@1의 일률적 개선이 아니라, 후속 RL이 활용할 pass@16 coverage의 개선이다.

TailSFT를 모든 dataset에 자동 적용하지 않고, base model과 Standard SFT 사이에서 잃고 얻은 coverage를 먼저 비교한다.

각 example의 base pass@16 추정치가 $0.05$와 $0.95$ 사이인 집합을 base-reachable set $\mathcal{R}_0$로 둔다. 이 구간에서 Standard SFT가 감소시킨 coverage의 합을 $L$, 증가시킨 합을 $G$라 두면:

동일한 GRPO를 적용한 5개 matched comparison에서 TailSFT initialization은 최종 pass@1을 모두 개선했다.

post-RL pass@16도 5개 중 4개에서 +2.38%p에서 +3.30%p 개선됐고, OCI → MBPP+는 -0.18%p로 사실상 비슷했다. 핵심 증거는 SFT 단계의 large-$K$ 이득이 동일한 RL을 거쳐 최종 pass@1 이득으로 바뀌었다는 것이다.