원제: Entropy Trajectory Shape Predicts LLM Reasoning Reliability: A Diagnostic Study of Uncertainty Dynamics in Chain-of-Thought 출처: arXiv:2603.18940v2 [cs.CL], 2026년 3월 27일 (A Preprint, 2026년 3월 30일) 저자: Xinghao Zhao (화중과기대학, Huazhong University of Science and Technology / xinghaozhao60@gmail.com)
초록 (Abstract)
사고사슬(chain-of-thought, CoT) 추론은 복잡한 과제에서 LLM 정확도를 높이지만 비싼 다중 표본(multi-sample) 방식 없이 추론 실패를 탐지하는 신뢰할 만한 방법은 여전히 찾기 어렵다. 우리는 추론 스텝(step)에 걸친 불확실성 동역학의 형태(shape)가 최종 답의 정오를 예측하는지 연구한다. 이 형태는 각 스텝에서 소수의 답변 완성문(completion)을 샘플링하여 값싸게 포착한다.
우리는 엔트로피 궤적 단조성(entropy-trajectory monotonicity) 개념을 도입한다: 한 사슬(chain)이 매 스텝에서 스텝별 답변분포 엔트로피가 감소하면 그 사슬은 단조(monotone)이며, 불확실성이 일관되게 줄어든다는 뜻이다. Qwen2.5-7B-Instruct로 GSM8K(=300)에서 단조 사슬은 정확도 68.8%를 달성하는 반면 비단조 사슬은 46.8%로, 격차 +21.9 퍼센트포인트(Fisher 정확검정 =0.0005; OR= 2.50)가 난다. 결정적으로, 스칼라(scalar) 총 엔트로피 감소량은 예측력이 없어(=−0.06, =0.31) 형태-크기 분리(shape-over-magnitude dissociation)를 드러낸다: 정오를 예측하는 것은 엔트로피가 매 스텝에서 감소하는가(whether)이지, 얼마나 많이 떨어지는가(how much)가 아니다. 이 분리는 등급 신호(graded signal)로도 이어진다: 전규모(full-scale) 실행에서 위반 횟수가 늘수록 GSM8K와 MATH-500 양쪽에서 정확도가 일관되게 낮아진다.
300문항 파일럿을 넘어 더 큰 규모에서도 효과가 지속된다. 전체 GSM8K(=1319)에서 단조 사슬은 93.2% vs 비단조 81.7%(+11.5 pp), MATH-500(=500)에서 단조 63.7% vs 30.4%(+33.3 pp)를 낸다. 두 데이터셋 모두에서 위반 횟수는 정오와 음의 상관을 갖는다(GSM8K = −0.198, MATH-500 = −0.381).
우리는 토큰 로그확률(log-probability) 확신도의 보정이 스텝 깊이가 깊어질수록 나빠짐을 보인다(ECE: 스텝 0의 0.186 → 스텝 7의 0.312). 그리고 엔트로피 궤적 단조성은 73.7% 커버리지에서 +5.8 pp를 달성하여, 최종 스텝 엔트로피(+2.2 pp)와 스칼라 일관성(−0.6 pp, 무작위보다 나쁨)을 포함한 모든 스칼라 베이스라인을 문항당 약 1,500 토큰(40-사슬 자기일관성 비용의 8분의 1)에서 능가한다. 답변집합 커버리지를 맞추면 SC@3/SC@5가 단조성 랭킹보다 약간 더 높을 수 있으므로, 우리의 주장은 SC 투표에 대한 우위가 아니라 유리한 정확도-비용 절충을 갖는 값싸고 해석 가능한 단일 사슬 분류(triage) 신호라는 것이다. 초기 파일럿 발견은 두 번째 모델(Mistral-7B-Instruct-v0.3, =300)에서도 재현되어 단조 사슬 72.3% vs 비단조 37.6%(+34.7 pp; OR= 4.33)를 낸다. 이처럼 불확실성 궤적의 구조적 속성은 집계 크기(aggregate magnitude) 측정치보다 모델 계열을 가로질러 더 정보량이 크다. 현재의 증거는 수치/이산 답 과제에서 가장 강하며, 개방형 자유서술 QA로 확장하는 것은 더 강한 의미 정규화(semantic canonicalization)를 요구한다.
1. 서론 (Introduction)
대규모 언어모델(LLM)은 정답과 오답을 동일한 표면적 유창함으로 생성한다. 사고사슬(CoT) 추론[Wei et al., 2022, Kojima et al., 2022]에서 모델은 최종 답을 내기 전에 다단계 풀이를 생성한다. 그러나 자신감 있어 보이는 스텝 사슬이라도 정답을 보장하지는 않는다. 독립 표본을 많이 생성하지 않고 실패를 값싸게 탐지하는 것은 열린 실무 문제다.
두 계열의 신뢰성 신호가 연구되어 왔다. 자기일관성(self-consistency) 방법[Wang et al., 2023]은 독립적으로 샘플링된 여러 사슬의 답을 집계하지만 문항당 10~40개 표본을 요구하고 각 사슬 내부의 풍부한 스텝 수준 정보를 버린다. 토큰 로그확률 점수는 값싸지만 체계적으로 오보정(miscalibrated)되어 있다: 우리는 토큰 로그확률 확신도의 ECE가 첫 추론 스텝의 0.186에서 여덟 번째 스텝의 0.312로 증가함을 보이며(그림 1a), 모든 표준 프록시 함수가 거의 퇴화된 확신도 범위로 붕괴함을 보인다. 이 블랙박스 설정에서는 스텝 수준 정오 레이블을 쓸 수 없으므로, 이 ECE 추세는 스텝-국소(step-local) 보정이 아니라 최종 정오에 대한 예측적 보정(predictive calibration)으로 해석한다.
우리는 다른 접근을 취한다: 토큰 확률에서 유도한 단일 스칼라로 사슬을 점수화하는 대신, 모델의 최종 답에 대한 불확실성이 스텝마다 어떻게 진화하는지를 묻는다. 각 스텝 prefix에서 =5개의 답변 완성문을 샘플링하여 그 결과 답분포의 섀넌 엔트로피 를 계산한다. 이렇게 하면 낮은 추가 비용으로 엔트로피 궤적(entropy trajectory) 을 얻는다.
우리가 연구하는 핵심 질문은 이것이다: 이 궤적의 형태(shape)가 그 크기(magnitude)로 설명할 수 있는 것을 넘어 정오를 예측하는가?
주요 발견. GSM8K(=300; Qwen2.5-7B-Instruct)에서 엔트로피 궤적이 단조 감소하는 사슬은 68.8% 정확도를, 그렇지 않은 사슬은 46.8%를 달성한다 — 격차 +21.9 pp(95% CI: [+9.5, +34.3]; Fisher 정확검정 =0.0005; OR= 2.50; 그림 1b). 반대로, 총 엔트로피 감소량 (스칼라 일관성)은 정오와 거의 0에 가까운 상관을 갖는다(Spearman =−0.06, =0.31). 작동하는 신호는 전체적으로 얼마나 떨어지는가가 아니라 불확실성이 일관되게 감소하는가다. 이 패턴은 더 큰 규모에서도 유지된다: 전체 GSM8K(=1319)에서 단조 사슬은 93.2% vs 비단조 81.7%(+11.5 pp), MATH-500(=500)에서 63.7% vs 30.4%(+33.3 pp; A.16절)다.
기여(Contributions). 이 논문은 진단적 연구다: 새로운 신호를 도입하고 Qwen2.5-7B로 GSM8K에서 그 경험적 속성을 확립하며, 그 실패 양식을 특성화한다. 두 번째 모델 계열(Mistral-7B-Instruct-v0.3)에서 효과를 재현하고 MATH로 초기 벤치마크를 확장한다(A.16, A.17절).
- 형태-크기 분리. 이진 엔트로피 궤적 단조성은 강한 예측자(OR= 2.5, =0.0005)인 반면, 스칼라 총 엔트로피 감소량은 그렇지 않다(=−0.06). 이 분리는 등급 신호로 확장된다: 위반 횟수는 전체 GSM8K(= −0.198)와 MATH-500(= −0.381) 양쪽에서 정오와 음의 상관을 가지며, 위반 크기는 예측력이 없다.
- 스텝 수준 보정은 깊이가 깊어질수록 나빠진다. 토큰 로그확률 ECE가 스텝 0의 0.186에서 스텝 7의 0.312로 증가한다. 모델이 최종 답에 가까워질수록 좋아지리라는 기대와 반대다.
- 선택적 예측 vs 값싼 베이스라인. 엔트로피 궤적 단조성은 73.7% 커버리지에서 +5.8 pp를 달성하여, 모든 스칼라 베이스라인(최종 스텝 엔트로피 +2.2 pp; 스칼라 일관성 −0.6 pp, 무작위보다 나쁨)을 문항당 약 1,500 토큰에서 능가한다. 답변집합 커버리지를 맞추면 SC@3/SC@5가 약간 더 높을 수 있으므로, 우리는 단조성을 SC 투표의 보편적 대체물이 아니라 연산 효율적이고 해석 가능한 분류 신호로 자리매김한다.
- 광범위한 절제(ablation)와 강건성 점검. 결과는 표본/스텝(격차 변동 < 1.5 pp), (+21.9 pp 불변), 샘플링 온도 (격차 범위 +14.4~+23.1 pp, 전부 확실히 양수)에 걸쳐 안정적이며, Miller–Madow 편향 보정과 교란변수(confounder) 통제 후에도 확인된다(A.1, A.2, A.7, A.9, A.15절). 이 결과는 스텝 분절(step-segmentation)에도 강건하다: 스텝을 가진 96.7%의 사슬로 제한해도 동일한 +21.9 pp 격차가 나온다(A.13절). 스텝-깊이 ECE 추세는 등질량 구간화(equal-mass binning)에서도 확인된다(A.14절).
이 논문의 나머지는 다음과 같이 구성된다. 2절은 실험 설정과 핵심 지표를 기술한다. 3절은 스텝 수준 보정 결과를 제시한다. 4절은 엔트로피 궤적 분석을 제시한다. 5절은 문헌 속에서 본 연구를 자리매김한다. 6절은 결론을 맺는다.
2. 설정과 방법 (Setup and Methods)
모델과 데이터셋. Qwen2.5-7B-Instruct[Team, 2024]를 사용하며, 모델의 네이티브 채팅 템플릿을
tokenizer.apply_chat_template로 적용하는데, 이 점이 중요하다: 대신 원시 텍스트 프롬프트를 쓰면 이 모델에서 GSM8K 정확도가 약 63%에서 약 38%로 떨어진다. GSM8K 테스트 분할[Cobbe et al., 2021]에서 무작위로 뽑은 =300 문항으로 평가하며, 이는 다단계 추론을 요구하는 초등 산수 문장제(word problem)의 표준 벤치마크다.사고사슬 생성. 각 문항에 대해 하나의 CoT 사슬을 생성한다(온도 =0.1, 최대 512 토큰). 생성 텍스트에서 "Step :" 형태의 패턴을 매칭하여 사슬을 스텝으로 분절하며, 명시적 스텝 표지를 내지 않는 문항은 문장/개행 폴백(fallback)을 쓴다. 보정 분석을 위해 생성 시점에 토큰 로그확률을 기록한다.
스텝 수준 엔트로피 측정. 각 스텝 프리픽스 에서 =5개의 답변 완성문을 샘플링하고(온도 =0.7, 최대 150 토큰) 최종 수치 답을 추출한다. 온도 =0.7은 모델이 불확실할 때 엔트로피 이 되도록 완성문에 다양성을 주입한다; 더 낮은 온도는 불확실성을 과소평가하고 더 높은 온도는 모델의 실제 불확실성과 무관한 잡음을 더한다. 과 에 대한 절제는 A.1, A.2절에 보고한다. 스텝별 답분포 엔트로피는:
여기서 는 스텝 의 개 표본에서 답 의 경험적 빈도다. 이로써 개 스텝을 가진 각 사슬마다 엔트로피 궤적 을 얻는다.
스칼라 일관성(Scalar coherence). 스칼라 일관성 점수는 : 사슬의 시작부터 끝까지의 총 엔트로피 감소량이다. 높은 값은 전반적으로 모델이 추론 사슬을 거치며 답에 대해 더 확신하게 되었음을 뜻한다.
이진 단조성(Binary monotonicity). 한 사슬은 그 엔트로피 궤적이 작은 허용오차까지 매 스텝에서 감소하면 -단조다:
여기서 은 무시할 만한 요동에 대한 민감도를 통제한다. 우리는 =0.01을 1차 임계로 쓴다; 이는 (내트 단위 엔트로피에 대한) 스텝별 가법 허용오차이지 누적 한계가 아니다. 어느 단일 스텝이라도 식 (2)를 위반하면 그 사슬은 비단조(non-monotone)다. 엄격한 단조성(=0)은 극한 경우다.
스텝 수준 보정. 토큰 로그확률은 스텝별로 집계되어 스텝 내 토큰들의 평균 로그확률 가 된다. 우리는 를 로 사상하는 네 가지 확신도 프록시 함수를 비교한다: 시그모이드-이동(), 시그모이드-무이동(), 원시 로그확률(선형 정규화), 그리고 . 각 프록시에 대해 각 스텝 위치 에서 10개 등폭 구간으로 기대 보정 오차(ECE)[Naeini et al., 2015, Guo et al., 2017]를 계산하며, =500회 재표본에 대한 95% 부트스트랩 신뢰구간을 함께 낸다.
3. 스텝 수준 보정 (Step-Level Calibration)
ECE는 스텝 깊이에 따라 단조 증가한다. 표 1은 스텝 위치 =0에서 네 가지 토큰 로그확률 확신도 프록시와 답분포 확신도 프록시를 요약한다. 그림 1a는 각 스텝 위치 =0,…,7에서 시그모이드-이동 프록시의 ECE를 보인다(관측치가 10개 미만인 위치는 제외). ECE는 스텝 0의 0.186에서 스텝 7의 0.312로 상승한다(68% 상대 증가). 추세는 여덟 위치 전반에서 단조지만, =8 스텝 구간에 대한 형식적 Spearman 검정은 검정력이 부족하다(=0.27, =0.45). 등질량(십분위) 구간화도 추세를 확인하며 ECE 값이 0.195 → 0.357(스텝 0→7)이다; 스텝별 비교는 A.14절 참조.
표 1. 파일럿 GSM8K 분할(=300)에서 스텝-0 정오 예측을 위한 확신도 프록시. ECE: 기대 보정 오차; AUROC: ROC 곡선 아래 면적; : 최종 답 정오와의 Spearman 상관. 모든 토큰 로그확률 프록시는 동일한 Spearman 랭킹과 붕괴된 확신도 범위를 낸다. 더 큰 규모의 GSM8K와 MATH-500 강건성 결과는 A.16절과 4절에 보고한다.
확신도 프록시 | ECE ↓ | AUROC ↑ | 확신도 범위 | |
(시그모이드-이동) | 0.186 | — | +0.166\\ | [0.802, 0.818] |
(시그모이드-무이동) | 0.133 | — | +0.166\\ | [0.475, 0.500] |
(원시 로그확률, 정규화) | 0.265 | — | +0.166\\ | [0.990, 1.000] |
(exp-로그확률) | 0.254 | — | +0.166\\ | [0.906, 1.000] |
다수결 득표율(답분포) | 0.251 | 0.547 | +0.084 | [0.144, 0.749] |
<0.01; 네 토큰 로그확률 프록시 모두 동일한 Spearman (같은 로그확률 순서).
토큰 로그확률 프록시는 랭킹을 공유하지만 확신도 범위를 압축한다. 네 토큰 로그확률 프록시 모두 정오와 동일한 Spearman 상관(=+0.166, =0.004)을 내는데, 이들이 모두 동일한 기저 로그확률 값의 엄격한 단조 변환(문항 전반에 걸쳐 같은 랭킹을 냄)이기 때문이다. 더 중요하게, 정규화 선택 탓에 확신도 범위가 붕괴한다: 시그모이드-이동 프록시는 300문항 모두에 [0.802, 0.818]의 확신도(폭 0.016)를 부여하고 원시 로그확률 프록시는 [0.990, 1.000]으로 붕괴한다. 이 범위 압축은 로그확률의 신호로서의 본질적 결함이 아니라, 선택된 변환과 토큰 확률 체제가 결합한 속성이다. 실무적 귀결은 ECE 지표가 판별 실패가 아니라 평균 확신도 대 경험적 정확도 격차를 반영한다는 점이다: 모델은 정답 여부와 무관하게 표준 변환 후 0.8 이상으로 사상되는 좁은 체제에 토큰 수준 로그확률을 배정한다.
답분포 확신도. =5 스텝별 표본에서 계산한 다수결 득표율(답분포 프록시)은 이 구조적 붕괴를 피해 확신도 값이 [0.14, 0.75]에 걸친다. 그러나 예측력이 약하다: ECE= 0.251, AUROC= 0.547, Spearman = +0.084(=0.15, 유의하지 않음). 스텝 0의 답분포 스칼라는 제한된 보정만 제공한다.
해석. 스텝 수준 ECE 추세를 보면 이미 스텝 0에서 부실하게 보정된 토큰 로그확률 확신도가 추론이 진행될수록 점진적으로 더 나빠지는 것으로 보인다. 직관에 어긋난다: 모델이 최종 답에 가까워질수록 더 잘 보정되리라 기대할 수 있다. ECE 증가는 확률 분산의 증가가 아니라, 모델이 뒤쪽 스텝에서 실효적으로 더 과잉확신하게 되는(평균 확신도는 거의 일정한데 경험적 정확도는 변함) 데서 비롯한다. 우리는 이를 모델·데이터셋 전반의 추가 조사가 필요한 기술적 관찰로 해석한다.
자연스러운 질문은 스텝 의 답분포가 최종 답 정오보다 스텝- 중간 정오에 더 잘 보정되어 있는가다. 이는 스텝 수준 정오 레이블을 요구하는데, 우리의 비지도 설정에서는 쓸 수 없다; 그것을 배정하려면 프로세스 보상 모델(process reward model)[Lightman et al., 2023]이나 사람 주석이 필요하다. 따라서 우리는 유일하게 쓸 수 있는 보정 목표로 최종 답 정오를 사용하며, 이것이 초기 스텝에 대해서는 불일치임을 인정한다. 이 프레이밍 하에서 우리 ECE 곡선은 스텝-국소 정오 보정에 대한 직접 증거가 아니라 최종 성공의 예측적 보정으로 해석해야 한다. 스텝 0의 답분포 스칼라 MVR$_k$가 최종 정오에 대해 AUROC= 0.547만 달성한다는 사실은 단일 스텝 스칼라가 제한된 보정 신호만 제공함을 확인한다. 이것이 4절의 궤적-형태 분석의 동기다.
4. 엔트로피 궤적 동역학 (Entropy Trajectory Dynamics)
스칼라 일관성은 예측력이 없다. 스칼라 일관성 (총 엔트로피 감소량)은 최종 답 정오와 Spearman =−0.059(=0.31, 유의하지 않음)를 갖는다. 정답은 오답보다 낮은 총 엔트로피 감소량과 연관된다(평균 일관성: 정답 0.59 vs 오답 0.68; 격차= −0.088). 이 반직관적 방향은 오답 사슬이 틀린 답으로 빠르게 수렴하여 큰 겉보기 일관성을 보이는 반면 정답 사슬은 더 온건한 수렴으로 더 오래 숙고할 수 있는 경우를 반영한다.
이진 단조성은 강한 예측자다. 평가된 300개 사슬 중 221개(73.7%)가 식 (2)의 기준으로 단조다. 주요 결과는 표 2와 그림 1b와 같다:
정확도 격차 +21.9 pp는 통계적으로 강건하다(95% CI: [+9.5, +34.3], 층화 부트스트랩; Fisher 정확검정 =0.0005; OR= 2.50).
표 2. 파일럿 GSM8K 분할(=300, Qwen2.5-7B-Instruct)에서 엔트로피 궤적 단조성별 정확도. CI는 95% 부트스트랩; 는 Fisher 정확검정. 전체 GSM8K(=1319)와 MATH-500(=500) 강건성은 본문에 보고.
부분집합 | 정확도 | 95% CI | Fisher / OR | |
전체 사슬 | 300 | 63.0% | — | — |
단조 사슬 | 221 | 68.8% | [63.0, 74.7] | =0.0005 / OR= 2.50 |
비단조 사슬 | 79 | 46.8% | [35.7, 57.9] | — |
정확도 격차(단조 − 비단조) | ㅤ | +21.9 pp | [+9.5, +34.3] | ㅤ |
추가 강건성 점검으로, 같은 실행 구성 하의 3-시드 스위프는 일관되게 양의 단조/비단조 격차를 낸다(평균 +9.1 pp; 범위 +5.2~+13.8 pp; A.18절). SC@3 동의, 사슬 길이, 문항 길이를 포함하는 난이도 프록시 통제를 쓰면 단조성은 독립적 양의 예측자로 남는다(OR ≈ 2.37; A.8절).
더 큰 규모에서도 방향성 효과가 강하게 남는다. 전체 GSM8K(=1319)에서 단조 사슬은 93.2% 정확도 vs 비단조 81.7%(격차 +11.5 pp), 단조 커버리지 68.1%다. MATH-500(=500)에서 단조 사슬은 63.7% vs 30.4%(격차 +33.3 pp), 단조 커버리지 27.0%다(A.16절).
Mistral-7B 교차 모델 재현. GSM8K 실험을 Mistral-7B-Instruct-v0.3(=300, 동일 샘플링 설정과 시드)로 재현한다. 형태 신호는 강하고 유의하게 남는다: 단조 사슬 72.3% vs 비단조 37.6%, 격차 +34.7 pp(OR= 4.33, Fisher <), 단조 커버리지 39.7%(A.17절). 모델 계열 간 절대 정확도는 다르지만 핵심 형태-크기 효과는 지속된다.
형태-크기 분리. 귀무(null) 스칼라 결과(=−0.06)와 유의한 이진 결과(OR= 2.50, =0.0005)의 대비는 형태-크기 분리를 드러낸다: 엔트로피가 매 스텝에서 감소하는가(형태)는 정오를 예측하지만, 총량으로 얼마나 떨어지는가(크기)는 그렇지 않다.
이 분리는 개념적으로 유익하다. 엔트로피가 급격히 떨어졌다가 어려운 하위 스텝을 만나 오르고 다시 떨어지는 사슬은 큰 총 일관성 를 가지면서도 비단조 동역학이 사슬 중간의 혼란을 신호할 수 있다. 반대로 매 스텝에서 작지만 꾸준히 엔트로피가 감소하는 사슬은 단조이며, 모델이 답의 방향에 대해 결코 "마음을 바꾸지" 않았음을 나타낸다.
실패 양식 분석. 단조성은 진단 도구이지 완벽한 신탁(oracle)이 아니다. 221개 단조 사슬 중 69개(31.2%)는 *거짓 양성(false positive)*이다: 단조이지만 오답. 79개 비단조 사슬 중 42개(53.2%)는 *거짓 음성(false negative)*이다: 비단조이지만 정답. 최종 정오 분류기로서 단조성은 정밀도(precision) 68.8%(152/221), 재현율(recall) 80.4%(152/189), F1 74.1%를 갖는다. 따라서 이 신호는 고정밀 정오 인증서라기보다, 재샘플링이나 기권(abstention)을 위해 오답 가능성이 높은 답을 표시하는 분류 필터로 가장 유용하다. 자연스러운 확장 하나는 단조성을 상보적 신호(예: 토큰 로그확률에서 나온 최종 답 확신도나 다수결 득표율)와 가벼운 점수화 규칙으로 결합하는 것이다; 그런 결합은 비슷한 커버리지에서 거짓 양성률을 낮출 수 있다.
정성적 예시. 그림 2는 대표적인 엔트로피 궤적을 제시한다. 단조 사슬은 매끄러운 감소를 그린다: 스텝을 더할 때마다 불확실성이 줄어든다. 비단조 사슬은 스텝 2에서 엔트로피 급등(spike)을 보인 뒤(모델이 뒤의 추론과 상충하는 중간 계산을 도입한 지점) 부분적으로 회복한다.
표 3. 파일럿 GSM8K 분할(=300)에서 값싼 신뢰성 신호들. 커버리지는 73.7%(=221)로 고정. AURC: 위험-커버리지 곡선 아래 면적(낮을수록 좋음; 무작위 ≈ 0.398, 신탁 = 0.068). \: <0.05; \\*: <0.01.
신호 | Acc@73.7% | Δ | Spearman | AURC |
무작위(Random) | 62.9% | −0.1 pp | 0.000 | 0.398 |
사슬 길이(짧은 것 먼저) | 65.6% | +2.6 pp | +0.101 | 0.310 |
최종 스텝 엔트로피 | 65.2% | +2.2 pp | +0.093 | 0.313 |
스칼라 일관성 | 62.4% | −0.6 pp | −0.059 | 0.408 |
자기심판(검증자 1회 호출) | 62.4% | −0.6 pp | +0.019 | 0.368 |
Yes/No 자기평가((Yes)) | 63.3% | +0.3 pp | −0.019 | 0.395 |
최대 양의 | 68.8% | +5.8 pp | +0.135\* | 0.340 |
위반 횟수($-$vc) | 68.8% | +5.8 pp | +0.209\\ | 0.311 |
엔트로피 단조성(ours) | 68.8% | +5.8 pp | +0.200\\ | 0.311 |
선택적 예측과 베이스라인 비교. 표 3은 73.7% 커버리지에서 엔트로피 궤적 단조성을 일곱 개의 값싼 베이스라인과 비교한다. 단조성은 전 커버리지에서 +5.8 pp(AURC= 0.311)를 달성하여 최종 스텝 엔트로피(+2.2 pp, AURC= 0.313)를 능가하고 AURC에서 사슬 길이 분류(+2.6 pp, AURC= 0.310)와 대등하다. 리뷰어가 요청한 단일 궤적 베이스라인은 이 설정에서 약하다: 짧은 검증자 호출 1회의 자기심판은 62.4%(AURC= 0.368, = +0.019)에 도달하고, 엄격한 Yes/No 자기평가는 63.3%(AURC= 0.395, =−0.019)로 둘 다 궤적-형태 신호에 크게 못 미친다(프로토콜은 A.21절). 스칼라 일관성은 무작위보다도 나쁘다(−0.6 pp), 형태-크기 분리를 확인한다. 전체 정확도-커버리지 곡선은 그림 3과 같다.
등급 신호로서의 위반 횟수. 이진 단조성 플래그(위반 횟수 = 0)는 연속적 위반 횟수 의 영-임계 이산화다. 등급 신호에는 이진 분할을 넘는 구조가 더 있다: 위반이 0인 사슬은 68.8% 정확도, 정확히 1개인 사슬은 50.8%, 2개 이상인 사슬은 28.6%를 달성한다. 단조 감소하는 진행이다(A.12절). 전규모 데이터셋에서 더 큰 표본으로 같은 추세가 지속된다: GSM8K에서 정확도가 93.2%(=0)에서 86.4%(=1)로, 72.3%(=2)로 떨어지고, MATH-500에서 63.7%에서 43.4%로, 24.2%로 떨어진다. 이에 대응하여 위반 횟수와 정오 사이 Spearman 상관은 두 데이터셋 모두에서 음이다(= −0.198 GSM8K, = −0.381 MATH-500). 따라서 위반 횟수는 강건한 등급 신뢰성 지표다. 파일럿 GSM8K 분할에서도 이진 단조성과 같은 AURC를 달성한다(AURC= 0.311). 결정적으로, 위반의 크기는 예측 가치를 더하지 않는다: 비단조 사슬 중 최대 양의 는 정오와 Spearman =−0.017(=0.88)로, 얼마나 많은 교란이 일어나는가가 중요하지 얼마나 큰가가 아님을 확인한다. 이는 형태-크기 분리를 다중 위반 상황으로 직접 확장한 셈이다.
토큰 예산과 등예산 자기일관성. 우리 방법은 문항당 개의 짧은 완성문(최대 150 토큰)을 사용하며, 총 약 1,500 토큰으로, 10-사슬 자기일관성(약 3,000 토큰)의 두 배 저렴이자 40-사슬 자기일관성(약 12,000 토큰)의 여덟 배 저렴이다. 우리는 같은 300개 GSM8K 문항에서 경험적 등예산 베이스라인을 실행한다(표 14). 우리 방법과 거의 동등한 비용에서 SC@5는 문항당 평균 1385.7 토큰을 쓰고 65.3% 정확도에 도달한다. SC@3은 문항당 831.4 토큰으로 66.0% 정확도다. ESC 방식의 조기 중단 시뮬레이션은 문항당 673.6 토큰에서 66.3% 정확도에 도달하며 평균 2.35 사슬 후 멈춘다. 참고로 우리의 단조성-게이트 정책은 답변 부분집합(73.7% 커버리지)에서 문항당 약 1,500 토큰으로 68.8% 정확도를 낸다. 이 경험적 결과는 이전의 논변만의 비교를 대체하며, 전-사슬 투표가 탐욕적(greedy) 디코딩보다 개선되는 한편 ESC가 SC 방식 베이스라인 중 더 강한 효율-정확도 절충을 제공함을 보인다. 목표를 맞춘 비교를 위해, SC 출력을 투표-동의 확신도로 랭킹하여 커버리지-인지(coverage-aware) SC 곡선도 계산한다. 73.7% 커버리지에서 SC@3과 SC@5는 각각 70.6%, 69.7% 답변집합 정확도에 도달하며, 이는 우리 단조성 랭킹의 68.8%와 비교된다(A.20절, 통일된 커버리지-일치 비교 그림 포함). 이는 단조성이 모든 선택적 지표에서 일률적으로 최선은 아님을 뜻한다; 그 실무적 가치는 단일 1차 사슬과 짧은 스텝별 탐침(probe)만 요구하면서 경쟁력을 유지하고, 동시에 스칼라 점수가 회복하지 못하는 해석 가능한 실패 탐지 신호(위반 패턴)를 제공한다는 점이다. 지표 불일치를 피하기 위해 커버리지-인지와 전-커버리지 두 관점을 모두 보고한다: 우리의 68.8% 수치는 73.7% 커버리지에서 얻은 답변집합 정확도이고, SC/ESC 수치는 전-커버리지 정확도다. 토큰 회계도 (i) SC/ESC의 측정된 전-사슬 비용과 (ii) 우리 방법의 성분별 회계(기저 사슬 측정치, 스텝별 샘플링 항 명시적 매개변수화)로 나뉜다; 전체 분해와 가정은 A.22절 참조.
등예산 공정성 명확화. 우리는 목적상 두 평가 목표를 비교한다: 우리 방법의 선택적 성능(고정 커버리지에서 답변집합 정확도) vs SC/ESC의 전-커버리지 성능(전-문항 정확도). 예산도 서로 다른 운용 목표에 묶여 있다: 우리 방법은 랭킹·기권을 위해 스텝별 짧은 완성문에 토큰을 쓰고, SC/ESC는 모든 문항에 답하기 전 투표를 위해 추가 전-사슬 표본에 토큰을 쓴다. 이론적 스케일링 논변만이 아니라 공정한 경험적 기준점을 제공하기 위해, 같은 300문항 분할에서 측정된 토큰 비용으로 실행된 SC@3, SC@5, ESC-sim 실행을 보고한다(표 14, A.22절).
연산-인지 분류를 위한 초기 스텝 단조성. 프리픽스만의 변종도 이미 유용한 분리를 제공한다. 엔트로피 곡선의 첫 =2 전이만 사용하면 프리픽스 단조성이 적어도 두 개의 전이를 가진 =290 문항에서 +16.7 pp 정확도 격차(65.7% vs 49.0%)를 달성한다. 이 프리픽스 규칙은 전체 궤적 비용의 0.60배만 쓴다(A.4절). 같은 부분집합에서 전체-궤적 단조성은 +21.9 pp를 내므로, =2 규칙은 전체 격차의 약 76%를 실질적으로 더 낮은 비용에 회복한다. 이 결과는 첫 두 전이 후 문항을 분류하고 모호한 경우만 전체 궤적으로 확장하는 조기-탈출(early-exit) 배치 모드를 뒷받침한다.
5. 관련 연구 (Related Work)
CoT 추론을 위한 스텝 수준 신호. 최근 연구는 CoT 생성에서 스텝-해상도(step-resolution) 정보를 탐구하기 시작했다. ConfSpec[Liu and He, 2026]은 추측적(speculative) 추론에서 조기 탈출을 촉발하기 위해 스텝별 토큰 확신도를 써서 명시적 신뢰성 모델링 없이 추론을 가속한다. 동시대 연구는 추론 사슬의 RL 미세조정에 스텝 수준 확신도 신호를 쓴다[Cai and Sugiyama, 2026]. 우리 연구는 목표가 다르다: 우리는 훈련 없이 진단적 목적으로 단일 사슬 내부의 불확실성 동역학을 연구한다. 또한 여러 샘플링된 CoT 경로에 걸쳐 집계하는 연구와 세분성(granularity)이 다르다: 우리는 병렬 사슬을 가로지르는 것이 아니라 단일 사슬 내부의 궤적 형태를 분석한다.
Active-Prompt[Diao et al., 2023]는 여러 샘플링된 사슬에 걸친 최종 답 불일치/엔트로피에 따라 few-shot 예시를 선택하며, 출력의 답분포 엔트로피가 난이도 추정에 유용함을 보인다. 우리 연구는 사슬을 가로지르는 것이 아니라 단일 사슬 내부의 엔트로피 동역학을 연구하고, 궤적의 형태(종단 값만이 아니라)가 진단 가치를 가짐을 보임으로써 이를 보완한다. 자기평가 유도 디코딩[Xie et al., 2023]은 스텝별 정오 신호를 빔서치에 통합한다; 프로세스 보상 모델[Lightman et al., 2023, Uesato et al., 2022]은 레이블 데이터로 스텝 해상도에서 추론을 감독한다. 대조적으로 우리 방법은 완전 비지도이며 추론만 요구하여, 레이블된 프로세스 데이터 없이 적용 가능하다.
자기일관성과 샘플링 기반 신뢰성. 신뢰성 추정의 지배적 접근은 자기일관성[Wang et al., 2023]이다: 여러 독립 CoT 사슬을 생성해 다수결 답을 취한다. 확장으로는 복잡도 기반 가중[Fu et al., 2023]과 보편적 자기일관성[Chen et al., 2023]이 있다. 이 방법들은 문항당 10~40개 표본을 요구하고 각 사슬 내 스텝 수준 구조를 버린다. 조기중단 자기일관성(ESC)[Li et al., 2024]은 다수가 탐지되면 샘플링을 멈춰 이 비용을 줄이지만, 여전히 전-사슬 수준에서 작동하고 스텝 수준 진단을 제공하지 않는다. 우리 접근은 스텝당 =5개의 짧은 완성문(전-사슬이 아니라)을 생성하여 문항당 약 1,500 토큰(SC-10의 약 절반, SC-40의 8분의 1)에서 스텝-해상도 정보를 제공한다. 핵심 구별은 우리가 사슬-간 다수결이 아니라 사슬-내 샘플링의 궤적 형태를 신뢰성 신호로 쓴다는 점이다.
Xiong et al.[2026]은 단일 궤적 특징을 근거로 다중 경로 추론을 언제 호출할지의 상보적 질문을 학습된 샘플링 컨트롤러로 다룬다. 우리 방법은 훈련 없이 순수하게 엔트로피 동역학에 기반한 값싼 비지도 대안을 제공한다.
단일 궤적 신뢰성 신호. 최근 여러 연구가 가벼운 단일 사슬 신뢰성 신호를 제안한다. Xie et al.[2026]은 앵커-토큰 확신도(anchor-token confidence)를 도입한다: 단일 Yes/No 자기평가 토큰에 대한 모델 확률을 신뢰성 지표로 쓴다. 이 신호는 극히 값싸지만(순전파 1회) 추론 사슬의 시간적 구조를 버린다. 우리의 엔트로피 궤적 단조성은 스텝당 =5개의 짧은 완성문을 대가로 스텝을 가로지르는 불확실성 진화를 추적하여 더 풍부한 정보를 포착한다. Ghasemabadi and Niu[2025]는 LLM이 자기심판으로 자신의 실패를 예측할 수 있는지 연구하며, 구조적 신호를 보완하는 중간 정도의 성공을 발견한다. 화이트박스 정오 검증(CRV; Zhao et al., 2026)은 검증을 위해 추론 사슬의 계산 그래프를 활용하여 샘플링 기반 접근보다 높은 정확도를 달성하지만 모델 내부 접근과 상당한 연산을 요구한다. 우리 방법은 완전 블랙박스로, 프리픽스에서 완성문을 생성할 능력만 요구한다.
시간적 확신도 동역학. 최근 여러 연구가 확신도를 시간적 과정으로 명시적으로 모델링한다. Temporalizing Confidence[Mao et al., 2025]는 (단조성-유사 템플릿을 포함한) 신호 시간 논리(Signal Temporal Logic) 제약으로 스텝별 확신도 궤적을 정식화하지만, 토큰 수준 확신도 트레이스에서 작동하고 더 풍부한 확신도 형성 통제를 요구한다. Recurrent Confidence Chain[Mao and Venkat, 2026]은 스텝 간 의존성으로 정보를 주는 시간적 순환 메커니즘으로 스텝 확신도를 집계하여 추가 모델링 가정의 대가로 보정을 개선한다. Thought Calibration[Wu et al., 2025]은 은닉 표현에 대한 가벼운 탐침으로 확신도 기반 테스트타임 중단에 집중한다. 이 방법들과 비교해 우리 접근은 의도적으로 최소한이다: 완전 비지도, 블랙박스, 그리고 오직 프리픽스 완성문에서 샘플링된 답분포에만 기반한다.
프로세스 보상 모델. 지도 프로세스 보상 모델(PRM)은 사람 주석[Lightman et al., 2023]이나 자동 주석[Uesato et al., 2022, Wang et al., 2024]으로 중간 스텝에 신용(credit)을 배정한다. PRM은 훈련과 레이블된 프로세스 데이터를 요구한다; 우리의 엔트로피 궤적 접근은 완전 비지도이며 추론만 요구한다. 단조성 신호는 프로세스 감독의 값싼 프록시로 볼 수 있다: 답에 대한 불확실성을 결코 증가시키지 않는 사슬은 사슬 중간 오류를 포함할 가능성이 낮다.
LLM 보정. 상당한 연구가 출력 수준에서 LLM 예측의 보정을 연구한다[Guo et al., 2017, Kadavath et al., 2022, Xiong et al., 2024]. Kadavath et al.[2022]은 LLM이 자기평가로 사실 지식에 대한 보정된 불확실성을 표현할 수 있음을 보인다. Xiong et al.[2024]은 온도 스케일링과 언어화된 확신도 유도를 포함한 LLM 보정 방법을 조망한다. 우리 연구는 추론 사슬 내부에서 보정이 어떻게 진화하는지(최종 답 보정 연구에 없는 시간적 차원)를 연구한다는 점, 그리고 토큰 로그확률 확신도가 스텝 깊이에 따라 나빠짐을 관찰한다는 점에서 다르다.
6. 결론 (Conclusion)
우리는 추론 스텝에 걸친 답분포 엔트로피 동역학의 형태가 사고사슬 출력의 정오를 예측하는지 연구했다. Qwen2.5-7B-Instruct로 GSM8K에서 명확한 형태-크기 분리를 발견했다: 이진 엔트로피 궤적 단조성은 정오의 유의한 예측자(OR= 2.50, +21.9 pp 정확도 격차)인 반면, 스칼라 총 엔트로피 감소량은 그렇지 않다(=−0.06, =0.31). 토큰 로그확률 확신도는 첫 추론 스텝부터 마지막 스텝까지 보정이 나빠지고, 단조성 기반 선택적 예측은 73.7% 커버리지에서 +5.8 pp 정확도를 달성한다. 이 방향성 효과는 더 큰 실행에서도 지속된다: 전체 GSM8K(=1319)에서 단조 사슬 93.2% vs 비단조 81.7%(+11.5 pp), MATH-500(=500)에서 63.7% vs 30.4%(+33.3 pp). 같은 방향성 효과가 Mistral-7B-Instruct-v0.3에서 더 큰 격차(+34.7 pp; OR= 4.33)로 재현되어 교차 계열 강건성을 뒷받침한다.
한계(Limitations). 더 큰 규모 실행과 두 번째 모델 재현에도 불구하고 이 연구는 폭에서 여전히 제한적이다. MATH-500(=500)은 수학 도메인 내 고무적인 교차 데이터셋 증거(단조 +33.3 pp; A.16절)를 제공하지만, 더 넓은 과제 다양성이 여전히 필요하다. Mistral-7B-Instruct-v0.3에서 수행한 GSM8K 재현은 핵심 신호를 확인하지만(A.17절), 더 넓은 모델 커버리지(예: Phi-3, Gemma, Llama 변종)가 여전히 필요하다. 온도 절제()는 +21.9 pp 격차가 샘플링 온도 전반에서 강건함을 확인한다(A.1절). 강건성과 교란 통제 분석(A.7, A.9절)은 +21.9 pp 격차가 모든 에서 불변이고 사슬 길이를 통제한 편상관이 유의함(=0.179, =0.0018)을 보인다. 문항 난이도와 다른 교란변수는 통제되지 않았다. 스텝 수준 ECE 추세는 =8 스텝 구간에서 형식적 추론에 검정력이 부족한 기술적 관찰이다. 단조성 신호는 31.2% 거짓 양성률을 가져 독립형 정오 인증서로서의 정밀도를 제한한다; 등급 위반 횟수가 추가 해상도를 제공한다(A.12절). 보정 분석은 우리의 비지도 설정에서 스텝 수준 정오 레이블을 쓸 수 없으므로 최종 답 정오를 목표로 쓴다. 더 강한 지도나 은닉 상태 접근을 쓰는 최근의 시간적 확신도 방법(예: STL 방식 확신도 형성, 순환 확신도 집계, thought-calibration 탐침)은 화이트/그레이박스 설정에서 더 나은 보정을 달성할 수 있다; 그 아이디어를 블랙박스 궤적 샘플링과 통합하는 것은 열려 있다. 앵커-토큰 확신도(Xie et al. 2026)와 자기심판[Ghasemabadi and Niu, 2025]은 현재 연구에 베이스라인으로 포함되지 않았다; 이들을 직접 비교하려면 같은 문항에 단일-토큰 자기평가 프롬프트를 구현해야 하는데, 이는 후속 연구로 미룬다. 결과는 여전히 산술·문장제 방식 추론에 집중되어 있다. 현재의 HotpotQA 실행은 문맥 통합과 QA 특화 평가가 도메인 간 비교 전에 표준화되어야 하므로 아직 헤드라인 결론에 적합하지 않다.
향후 연구(Future work). 즉각적 확장은 (1) 추가 모델(예: Llama-3-8B, Mistral)과 데이터셋(MATH 전체, AQuA, HotpotQA)에 걸친 재현; (2) 31.2% 거짓 양성률을 낮추기 위해 단조성 신호를 상보적 특징(최종 답 확신도, 위반 횟수)과 학습된 점수화 규칙으로 결합; (3) 단조성 플래그를 표적 재샘플링의 촉발로 사용 — 사슬이 비단조일 때만 선택적으로 다중 사슬 자기일관성을 적용해 평균 토큰 예산을 전체 자기일관성 아래로 낮춤; (4) 모델이 정오와 무관하게 단조 엔트로피 궤적을 강제하도록 훈련되는 적대적 시나리오 연구를 포함한다.
부록 (Appendix)
A.1. 샘플링 온도 에 대한 절제
표 4는 스텝별 완성문 샘플링 온도 을 달리한 효과를 단조성 비율과 정확도 격차에 대해 보고한다(=5, =300, =0.01). =0.7 행이 주요 결과다.
표 4. 엔트로피-단조성 신호에 대한 샘플링 온도 의 효과. 낮은 는 불확실성을 과소평가하고(더 결정론적 완성문), 높은 는 모델 불확실성과 무관한 잡음을 더한다. 격차 = 단조 − 비단조 정확도.
단조 비율 | 단조 acc / 비단조 acc | 격차 | ||
0.3 | 300 | 0.697 | 0.703 / 0.473 | +23.1 pp |
0.5 | 300 | 0.707 | 0.689 / 0.523 | +16.6 pp |
0.7 | 300 | 0.737 | 0.688 / 0.469 | +21.9 pp |
1.0 | 300 | 0.723 | 0.687 / 0.542 | +14.4 pp |
A.2. 스텝별 표본 수 에 대한 절제
표 5는 스텝별 완성문 표본 수 을 달리한 효과를 단조성 비율, 그룹별 정확도, 정확도 격차에 대해 보고한다(=0.01). =5 행(=300)이 주요 결과다.
표 5. 엔트로피-단조성 신호에 대한 스텝별 표본 수 의 효과. 단조·비단조 정확도는 =0.01에서. 격차 = 단조 − 비단조 정확도. =10 실행은 =212를 썼는데, =3과 =10 실험이 같은 GPU에서 동시 실행되어 긴 스텝에서 간헐적 CUDA 메모리 오류가 일부 문항을 제외했기 때문이다.
단조 비율 | 단조 acc / 비단조 acc | 격차 | ||
3 | 300 | 0.843 | 0.672 / 0.447 | +22.5 pp |
5 | 300 | 0.737 | 0.688 / 0.469 | +21.9 pp |
10 | 212 | 0.698 | 0.743 / 0.531 | +21.2 pp |
정확도 격차는 세 값 전반에서 본질적으로 동일하다: =3, 5, 10에 대해 각각 +22.5, +21.9, +21.2 pp — 1.5 pp 미만의 변동. 이 증가하면 단조성 비율은 감소하지만(더 많은 표본이 더 많은 위반을 탐지), 단조·비단조 정확도 격차는 안정적이다. 이 안정성은 주 실험의 =5 선택이 결정적이지 않으며 형태-크기 분리가 엔트로피 추정의 정밀도에 강건함을 입증한다.
A.3. 구현 세부
모델. Qwen2.5-7B-Instruct를 Hugging Face
transformers 라이브러리로 bfloat16 정밀도에서 로드한다. 모델의 네이티브 채팅 템플릿을 사고사슬 시스템 프롬프트와 함께 tokenizer.apply_chat_template로 적용한다. VLLM 백엔드는 쓰지 않는다; 표준 자기회귀 생성을 model.generate로 수행한다.스텝 분절. 스텝은 생성 텍스트에서 정규식
Step [0-9]+:를 매칭해 추출한다; 매칭 시 Step N: 프리픽스를 벗기고 내용을 저장한다. 그런 패턴이 없으면 텍스트를 이중 개행이나 문장 경계로 분할한다. 따라서 저장된 모든 스텝 텍스트는 번호 표지가 아니라 스텝 내용만 담는다. 우리 실험에서 96.7%의 사슬이 스텝을 가져 거의 모든 사슬의 다단계 생성을 확인한다; 스텝-수 필터링에 대한 주요 결과의 강건성은 A.13절에 보고한다.엔트로피 계산. 각 스텝 프리픽스에서 =5개 완성문을 독립적으로 샘플링한다(온도 =0.7, 최대 150 토큰). 최종 수치 답은 각 완성문 끝의 정수·소수를 매칭하는 정규식으로 추출한다. 수치 답이 없으면 그 완성문은 버린다; 파싱 가능한 답을 낸 완성문이 2개 미만인 스텝은 궤적에서 제외한다.
스텝별 완성문 형식. 각 프리픽스에 대해 프리픽스 텍스트에서 직접 생성을 이어가고(추가 검증자 프롬프트 없음) 위에 기술한 정규식으로 생성 연속을 파싱해 최종 수치 답을 얻는다. 이 설계는 파이프라인을 완전 블랙박스·모델-불가지론적으로 유지한다: 정상 디코딩 출력을 넘는 모델 내부 로짓을 요구하지 않으며, 스텝 위치 사이에 추가 프롬프트-템플릿 교란을 도입하는 것을 피한다.
A.4. 초기 스텝 단조성 (프리픽스 분석)
궤적 형태가 얼마나 일찍 유용해지는지 검증하기 위해, 엔트로피 곡선 의 첫 개 전이만 써서 단조성을 재계산한다(). 결과는 표 6에 보고한다. 프리픽스- 연산은 각 사슬의 전체 궤적 대비 평가된 전이의 평균 비율로 측정한다.
표 6.
figures/prefix_results.json에서 GSM8K 프리픽스 단조성. 격차 = 단조 − 비단조 정확도. “Full (same as =2)”는 부분집합 이동을 통제한다.프리픽스 규칙 | 커버리지 | 단조 acc | 비단조 acc | 격차 | 비용 비율 | |
=1 | 300 | 91.0% | 64.1% | 51.9% | +12.3 pp | 0.32 |
=2 | 290 | 82.4% | 65.7% | 49.0% | +16.7 pp | 0.60 |
=3 | 225 | 72.4% | 63.8% | 50.0% | +13.8 pp | 0.73 |
Full (전체) | 300 | 73.7% | 68.8% | 46.8% | +21.9 pp | 1.00 |
Full (same as =2) | 290 | 72.8% | 68.7% | 46.8% | +21.9 pp | 1.00 |
핵심 연산-인지 결과는 =2가 이미 신호의 대부분을 회복한다는 것이다: 전체 궤적 비용의 60%만으로 +16.7 pp. 일치된 전체-궤적 부분집합(+21.9 pp) 대비 이는 전체 정확도 격차의 약 76%다.
A.5. 스텝 위치별 전체 확신도 프록시 결과
표 7은 각 스텝 위치에서 시그모이드-이동 프록시의 전체 ECE 값과 95% 부트스트랩 신뢰구간을 준다.
표 7. 스텝 위치별 ECE(시그모이드-이동 프록시; 95% 부트스트랩 CI, =500 재표본). 는 적어도 개 스텝을 가진 문항 수.
스텝 | ECE | 95% CI | |
0 | 300 | 0.186 | — |
1 | 300 | 0.186 | — |
2 | 288 | 0.190 | — |
3 | 241 | 0.218 | — |
4 | 175 | 0.222 | — |
5 | 118 | 0.232 | — |
6 | 73 | 0.256 | — |
7 | 42 | 0.312 | — |
A.6. 사슬 길이별 단조성
긴 사슬은 비단조 스텝의 기회가 더 많다. 스텝 사슬 중 단조성 비율은 81.2%; 스텝 사슬 중에서는 64.7%다(사슬 길이와 단조성 플래그 사이 Spearman =−0.37, <0.0001). 사슬 길이는 통제해야 할 교란변수다.
A.7. 교란 통제: 편상관과 로지스틱 회귀
엔트로피 궤적 단조성의 독립 기여를 사슬 길이·최종 엔트로피 교란에서 분리하기 위해, =300 사슬에 두 보완 분석을 수행한다.
편상관(Partial correlation). 단조성 플래그와 정오 레이블을 모두 사슬 길이 으로 잔차화(선형 회귀)한 뒤 잔차의 피어슨 상관을 계산한다. 편상관은 =0.179(=0.0018)로, 두 변수에서 사슬 길이 성분을 제거한 후에도 단조성이 정오를 예측함을 확인한다.
로지스틱 회귀. 정오를 결과로, 세 예측자(이진 단조성, 사슬 길이 , 최종 엔트로피 ; 모두 표준화)를 쓰는 로지스틱 회귀는 계수 =0.36, =−0.05, =−0.07을 내며 AUROC= 0.627이다. 단조성만의 모델은 AUROC= 0.591을 달성한다; 사슬 길이와 최종 엔트로피를 더하면 약간의 개선이 있다. 단조성에 대한 양의 계수는 주 Fisher 정확검정 결과(OR= 2.50)와 일관된다.
A.8. 난이도-프록시 통제
단조성이 문항 난이도의 프록시일 뿐인지 검증하기 위해, 저- 자기일관성 동의에 기반한 더 강한 난이도 프록시를 더한다. 구체적으로 같은 300개 GSM8K 문항에 로지스틱 모델을 적합한다:
결과는
figures/compute_difficulty_control.py로 계산해 figures/difficulty_control.json에 요약한다.단조성 계수는 이 통제 하에서도 양·유의(= 0.861, OR= 2.37, 부트스트랩 , OR의 95% CI [1.43, 3.98])로 남는 반면, 사슬 길이와 문항 길이는 이 명세에서 거의 0이다. SC@3 동의도 유의하여(OR= 1.70, ) 두 신호가 상보적 정보에 기여함을 시사한다.
표 8. GSM8K(=300)에서 난이도-프록시 통제 로지스틱 회귀. 부트스트랩 기반 불확실성 추정치를 폴백 솔버에 사용.
변수 | 계수 | 오즈비 | -값 |
monotone | 0.861 | 2.367 | 0.003 |
chain len z | 0.020 | 1.020 | 0.880 |
question len z | 0.019 | 1.019 | 0.933 |
sc3 agreement z | 0.528 | 1.696 | 0.003 |
추가 층화 점검으로, 문항을 SC@3 동의 수준(1/3, 2/3, 1)으로 그룹화하고 각 층 내에서 단조/비단조 격차를 재계산한다. 격차는 세 그룹 모두에서 양(+18.2 pp ~ +23.5 pp)이며 가중평균 +21.5 pp다. 이 결과는 단조성이 단일 난이도 프록시로 환원되지 않는다는 해석을 뒷받침한다.
A.9. 허용오차 절제
표 9는 에 대해 단조성 비율, 단조 정확도, 비단조 정확도, 정확도 격차를 보고한다.
표 9. 에 대한 단조성 결과의 민감도. 정확도 격차 = 단조 정확도 − 비단조 정확도. 결과는 전반에서 본질적으로 동일하여 =0.01 선택이 결정적이지 않음을 확인한다.
단조 비율 | 단조 acc | 비단조 acc | 격차 | |
0.000 | 0.737 | 0.688 | 0.468 | +21.9 pp |
0.005 | 0.737 | 0.688 | 0.468 | +21.9 pp |
0.010 | 0.737 | 0.688 | 0.468 | +21.9 pp |
0.020 | 0.737 | 0.688 | 0.468 | +21.9 pp |
0.050 | 0.737 | 0.688 | 0.468 | +21.9 pp |
0.100 | 0.737 | 0.688 | 0.468 | +21.9 pp |
0.200 | 0.740 | 0.685 | 0.474 | +21.0 pp |
결과는 놀랍도록 안정적이다: +21.9 pp 격차가 모든 에서 불변이고, =0.20에서 +21.0 pp로만 줄어든다. 이 안정성은 비단조 사슬의 엔트로피 급등이 0.20 내트보다 크기 때문에 발생한다; 임계는 실무에서 드문 아주 작은 요동에서만 중요하다.
A.10. 스텝 제외 통계
파싱 가능한 수치 답이 2개 미만인 스텝은 엔트로피 궤적에서 제외한다(A.3절 참조). 우리 =300 평가에서 제외된 스텝은 0개였다: 모든 사슬의 명목상 1,474개 스텝 전부가 적어도 2개의 파싱 가능한 답을 냈다. 스텝-제외 메커니즘은 우리 결과에 선택 편향을 도입하지 않는다.
A.11. 엔트로피 단조성과 다수결-득표율 단조성의 동등성
한 리뷰어가 다수결 득표율의 단조성(개 완성문 중 가장 흔한 답에 동의하는 비율)이 동등하거나 별개의 신호인지 물었다. 다수결 득표율 는 섀넌 엔트로피 와 다른 요약 통계량이므로, 단조 엔트로피 궤적과 단조 다수결-득표율 궤적은 일반적으로 동일하지 않다.
우리 =300 평가에서 두 신호를 엔트로피에 대해 =0.01, MVR에 대해 대칭 0.05 허용오차로 계산했다. 두 분류기는 300개 사슬 중 298개에서 일치(99.3%)했고 동일한 정확도 격차(+21.9 pp)를 냈다. 이들이 불일치하는 두 사슬은 엔트로피 증가와 다수결-득표율 증가가 함께 나타나는 경우로, 경쟁하는 오답들이 합쳐질 때 생기는 패턴이다. 이 거의 완벽한 일치는 형태-크기 분리가 섀넌 엔트로피에 특유하지 않음을 뜻한다: 분포 집중도의 어떤 합리적 단조 측정치든 같은 정성적 결과를 낸다.
A.12. 위반 횟수: 등급 형태 분석
표 10은 엔트로피 궤적(=0.01)의 -위반 횟수 로 층화한 정확도를 전규모 GSM8K와 MATH-500 실행에서 보고한다.
표 10. 전체 GSM8K와 MATH-500에서 위반 횟수별 정확도. 위반 횟수 는 (=0.01)인 스텝 수와 같다. =0은 단조 사슬에 대응.
데이터셋 | 위반 구간 | 정확도 | Spearman | |
GSM8K (=1319) | 0 | 898 | 93.2% | −0.198 |
ㅤ | 1 | 302 | 86.4% | ㅤ |
ㅤ | 2 | 83 | 72.3% | ㅤ |
ㅤ | ≥ 3 | 36 | 63.9% | ㅤ |
MATH-500 (=500) | 0 | 135 | 63.7% | −0.381 |
ㅤ | 1 | 173 | 43.4% | ㅤ |
ㅤ | 2 | 120 | 24.2% | ㅤ |
ㅤ | ≥ 3 | 72 | 9.7% | ㅤ |
추세는 두 데이터셋 모두에서 단조다: 위반이 적을수록 정오가 높고, 효과는 MATH-500에서 더 강하다. 등급 신호가 이진 분할을 넘는 추가 정보를 담으며 원래 300문항 파일럿을 넘어 확장된다는 뜻이다. 주 실험에서처럼, 위반의 크기는 비단조 사슬 사이에서 신뢰할 만한 예측 가치를 더하지 않아(가 거의 0으로 남음), 횟수 기반 형태-크기 해석을 뒷받침한다.
A.13. 분절 강건성
스텝 분절은 2단계 휴리스틱을 쓴다: 먼저 정규식
Step [0-9]+:로 분할하고; 이것이 1개 이하 부분을 내면 문장·개행 기반 분할로 폴백한다(A.3절). 결과가 분절 방법에 의존하는지 점검하기 위해, 스텝을 가진 96.7%의 사슬로 분석을 제한한다. 폴백에서 나올 만큼 짧은 사슬을 제외한다.이 290개 사슬 중 단조 그룹은 68.7% 정확도, 비단조 그룹은 46.8%를 달성하여, 격차 +21.9 pp(OR= 2.49, Fisher 정확검정 =0.0010)로 반올림 내에서 전체 데이터셋 결과와 일치한다. 주요 발견은 폴백 분절 경로를 썼을 수 있는 소수의 짧은(2-스텝) 사슬의 존재에 민감하지 않다.
A.14. 등질량 ECE 구간화
그림 1a는 ECE 계산에 등폭 구간을 쓴다. 표 11은 각 스텝 위치에서 등폭과 등질량(십분위) 구간화를 비교한다.
표 11. 스텝 위치별 ECE: 등폭(EW) vs 등질량(EM) 구간화. = 적어도 개 스텝을 가진 문항 수. 두 구간화 전략 모두 같은 증가 추세를 보이며, 등질량 구간화는 꼬리에 더 큰 가중치를 두어 뒤쪽 스텝에서 약간 더 높은 ECE를 낸다.
스텝 | ECE (EW) | ECE (EM) | |
0 | 300 | 0.186 | 0.195 |
1 | 300 | 0.186 | 0.186 |
2 | 290 | 0.190 | 0.188 |
3 | 225 | 0.218 | 0.216 |
4 | 160 | 0.222 | 0.222 |
5 | 89 | 0.232 | 0.242 |
6 | 50 | 0.256 | 0.293 |
7 | 25 | 0.312 | 0.357 |
두 구간화 전략 모두 3절에서 보고한 스텝-깊이 오보정 추세를 확인한다. 스텝 0에서 스텝 7까지의 ECE 증가는 +0.126(EW)와 +0.162(EM)로, 두 경우 모두 초기 오보정을 두 배 이상으로 만든다. 가 에서 급격히 줄어들어 이 값들은 더 넓은 신뢰구간을 가짐에 유의하라; 스텝 0–5(여기서 )의 추세가 곡선에서 가장 신뢰할 만한 부분이다.
A.15. 소표본 엔트로피 편향과 Miller–Madow 보정
스텝당 =5 완성문으로 경험적 엔트로피 추정량 는 음으로 편향된다. Miller–Madow 보정은 각 에 을 더하며, 여기서 는 스텝 에서 관측된 고유 답 수다. 이므로 보정은 스텝당 최대 0.4 내트다; 이진 경우(=2)에는 0.1 내트다.
보정은 각 엔트로피 추정치의 레벨(level)에 영향을 주지만, 가 스텝 간 변하지 않는 한 쌍별 차이 에는 영향을 주지 않는다. 우리는 79개 비단조 사슬 중 최소 위반 크기가 0.12 내트임을 검증했다 — 인접 스텝 사이 가 최대 1 변할 때 가능한 어떤 단일 스텝 MM 보정보다 크다. 위반이 < 0.1 내트인 경계 사슬이 0개이므로, Miller–Madow 보정을 적용해도 어떤 단조성 결정도 뒤집히지 않는다. 따라서 주요 결과는 소표본 엔트로피 편향에 강건하다.
A.16. MATH 벤치마크로의 일반화
엔트로피-단조성 신호가 GSM8K를 넘어 일반화되는지 검증하기 위해, 같은 Qwen2.5-7B-Instruct 모델과 =5, =0.7로 MATH-500(=500)에서 평가한다. 결과는 표 12에 보고한다. 신호는 강하게 일반화된다: 단조 사슬은 63.7% 정확도 vs 비단조 30.4%(+33.3 pp 격차). 전체 GSM8K(=1319, 격차 +11.5 pp) 대비 MATH-500은 더 낮은 전체 정확도(39.4%)와 더 낮은 단조 커버리지(27.0%)를 가지며, 과제가 더 어렵고 답분포가 더 다양하다는 것과 일관된다.
표 12. 전체 GSM8K와 MATH-500에서 엔트로피 궤적 단조성, Qwen2.5-7B-Instruct. 단조 그룹은 두 데이터셋 모두에서 더 정확하며, MATH-500에서 격차가 더 크다.
데이터셋 | 단조 비율 | 단조 acc / 비단조 acc | 격차 | |
GSM8K (full) | 1319 | 0.681 | 0.932 / 0.817 | +11.5 pp |
MATH-500 | 500 | 0.270 | 0.637 / 0.304 | +33.3 pp |
A.17. GSM8K에서 교차 모델 재현
단일 모델 우려를 직접 다루기 위해, 주 GSM8K 설정을 Mistral-7B-Instruct-v0.3에서 동일 프로토콜(=300, =5, =0.7, 시드 42)로 재현한다. 결과는 표 13에 요약한다.
표 13. GSM8K에서 교차 모델 재현. 단조성 신호는 모델 계열을 가로질러 강하게 남지만 커버리지는 다르다.
모델 | 단조 비율 | 단조 acc | 비단조 acc | 격차 | |
Qwen2.5-7B-Instruct | 300 | 0.737 | 0.688 | 0.468 | +21.9 pp |
Mistral-7B-Instruct-v0.3 | 300 | 0.397 | 0.723 | 0.376 | +34.7 pp |
Mistral의 경우 Fisher 정확검정은 OR= 4.33과 = 를 내며, 단조/비단조 정확도 격차의 부트스트랩 95% CI는 [+23.4, +45.3] pp다. 신호가 Qwen 모델 계열에 특유하지 않다는 뜻이다.
A.18. 다중 시드 안정성 점검
시드 민감도를 검증하기 위해 GSM8K(=300)를 세 추가 무작위 시드(11, 22, 33)로 재실행하고
figures/aggregate_seed_stability.py로 결과를 집계한다(출력: figures/seed_stability.json). 시드 전반에서 단조/비단조 정확도 격차는 양으로 남는다: +8.3 pp(시드 11), +13.8 pp(시드 22), +5.2 pp(시드 33), 평균 +9.1 pp(표준편차 4.3). 평활화된 오즈비도 일관되게 1보다 크다(평균 3.24).이 스위프의 절대 정확도는 주 시드-42 실행보다 높으므로, 이 실행들은 주-표 운용점의 직접 대체가 아니라 방향성 안정성 점검으로 해석해야 한다.
그림 4
그림 4. GSM8K(=300)에서 세 추가 시드에 걸친 단조 − 비단조 정확도 격차. 격차는 모든 시드에서 양으로 남는다.
A.19. 경험적 등예산 SC/ESC 베이스라인
실행된 등예산 베이스라인에 대한 리뷰어 요청을 다루기 위해, 같은 300개 GSM8K 문항에 Qwen2.5-7B-Instruct(시드 42)로 전-사슬 자기일관성과 ESC 방식 중단을 실행한다. 결과는
sc_baseline/results.json에서 나온다.표 14. GSM8K(=300)에서 경험적 SC/ESC 비교. “Our selective”는 엔트로피 궤적 단조성을 쓰고 73.7% 커버리지에서 답변집합 정확도(주요 결과)를 보고한다. SC/ESC는 전-커버리지 정확도를 보고한다.
방법 | 정확도 | 문항당 평균 토큰 | 커버리지 |
SC@3 | 66.0% | 831.4 | 100% |
SC@5 (거의 등예산) | 65.3% | 1385.7 | 100% |
ESC-sim (최소 2 사슬) | 66.3% | 673.6 | 100% |
Our selective (단조성) | 68.8% | ≈ 1500 | 73.7% |
ESC는 234/300 문항(78.0%)에서 2 사슬에, 46/300(15.3%)에서 3 사슬에 멈추고, 20/300(6.7%)에서 5 사슬을 모두 쓴다(평균 중단점 2.35 사슬). 이 결과는 전-커버리지 운용에서 ESC의 기대되는 효율 우위를 확인해 준다.
A.20. 커버리지-인지 자기일관성 곡선
선택적 예측 목표를 직접 맞추기 위해, 같은
sc_baseline/per_problem.json에서 커버리지-인지 SC 랭킹을 구성한다: 각 문항에 대해 SC 확신도를 샘플링된 전-사슬 답 사이의 투표 동의(다수결 득표율)로 정의하고 이 점수로 문항을 랭킹한다. SC@3과 SC@5에 대해 곡선을 계산하고 커버리지가 증가함에 따라 답변집합 정확도를 평가한다. 결과는 figures/sc_coverage_aware.json에; 플로팅 코드는 figures/gen_fig_sc_coverage_aware.py에 있다.우리 방법과 같은 운용 커버리지(73.7%, =221)에서 커버리지-인지 SC@3은 70.6%, SC@5는 69.7%에 도달하는 반면, 우리의 단조성-우선 랭킹은 68.8%다. 이 결과는 전-커버리지 수치에서 보인 격차를 좁히고 뒤집으며, 비교가 방법을 전-커버리지 투표자로 평가하는가 선택적 분류 정책으로 평가하는가에 민감함을 명확히 한다.
더 넓은 커버리지-일치 정면 대결을 위해, 자기심판과 엄격한 Yes/No 자기평가 곡선도
figures/fig5_matched_coverage_comparison.pdf에 포함한다(요약: figures/matched_coverage_summary.json).그림 5
그림 5. GSM8K(=300)에서 커버리지-인지 답변집합 정확도. SC 확신도는 SC@3/SC@5의 투표-동의 비율; 우리 곡선은 단조성-우선 랭킹을 쓴다. 점선은 73.7% 커버리지를 표시.
그림 6
그림 6. GSM8K(=300)에서 통일된 커버리지-일치 비교: 우리의 단조성-우선 랭킹, SC@3/SC@5 투표-동의 랭킹, 자기심판 확신도, 엄격한 Yes/No 자기평가 확신도. 모든 방법은 커버리지 대비 답변집합 정확도로 평가된다.
A.21. 단일 궤적 자기심판 베이스라인
강한 단일 궤적 비교자에 대한 리뷰어 요청을 다루기 위해, 같은 300개 GSM8K 문항에 Qwen2.5-7B-Instruct로 자기심판 베이스라인을 실행한다. 각 문항에 대해 모델은 자신의 최종 답을 받고 검증자 프롬프트로 의 짧은 JSON 확신도 점수 하나를 낸다(문항당 생성 호출 1회). 그다음 이 확신도로 랭킹하여 목표 커버리지 0.737에서 같은 선택적 지표를 보고한다. 결과는
figures/self_judgment_baseline.json에서 나온다.프로토콜 세부(재현 가능). 구현은
figures/run_self_judgment_baseline.py에 있다. 각 문항에 대해 2-메시지 채팅 프롬프트를 구성한다: system “You are a strict math-answer verifier… output exactly one line JSON {”confidence”: <0–100>}.” user “Question: … Proposed final answer: … Return only JSON.” 디코딩은 max_new_tokens=64, 온도 0.0(탐욕적), 모델 네이티브 채팅 템플릿으로 검증자 생성 1회를 쓴다. 확신도 추출은 결정론적 규칙을 따른다: "confidence": 뒤 숫자가 있으면 파싱; 없으면 출력의 첫 수치 토큰을 파싱; 없으면 어휘 단서(“yes/correct” → 0.75, “no/incorrect” → 0.25)로 사상, 최종 폴백 0.5.평가 정렬. 우리 선택적 설정에 맞추기 위해, 자기심판은 문항당 점수 하나를 내고 300개 문항 전부를 점수로 랭킹해 =round(0.737 × 300) = 221개 유지 항목에서 Acc@coverage를 보고한다. Spearman (점수 vs 최종 정오)와 본문과 같은 위험-커버리지 정의 하의 AURC(낮을수록 좋음)도 보고한다.
자기심판은 Spearman = +0.019, Acc@73.7%=62.4%, AURC= 0.368을 내며, 평균 검증자 비용은 문항당 7.6 토큰(기저 사슬 포함 총 242.3 토큰/문항)이다. 낮은 토큰 오버헤드에도 랭킹 품질은 약하고 일치 커버리지에서 무작위 분류보다 개선되지 않아, 궤적-형태 신호에 실질적으로 못 미친다(AURC 0.311; Acc@73.7% 68.8%).
엄격한 Yes/No 자기평가 베이스라인. 더 엄격한 단일-토큰 프로토콜도
figures/run_yesno_self_eval_baseline.py로 실행한다: 모델은 자신의 최종 답이 정답인지에 “Yes” 또는 “No”로 답해야 한다. 확신도는 파싱된 Yes/No 출력에 대한 첫-토큰 로짓 폴백과 함께 (Yes)로 취한다. 73.7% 커버리지에서 이 베이스라인은 63.3% 답변집합 정확도, Spearman =−0.019, AURC= 0.395에 도달하며 문항당 평균 2.0 검증자 토큰(기저 사슬 포함 총 236.7)으로, 매우 낮은 비용이지만 약한 판별력을 나타낸다.A.22. 토큰 회계 세부와 공정성
이 절은 논문에서 쓴 두 예산 비교를 조정한다: (1) 고예산 참조점(SC@10/SC@40), 그리고 (2) 거의-등예산 경험적 베이스라인(SC@3/SC@5/ESC).
우리 방법의 토큰 사용은 다음처럼 분해된다:
여기서 =5는 프리픽스당 표본 수, 은 평균 프리픽스 수, 는 평균 짧은-완성문 길이다. GSM8K(Qwen 실행, =300)에서 =4.91이고 측정된 기저 사슬 길이는 =234.7 토큰/문항이다.
표 15. GSM8K(=300)에서 통일된 토큰 회계. “측정(measured)” 값은 로그된 생성물에서 나오고; “설정(configured)” 값은 고정 디코딩 설정이다.
양 | 값 | 유형 |
기저 사슬 토큰 | 234.7 | 측정 |
평균 스텝 프리픽스 | 4.91 | 측정 |
프리픽스당 표본 | 5 | 설정 |
짧은 완성문 상한 | 150 | 설정 |
보고 총계 | ≈ 1500 | 보고(본문) |
SC@3 토큰/문항 | 831.4 | 측정 |
SC@5 토큰/문항 | 1385.7 | 측정 |
ESC-sim 토큰/문항 | 673.6 | 측정 |
자기심판 토큰/문항 | 242.3 | 측정 |
이들을 함께 해석하면: “≈ 1,500” 수치는 우리 선택적 정책의 운용 예산이고, SC/ESC 비용은 전-커버리지에서 직접 측정된다. 따라서 SC@10/SC@40에 대한 주장은 고예산 참조이고, SC@5/ESC에 대한 주장은 엄격한 경험적 거의-등예산 비교다.
부록 Z. ARS-0703 반영 분석 — 본 논문 ↔︎ 우리 프로젝트 (정보손실 없는 통합 해부)
이 절은 번역이 아니라 우리 ARS-0703 프로젝트의 관점에서 본 논문을 자산으로 재해부한 것이다. 레퍼런스/베이스라인, 아이데이션(기법 이식), Novelty(차별화 방어), 반영 체크리스트의 네 각도로 훑고, 실제 프로젝트 파일(docs/DTR_TO_ARS_MASTER_0708.md·docs/PREREGISTRATION_ARS.md·docs/ARS_FULL_ANALSYS/SUITE_ADOPTION_VERDICT_0703l.md·메모리project-ars-0703*)의 확정 수치에 근거한다. 전부 exploratory이며 사전등록 판정과는 분리된다. 본 논문은 우리 경쟁작 스캔에서 arXiv:2603.18940(당시 위협도 H−)로 이미 식별된 바 있는데, 정독 결과 위협도를 M+로 상향해야 한다는 것이 이 분석의 첫 결론이다 — 이유는 Z.5에 있다.
Z.0 한 문장 요약
이 논문은 “엔트로피가 매 스텝 단조 감소하는가(형태)”가 정오를 예측하고 “총 얼마나 감소했는가(크기)”는 예측하지 못한다(=−0.06)는 형태-크기 분리를 GSM8K/MATH에서 실증했는데, 이는 우리 ARS의 심장부 논지 — RS(RouteSettle)의 “언제 정착했나(타이밍)”가 이기고 W1의 “얼마나 멀리 이사했나(거리/레벨)”는 지며, rW1(크기 정규화)은 RETIRE — 와 축만 다른 같은 명제다(그들은 답분포 엔트로피 × 추론 스텝, 우리는 어텐션 라우팅 JSD/W1 × 레이어). 따라서 이 논문은 우리 논지의 제3의 독립 확증이자, 동시에 가장 위험한 경쟁작이며, 당장 이식 가능한 신규 지표(위반 횟수)를 준다.
Z.1 한눈 매핑표 (논문 개념 ↔︎ ARS 대응물 ↔︎ 관계)
본 논문 개념 | 수식/수치 | ARS 대응물 | 관계 |
엔트로피 궤적 단조성 (형태) | (식 2) | RS-TD/Prob/Self = fjsd 곡선의 settle 타이밍 | ★같은 논지·다른 축 (검증+차별) |
스칼라 일관성 무예측 (크기) | , =−0.06 | W1-AUC=길이 미터기·rW1 RETIRE | ★독립 확증 |
위반 횟수 (등급 신호) | , =−0.198/−0.381 | SIG-W1(settle_td−bu=재가열 소동) | ★이식 대상(등급화) |
위반 크기 무예측 | =−0.017 | SIG는 “몇 번”이지 “얼마나 크게”가 아님 | ★수렴 확인 |
궤적 축 = 추론 스텝(외부 재샘플링 =5) | 문항당 ~1,500 토큰 | 궤적 축 = 레이어(단일 순전파 내부) | ★차별(우리가 더 쌈·기전 보유) |
스텝-깊이 ECE 악화 | 0.186→0.312 | 우리 층-깊이 라우팅 동역학 | 유사 관찰(층↔︎스텝) |
커버리지-일치 SC 우위 인정 | SC@3 70.6 > ours 68.8 | RS ADOPT-C(“SC 대체 아님, 값싼 분류”) | ★프레이밍 선례 |
조기 스텝(프리픽스 =2)로 76% 회복 | 비용 0.60× | 관측창 p50/p100/p150 사다리 | 병렬(조기-스텝↔︎조기-토큰) |
SC@3 동의를 난이도 공변량으로 | 로지스틱 OR=2.37 | 우리 3분위 난이도 층화 | ★더 나은 통제 이식 |
Z.2 큰 그림 — “형태 우선”은 우리 논지의 제3의 독립 확증
비유부터. 등산가 두 명이 정상(확신)에 오른다고 하자. 한 명은 매 구간 꾸준히 고도를 높인다(단조). 다른 한 명은 중간에 한 번 크게 미끄러졌다가 정상까지 훨씬 더 많이 올라 결국 총 상승고도는 더 크다(비단조·큰 크기). 논문의 발견은 “총 상승고도(크기)로는 누가 길을 아는지 알 수 없고, 한 번도 미끄러지지 않았는가(형태)로만 알 수 있다”는 것이다. 우리 ARS가 W1(거리=이사비=상승고도의 총량)을 버리고 RS(정착 타이밍=미끄러짐 없이 언제 안착했나)로 갈아탄 바로 그 이유다.
개념적으로 왜 같은가. 두 연구 모두 “곡선 하나”를 관찰한다.
- 논문: 답분포 섀넌 엔트로피 를 추론 스텝 에 대해. 신호 = 그 곡선이 단조 감소하는가.
- ARS: 라우팅 발산(JSD/fjsd/W1)을 레이어 에 대해. RS 신호 = 그 곡선이 언제(어느 층에서) 임계 아래로 “정착”하는가, SIG 신호 = 정착했다가 다시 뒤집히는 “재가열”이 있는가.
두 경우 모두 곡선의 적분/총량(크기)이 아니라 곡선의 단조성/타이밍(형태)이 정오를 가른다. 논문 =−0.06이 우리 “W1-AUC는 문맥길이 미터기(≈0.95, 정오 신호 아님)”·“rW1은 문항내 상수라 무정보→RETIRE”와 부호·논리까지 일치한다. 우리는 이미 이 분리를 세 번 봤다: (1) 우리 자신의 settle(타이밍) vs level(크기), (2) pooled 사다리가 조성효과(Simpson)로 만든 가짜 분리의 적발, (3) 그리고 이제 완전히 독립적인 팀·데이터·축에서의 본 논문. 서로 다른 세 각도에서 같은 결론이 나오면 그것은 우연이 아니라 구조다 — 이것이 우리 감사 프레임(축 1)의 외부 타당성을 크게 높인다.
수학적 못박기.
논문의 핵심 대비는 두 통계량이다:
우리 대응은:
같은 함수형의 이봉(dichotomy)이다.
논문이 “
은 지고
가 이긴다”를 실증했다면, 우리는 “
은 길이교란이고 settle이 이긴다”를 실증했다. 이 형태적 동일성이 이식(Z.4)과 방어(Z.5)의 근거다.
Z.3 각도 1 — 레퍼런스/베이스라인: 우리 3보드에 어떻게 세우나
이 논문은 우리 selective 보드(E-AURC·acc@coverage)의 직접 비교군이 된다. 그들의 지표 표(본문 표 3)가 우리 표와 같은 언어(위험-커버리지 AURC, acc@coverage)를 쓰기 때문이다. 다만 프로토콜이 결정적으로 다르므로 나란히 놓을 때 반드시 그 차이를 명기해야 한다:
항목 | 본 논문 (2603.18940) | 우리 ARS-0703 |
신호원 | 답분포 섀넌 엔트로피(블랙박스, 재샘플링) | 어텐션 라우팅 JSD/W1(화이트박스, 내부) |
궤적 축 | 추론 스텝 (외부 =5 완성문/스텝) | 레이어 (단일 순전파, 재샘플링 0) |
문항당 표본 | 단일 1차 사슬(+스텝별 5) | n=20 생성/문항 (within-question 페어링 가능) |
평가 단위 | pooled(전 사슬) + 난이도 층화·교란통제 | within-question paired(문항내 정/오답 짝) |
도메인 | 수치/이산(GSM8K, MATH-500)만 | 수학 4종 + GPQA(선택형) + (레거시 MuSR) |
모델 | Qwen2.5-7B, Mistral-7B (7B급) | Qwen3-4B-Thinking (4B, budget forcing) |
대표 수치 | 단조 selective +5.8pp@73.7%, AURC 0.311 | RS 수학-selective E-AURC 0.168 vs DTR 0.236(−29%) |
SC 대비 자기평가 | SC@3/@5가 커버리지-일치서 우위 인정 | RS=ADOPT-C(“SC 대체 아님, 값싼 분류”) |
판정. 직접 수치 대결은 불가(축·모델·데이터 상이)이나, “셀프-예측 신호가 SC 투표를 이기지는 못하지만 값싸고 해석 가능한 단일 사슬 분류로서 가치 있다”는 그들의 정직한 프레이밍은 우리 RS의 ADOPT-C 논거와 판박이다. 우리는 이 논문을 “형태-기반 selective 신호의 선행·독립 사례”로 인용하여 RS의 정당성을 강화할 수 있다(우리가 유일하지 않다 = 현상이 실재한다). 단, 그들이 우리보다 교란 통제(사슬길이 편상관 =0.179, SC@3 난이도 공변량, Miller–Madow 보정, ε/m/τ/seed 절제)를 더 촘촘히 했다는 점은 냉정히 인정해야 한다 — 이는 Z.5의 방어 부담을 키운다.
Z.4 각도 2 — 아이데이션: 당장 이식 가능한 6가지
(A) ★신규 지표 “RouteViolation”(라우팅 위반 횟수) — 최우선.
논문의 위반 횟수
을 우리
레이어별 곡선
에 그대로 옮긴다:
- 직관: “라우팅이 층을 내려가며 정착하다가
몇 번이나 다시 흐트러졌나
.” SIG-W1(settle_td−settle_bu)은 재가열의
깊이 차
를 재지만, RouteViolation은 재가열의
횟수
를 센다 — 논문이 보인 대로
횟수가 크기보다 정보량이 크다
(
=−0.017)면, 우리 SIG-W1보다 RouteViolation이 더 강할 수 있다.
-
비용 0(캐시 계산).
우리는 이미 per-layer 곡선을
docs/ARS_FULL_ANALSYS/cache/
(fjsd·w1·dtr running-min)로 갖고 있다. within-question 보드에 RS 패밀리 신규 멤버로 얹어 1-shot 검증하면 된다. →
P5 액션 #1
.
- 논문의 등급성(0/1/2+ 위반 → 68.8/50.8/28.6%) 재현 여부가 곧 “형태 신호가 라우팅에도 등급으로 존재하는가”의 답이다.
(B) ε-강건성 표 템플릿(그들 표 9). 그들은 전 구간에서 +21.9pp가 불변임을 표로 못박아 “임계가 결정적이지 않다”를 방어했다. 우리 SIG-W1·RouteViolation의 τ/ε 민감도를 똑같은 형식의 표로 제시하면, “우리 지표도 하이퍼파라미터에 안 민감하다”를 같은 언어로 방어할 수 있다. DTR이 (g,ρ) 2-하이퍼에 민감하다는 우리 비판과 짝을 이룬다.
(C) SC@3-동의를 난이도 공변량으로(그들 A.8). 우리는 지금 난이도를 (정답률) 3분위로 층화하는데, 그들은 로지스틱 회귀에
z(SC@3 agreement)를 공변량으로 투입해 “단조성이 난이도의 프록시일 뿐인가”를 정면 반박(OR=2.37 유지)했다. 우리도 within-question 신호를 ·length·self-cert와 함께 로지스틱에 넣어 부분 독립성을 같은 방식으로 보이면, “RS가 그냥 난이도/길이 프록시 아니냐”는 리뷰어 공격을 선제 차단한다. → P5 액션 #2(캐시로 가능).(D) 조기-스텝 ↔︎ 조기-토큰 교차. 그들 A.4: 프리픽스 =2만 써도 전체 신호의 76%를 0.60× 비용에 회복. 우리 관측창 사다리(p50 클론 10.6%→p100 0.6%→p150 0)와 정확히 같은 정신(일찍 봐도 형태가 잡힌다)이다. 우리 g3(p150) 회수 후 “조기 관측창의 비용-효율” 서사를 그들 A.4와 나란히 인용하면 프로토콜-민감도 축(우리 novelty 축 3)이 강화된다.
(E) Miller–Madow 편향 보정((K−1)/(2m)). 만약 우리가 언젠가 버킷 질량에 엔트로피를 쓰거나 소표본 답분포 엔트로피를 도입하면, 이 보정이 “레벨은 바뀌어도 차이(단조성 판정)는 안 바뀐다”는 그들의 논증(A.15)을 그대로 재사용할 수 있다. 지금 우리 버킷은 어텐션 질량(비샘플링)이라 즉시 필요하진 않으나, RouteViolation을 답분포로 확장할 경우의 예비 무기다.
(F) 비용 회계 프레이밍(그들 표 15·식 3). 의 성분별 정직 회계와 “≈1,500토큰=SC-40의 1/8” 프레이밍은 우리 selection η=0.5 비용식(선택 full + PREFIX·(n−k))의 보고 템플릿으로 좋다. 특히 “고예산 참조(SC@10/40) vs 거의-등예산 실측(SC@3/5/ESC)”의 이원 보고는 우리가 Rand/Cons/Think@n을 비교할 때 그대로 쓸 만하다.
Z.5 각도 3 — Novelty/차별화: 위협도 M+ 재평가와 방어
왜 위협이 커졌나(H−→M+). 정독 전 이 논문은 “entropy trajectory shape, selective까지 겹침”이라 H−로 봤다. 그러나 실제로는 우리 핵심 논지(“형태/타이밍 > 크기/레벨”)를 명시적 이름(“shape-over-magnitude dissociation”)으로, 그리고 우리보다 촘촘한 교란통제로 먼저 실증했다. 이는 “우리가 형태-크기 분리를 처음 말했다”는 식의 주장을 불가능하게 만든다. 정직하게, 이 원리의 우선권(priority)은 답분포/스텝 축에서 이 논문(과 Active-Prompt 계보)에 있다.
그럼에도 우리가 파는 것(차별화 4점, 전부 방어 가능):
1. 축과 신호원이 다르다 — 그리고 우리가 더 싸다. 그들은 스텝마다 =5 답변을 재샘플링해야 형태를 얻는다(문항당 ~1,500 토큰, 25 완성문). 우리는 단일 순전파의 레이어 내부 동역학에서 형태를 얻는다 — 추가 생성 0. “같은 형태-우선 원리를 재샘플링 없이 순전파 한 번으로”가 우리의 물리적 우위다.
2. 기전(mechanism)이 있다. 그들은 답분포라는 블랙박스 출력만 본다(“왜 단조가 정답인지”는 가설). 우리는 어텐션 라우팅(어느 소스/버킷을 언제 참조하는가)이라는 기전 위에서 형태를 정의한다 — 해석가능성·개입가능성(Path B)이 우리 쪽에 있다.
3. within-question paired 감사. 그들의 설계(문항당 단일 사슬)는 원리적으로 within-question 짝을 만들 수 없다 — 그래서 pooled + 사후 교란통제로 갈 수밖에 없다. 우리는 문항당 n=20으로 정/오답을 짝지어 조성효과(Simpson)를 설계 단계에서 차단한다. 이것이 우리 감사 프레임(축 1)의 유일성이며, 그들의 촘촘한 통제조차 대체하지 못하는 지점이다.
4. 도메인 폭. 그들은 수치/이산(GSM8K, MATH)만; 개방형은 “의미 정규화 필요”로 유보. 우리는 GPQA(선택형)·MuSR까지 걸쳐 있어 “형태 신호가 수치 밖에서도 사는가”를 말할 수 있다(단, 우리 GPQA-fresh는 무-length 전제 붕괴로 주의).
최강 방어 한 줄: “우리는 형태-우선 원리를 새로 주장하지 않는다 — 답분포·스텝 축에서 확립된 그 원리(Zhao 2026)를 어텐션 라우팅·레이어 축으로 이식하여, 재샘플링 없이 순전파 한 번으로 같은 분리를 얻고, 그들의 pooled 단일-사슬 설계가 지원할 수 없는 within-question paired 감사로 검증한다. 우리가 파는 것은 n번째 형태 신호가 아니라, 그 신호가 조성효과의 산물이 아님을 보증하는 게이트다.” (이는 우리 T3 정찰의 “신호가 아니라 게이트를 판다” 프레이밍과 정합.)
리스크. 리뷰어가 이 논문을 들고 “형태-크기 분리는 이미 알려졌다”고 치면, 우리는 (a) 우선권 인정 + (b) 축·기전·감사·비용의 4중 차별로 방어해야 한다. 인용 필수(관련연구에 반드시 넣고, DTR·Head Entropy와 함께 3-way로 가른다). 회피 시 표절/무지 프레임으로 역공당한다.
Z.6 각도 4 — 반영 체크리스트 (출처 → 위치 → 액션)
# | 출처(본 논문) | 반영 위치(우리) | 액션 | 비용 |
1 | 위반 횟수 (식·표 10) | RS 패밀리 신규 RouteViolation | 캐시 per-layer 곡선에 구현 → within-Q 1-shot | 캐시(GPU 0) |
2 | SC@3 난이도 공변량(A.8) | 우리 교란통제 로지스틱 | RS ~ p_c + length + self_cert + SC-agree 회귀로 부분독립성 | 캐시 |
3 | ε-강건성 표(표 9) | SIG-W1/RouteViolation 보고 | τ/ε∈구간 불변표 = “임계 무민감” 방어 | 캐시 |
4 | 조기-스텝 76%@0.60×(A.4) | 관측창 p150 서사(g3) | g3 회수 후 “조기 관측창 비용-효율” 나란히 인용 | g3 대기 |
5 | 비용 이원 회계(표 15) | selection η 비용 보고 | 고예산참조 vs 거의-등예산 실측 이원 표 | 문서 |
6 | shape-over-magnitude 명명·우선권 | 관련연구·마스터 문서 | 2603.18940 인용 추가(DTR·HeadEntropy와 3-way), 우선권 인정+4중 차별 | 문서 |
사전등록/마스터 문서 제안 diff(1줄씩):
-
PREREGISTRATION_ARS.md RS-2차 초안 §병기: “per-layer RouteViolation(, ε-사다리)을 exploratory 병기 — 본 논문(2603.18940)의 답분포-축 위반횟수를 라우팅-축으로 이식, 판정 불사용.”
- DTR_TO_ARS_MASTER_0708.md §⑥ 경쟁작: “2603.18940 = ★형태-크기 분리의 답분포-축 선행·독립 확증(위협 M+); 차별=레이어-내부·기전·within-Q·재샘플링0. 인용 필수.”
- 소생표 §⑤: SIG-W1 재론 조건에 “RouteViolation(횟수형)이 settle-gap(깊이형)보다 강하면 SIG 계보를 횟수형으로 재정의” 추가.한 문단 총평. 이 논문은 우리에게 양날이다. 한쪽 날은 위협 — 우리 심장부 논지를 더 촘촘히, 먼저 실증했다. 다른 쪽 날은 선물 — (i) 우리 논지의 제3의 독립 확증, (ii) 당장 캐시로 돌릴 신규 지표(RouteViolation), (iii) SC-대비 정직 프레이밍의 선례, (iv) 교란통제·비용회계의 보고 템플릿. 냉정한 결론: 경쟁이 아니라 이식으로 대한다. 우리가 이 논문을 인용하며 “형태-우선을 라우팅-레이어 축으로, 재샘플링 없이, within-question 감사와 함께 가져왔다”고 프레이밍하면, 위협은 오히려 우리 서사의 외부 앵커로 뒤집힌다.
(본 절은 exploratory. 수치는 프로젝트 파일 확정본 기준이며, RouteViolation·공변량 회귀는 아직 미실행 제안이다.)