자신 있는 풀이만 남기면 함께 틀릴 수 있다: PKTP의 후보 선택과 pass@k 경계

풀이를 여러 개 생성하고 자신 있어 보이는 것만 남기면 더 안전할까. PKTP 논문의 Figure 4에는 반대 장면이 나온다. Qwen3-8B가 AMO-Bench의 한 문제에서 만든 후보 중 Linear Probe 점수가 높은 16개는 전부 오답이었다. 같은 문제에서 무작위로 고른 16개에는 정답 풀이가 7개 포함됐다. 높은 점수의 후보들이 비슷한 영역에 모여 함께 실패한 사례다.

이것은 논문이 고른 한 문제의 예시다. 무작위 선택이 항상 우월하다는 실험도, 전체 문제의 정답률도 아니다. 하지만 여러 후보를 유지하는 시스템이 무엇을 측정해야 하는지는 선명하게 보여준다. 개별 후보의 자신감만 올리는 것과, 남긴 집합에 정답을 하나라도 확보하는 것은 다른 목표다.

먼저 결론을 말하면, PKTP는 품질과 후보 사이의 상관을 함께 보며 살아남을 풀이를 고르는 연구다. 후보 집합의 pass@k가 좋아졌다고 사용자가 받는 단일 답변의 정확도나 실제 처리 비용이 같은 비율로 개선됐다고 읽으면 안 된다.

Figure 4의 한 문제 사례를 개수만 다시 그렸다. 원래 PCA 좌표가 아니며 무작위 선택의 보편적 우월성을 뜻하지 않는다. 출처: arxiv.org/html/2610.31667v1.

PKTP가 자르는 것은 모델 가중치가 아니라 풀이 후보다

PKTP는 Pass@k Thought Pruning의 약자다. 질문 하나에 대해 여러 추론 경로를 생성한 뒤, 아직 끝나지 않은 풀이의 앞부분을 보고 일부만 계속 계산한다. 여기서 pruning은 모델을 작게 만드는 가중치 가지치기가 아니다. 기본 생성 모델의 가중치를 갱신하지 않고 계산을 이어갈 후보를 선택한다.

논문의 주 비교 설정은 후보 128개, 판단 시점 4,000토큰, 최종 생성 상한 32,768토큰이다. 남길 수 k는 1·2·4·8·16으로 바꾼다. 후보마다 숨겨진 상태를 모아 표현 벡터를 만들고, 별도 선형 품질 성분을 정오답 라벨로 학습한다. 따라서 텍스트 응답만 돌려주는 폐쇄형 API에 바로 붙일 수 있는 범용 플러그인으로 소개할 수 없다.

Linear Probe는 높은 예측 점수의 후보를 우선한다. RepExp는 표현 공간에서 이미 고른 후보로 설명되지 않는 방향을 탐색한다. 전자는 같은 오답을 닮은 후보만 남길 수 있고, 후자는 품질이 낮은 특이한 후보에 예산을 쓸 수 있다. PKTP는 잠재 가우시안 모형으로 후보들의 공동 정오답을 모델링해 이 두 극단을 연결한다. 여기서 ‘상관’은 문장이 달라 보이는가만의 문제가 아니라, 관찰한 풀이 앞부분을 조건으로 결과가 함께 맞거나 틀릴 수 있다는 뜻이다. [출처: 논문 §§2–3]

실제 선택에는 계산 가능한 이차 근사 목적함수와 탐욕적 추가 절차를 쓴다. 이론 보장은 그 대리 목적함수에 관한 것이지, 실제 정답률이 언제나 최적이라는 보장이 아니다. 논문도 이 근사를 정확한 우도나 상·하한으로 취급하지 않는다고 명시한다.

논문 §§2–4.2의 후보 생성·선택 조건과 편집상 최종 응답 평가를 구분했다. PKTP 배포 실행 화면이 아니다. 출처: arxiv.org/html/2610.31667v1.

52.9%가 말하는 것과 말하지 않는 것

Appendix D의 Table 1에서 DeepSeek-R1-Distill-Qwen-1.5B의 k=4 결과를 보면 다음과 같다. 단위는 남긴 네 후보 중 정답이 하나 이상 있는 비율, 즉 pass@4의 백분율이다. 모두 해당 모델의 제외 조건을 적용한 뒤 남은 문제들을 합친 결과다.

후보 선택 방법	pass@4	표에 보고된 표준오차
PKTP	52.9%	0.28
Linear Probe	49.9%	0.20
RepExp	49.8%	0.04
Random	49.5%	0.00

표에 표시된 값을 빼면 PKTP와 Linear Probe의 차이는 3.0%포인트, RepExp와는 3.1%포인트, Random과는 3.4%포인트다. 이는 공개 표의 표시값 산술이지 새 모델 실행 결과가 아니다. 표준오차 열은 개별 방법에 대해 보고된 값이며, 두 방법 차이의 표준오차가 아니다. 이것만으로 차이의 통계적 유의성을 단정하지 않는다.

주의할 불일치도 있다. 본문 §4.2는 해당 RepExp 대비 차이를 3.2포인트로 쓰지만 Table 1의 표시값 차이는 3.1포인트다. 원시 결과로 이유를 확인하지 못했으므로 반올림 때문이라고 설명하지 않는다. 이 글은 표의 원래 두 값과 그 산술만 사용하고, 본문과의 차이는 미해결로 남긴다. 따라서 ‘정확히 3.2포인트 개선’이라는 주장은 하지 않는다.

Appendix D Table 1의 표시값. 제외 후 잔존 문제의 집계 pass@4이지 단일 답 정확도가 아니다. 표준오차와 본문 차이의 미해결 사항은 본문에 적었다. 출처: arxiv.org/html/2610.31667v1.

52.9%는 네 개 중 하나라도 정답이 들어 있는 문제의 비율이다. 그 네 개에서 실제 정답을 골라 사용자에게 내보내는 절차는 별도다. 정답이 집합에 있어도 최종 선택기가 오답을 택하면 사용자는 실패를 경험한다. 반대로 정답이 모두 사라진 집합에서는 최종 선택기가 그 안의 정답을 찾을 수 없다. 후보 보존과 최종 답 선택의 성능을 합쳐 적으면 어느 단계가 개선됐는지 알기 어렵다.

또 PKTP가 모든 예산에서 최고인 것도 아니다. 같은 Table 1에서 k=16일 때 Qwen3-1.7B는 PKTP 81.7%, RepExp 82.2%이고, DeepSeek-R1-Distill-Qwen-1.5B는 각각 71.7%, 72.6%다. 예산을 바꿔도 같은 승자가 유지된다고 가정하지 말아야 한다. 이 점 추정치만으로 우열의 유의성이나 동등성까지 판단하지는 않는다.

분모와 비용을 숨기면 도입 판단이 뒤집힌다

논문은 모델당 약 600문제를 모은 뒤, 128회 생성이 전부 정답이거나 전부 오답인 문제를 제거한다. 약 600은 제거 전 문제 수다. 확인한 본문과 표에서 모델별 최종 잔존 문제 수와 제외 비율을 찾지 못했으므로, 52.9%를 600문제에 곱해 정답 문제 개수를 만들 수 없다. 작은 모델군과 큰 모델군의 벤치마크 구성도 달라 크기별 수치를 그대로 능력 비교로 연결하기 어렵다.

평가는 8겹 교차검증을 섞어 20회 반복한다. 각 반복에서는 학습에 쓰지 않은 fold의 문제를 평가한다. 20회는 같은 문제 풀의 분할과 학습 시드를 바꾼 것이지 독립된 데이터셋 20개가 아니다. 정답 판정은 최종 boxed 답과 기준 답의 동등성을 Qwen3-32B가 판단한다. 사람의 전수 검토나 기호 증명으로 바꾸어 설명하지 않는다. [출처: §4.1]

비용도 선택 후 계속 생성하는 네 후보만 세면 부족하다. 이 설정에서는 앞부분을 얻기 위해 후보 128개를 먼저 생성한다. 여기에 숨겨진 상태 추출, 품질 성분 학습, 후보 선택 계산과 최종 답 검증의 비용도 고려해야 한다. 논문의 같은 후보 풀 위 선택기 비교는 ‘처음부터 네 답만 생성’하는 시스템과 총비용이 같다는 뜻이 아니다. 실제 요금이나 서비스 종단 지연을 줄였다는 수치는 이 글에서 제시하지 않는다.

내 평가표에는 무엇을 추가할까

아래 진단표는 논문에서 도출한 편집상 제안이며, 서비스 배포나 비용 절감을 재현한 결과가 아니다. 후보 안에 정답이 남았는지와 사용자에게 정답을 내보냈는지를 별도 열로 기록한다.

내 시스템에서 보이는 현상	분리해서 기록할 항목	다음 판단
점수 높은 후보끼리 같은 풀이·오답에 몰린다	후보 ID, 품질 점수, 표현 유사도, 정오답의 동시 실패	품질 순위만 쓸 때와 집합 선택을 할 때의 pass@k를 같은 풀에서 비교한다. 문장 중복만으로 상관을 확정하지 않는다.
pass@k는 오르는데 최종 답은 그대로다	후보 집합의 정답 포함 여부와 최종 선택 답의 정오답	최종 검증·선택기를 별도로 진단한다. 후보 보존 개선을 단일 답 정확도로 광고하지 않는다.
남길 k를 키웠더니 비교 방법의 순서가 바뀐다	같은 모델·문제 풀에서 k별 결과와 선택 규칙	중간 예산의 승자를 모든 예산으로 확대하지 않는다.
숨겨진 상태와 정오답 라벨에 접근할 수 없다	표현 접근 가능 여부와 별도 학습 데이터	PKTP의 직접 구현 가능성과 연구 아이디어의 참고 가치를 구분한다.
토큰 절감처럼 보이지만 전체 지출은 모른다	전체 앞부분 생성, 연장 생성, 표현·학습·선택·검증 비용 및 실측 지연	같은 총예산의 비교가 끝나기 전에는 서비스 절감률을 주장하지 않는다.

실무적으로는 질문별 한 행에 원래 후보 풀과 남긴 후보 ID를 보존하고, 집합 성공과 최종 응답 성공을 각각 적는 것이 출발점이다. 실패한 질문을 높은 점수의 유사 후보가 함께 틀린 경우와, 서로 다른 후보가 모두 틀린 경우로 나누면 다음 실험의 초점이 달라진다. 이 기록법은 평가 설계 제안이며, 논문이 코딩 에이전트나 상용 API 배포에서 검증했다는 뜻은 아니다.

논문에서 도출한 편집상 진단 제안이다. 서비스 배포나 총비용 절감의 실측 결과가 아니다. 출처: arxiv.org/html/2610.31667v1.

남는 결론: 좋은 후보 여러 개는 좋은 답 하나와 다르다

PKTP의 가치는 ‘다양하게 뽑자’라는 구호보다 구체적이다. 개별 품질과 공동 실패를 함께 모델링해, 제한된 연장 계산 예산에서 적어도 하나의 정답 경로를 남기는 문제로 선택을 정식화한다. 반면 결과는 수학 벤치마크와 별도 학습·표현 접근 조건에 묶여 있다. 사전 공개 논문이며 동료심사 채택이나 독립 재현을 이 글에서 확인한 것은 아니다.

도입 검토의 첫 질문은 ‘몇 포인트 올랐나’가 아니라 ‘어떤 집합에서, 어떤 분모로, 어느 단계의 성공을 셌나’다. 그 다음에야 후보를 만드는 전체 비용과 최종 답 선택을 붙여 시스템 수준의 효과를 판단할 수 있다.

함께 읽을 평가 경계

• 압축 추론 모델이 반복한다면: TGAS로 정답률과 종료 실패 구분하기 — 가중치를 자른 모델의 종료 문제를 다룬다. 이 글의 후보 경로 선택과 ‘pruning’의 대상부터 다르므로 같은 기법으로 혼동하지 않는 데 도움이 된다.
• 예약했다고 말했는데 DB는 비었다: 에이전트 평가를 위한 결과·격리 계약 — 성공을 어떤 실제 결과로 판정할지 다룬다. 여기서는 그 구분을 후보 집합의 정답 포함과 최종 응답의 정오답에 적용했다. 두 글의 성능 수치를 직접 비교하는 링크는 아니다.

원문과 확인 범위

• Direct Pass@k Optimization for Thought Pruning, arXiv:2610.31667v1: 2026년 10월 22일 제출본. 한국 시각으로는 10월 23일이다.
• 버전 고정 HTML 본문: §§2–3 방법, §4.1 평가 조건, §4.2와 Figure 4 사례, Appendix D Table 1 수치.
• 같은 버전 PDF: 방법 3–8쪽, 평가·사례 8–11쪽, 집계 표 39쪽.

이 글의 도식은 원문 사실을 바탕으로 새로 그린 설명 자료다. 원문 그림의 좌표·스크린샷을 재현하지 않았고, 새 모델 벤치마크를 실행하지 않았다. 검토 범위는 고정된 원문, 공개 표의 산술, 그리고 그에 기반한 평가 설계다.