큰 모델로 넘긴 뒤 누가 지켜볼까: LEASH의 인계·Shadow 감시와 전체 비용

GUI 자동화가 같은 화면에서 막혔을 때 큰 모델로 넘기는 것만 정해 두면, 인계 뒤의 잘못된 클릭은 누가 살필까? 먼저 정할 것은 인계 조건, 인계 이후의 관측 담당, 실행 직전 제안을 멈출 지점이다. LEASH 논문은 작은 모델을 인계 후에도 관찰자로 남기는 구조를 제안한다. 다만 이미 실행한 외부 작업을 되돌리는 장치나 권한 승인 체계는 아니다.

결과부터 보면, 논문의 Qwen3.5-35B-A3B 조합은 OSWorld에서 과제 성공률 73.66%, 과제당 추정 추론 비용 0.4117달러를 보고했다. 항상 Opus 5를 실행한 기준선은 72.90%, 0.5094달러다. 이 숫자를 곧바로 “더 안전하고 운영비도 줄었다”로 바꾸면 안 된다. 아래에서는 인계 뒤 무엇을 관측하는지, 비용에 무엇이 포함됐는지, 내 환경에서 무엇부터 확인해야 하는지를 나눠 본다. [근거: 논문 Table 1, Appendix B.1]

1. 실행 담당이 바뀌어도 관측 담당은 남는다

LEASH의 작은 모델은 과거 성공·실패 궤적에서 얻은 자신의 숨은 상태를 참조한다. 현재 상태가 성공 참조보다 실패 참조에 상대적으로 얼마나 가까운지, 마할라노비스 거리 기반 점수로 계산한다. 처음의 과제 수준 게이트와 실행 중 게이트가 이 신호를 이용해 큰 모델로 넘길 시점을 정한다. 모델에게 말로 “자신 있니?”라고 묻는 방식은 아니다. [근거: §§3.1–3.3]

인계가 일어나면 큰 모델은 남은 실행을 맡는다. 작은 모델이 다시 마우스를 번갈아 잡는 구조가 아니다. 작은 모델은 Shadow 관찰자가 되어 실제 실행 궤적을 본다. 부록 A.4에 따르면 인계 후 첫 큰 모델 단계에서 탐침을 수행하고, 이후에는 세 단계마다 수행한다. 큰 모델이 실행한 행동은 탐침이 없는 단계에도 작은 모델의 이력에 추가된다.

큰 모델이 실행을 유지하고 작은 모델은 후보를 실행하지 않는 관찰자가 된다. 첫 큰 모델 단계와 이후 세 단계마다 탐침한다. 실행 완료된 외부 효과의 취소를 뜻하지 않는다. 출처: arxiv.org/html/2610.22280v1.

관찰자는 현재 화면과 이력을 받아 자기 후보 행동을 생성하지만, 그 후보는 실행하지 않으며 큰 모델에도 보여 주지 않는다. 후보를 생성할 때 얻은 숨은 상태가 감시 점수의 재료다. 점수가 기준을 넘으면 큰 모델의 아직 실행하지 않은 제안을 버리고, 더 높은 추론 노력으로 그 단계를 다시 결정하도록 한다. 따라서 여기서의 제안 폐기는 데이터 삭제나 결제 같은 이미 일어난 외부 효과의 취소와 다르다. [근거: §3.4, Appendix A.4]

체크포인트 발동은 과제당 최대 여섯 번이며, 실제로 큰 모델의 행동을 바꾼 체크포인트가 두 번이면 이후 발동을 억제한다. 관찰자가 모든 단계를 무제한 감시하거나 항상 실패를 잡는다는 설명은 맞지 않는다. 큰 모델에 대한 실행 권한도 이 점수만으로 새로 생기지 않는다. 서비스 적용 시 권한과 실행 전 승인 장치는 별도로 설계해야 한다는 것이 이 글의 해석이다.

2. 인계율이 비슷해도 같은 비용 비교는 아니다

주요 비교는 스크린샷으로 관측하는 OSWorld의 262개 평가 과제 풀, 과제당 공유 행동 한도 50회에서 수행됐다. 성공률은 과제의 최종 성공을 뜻하며 클릭 한 번의 정확도가 아니다. 다음 수치는 모두 논문이 보고한 값이다. [근거: Table 1, Appendix B.1]

구성	실현 인계율	과제 성공률	과제당 추정 비용(달러)
Qwen3.5-35B-A3B + LEASH	64.1%	73.66%	0.4117
같은 작은 모델의 무작위 인계	64.4%	61.72%	0.3768
항상 Opus 5 실행	100.0%	72.90%	0.5094

두 축 모두 0에서 시작한다. 성공률 단위는 %, 비용 단위는 USD/과제다. LEASH와 무작위의 실현 인계율은 64.1%·64.4%로 가깝지만 비용은 다르다. 저자 보고값이며 실제 운영비나 통계적 우열을 나타내지 않는다. 출처: arxiv.org/html/2610.22280v1.

LEASH와 무작위 인계의 인계율은 가깝지만 비용은 같지 않다. LEASH 쪽의 성공률과 비용이 모두 높다. 무작위 인계의 10,000회는 과제 배정을 반복한 횟수이며, 독립적인 에이전트 실행을 10,000번 했다는 뜻이 아니다. 논문 Figure 1의 동일 비용 비교와 이 표의 인계율을 맞춘 비교는 조건이 달라 섞어 쓰지 않는다.

항상 Opus 5와의 성공률 차이가 작다는 사실만으로 통계적 동등성이나 우월성을 확정할 수도 없다. 검토한 주요 실험 설정에는 반복 시드 수와 신뢰구간이 명시되지 않았다. 반올림된 성공률로 정확한 성공 과제 수를 역산하지 않는다. 또한 항상 실행 기준선에는 Manager가 없지만 LEASH에는 과제를 나누고 진행을 확인하는 Opus 5 Manager가 있다. 단일 부품만 바꾼 공정한 A/B 시험으로 읽어서는 안 된다. [근거: §4.1, Table 1, Appendix B.1]

3. “감시 효과”와 “감시·개입 묶음의 차이”를 구별한다

Table 4에서 Manager와 초기·실행 중 인계만 켠 구성은 성공률 67.94%, 과제당 추정 비용 0.4050달러다. Shadow 감시와 체크포인트 개입을 함께 추가한 전체 구성은 73.66%, 0.4117달러다. 이 비교는 두 기능을 더한 묶음의 차이를 보여 준다. 감시 신호만의 효과와 개입만의 효과를 각각 분리한 결과는 아니다.

상단은 감시·개입 묶음의 보고 차이이며 개별 효과의 인과 증명이 아니다. 하단은 Shadow 없는 두 구성의 비교로 초기 게이트 추가가 항상 성공률을 높이지 않음을 보여 준다. 비용은 USD/과제 추정치다. 출처: arxiv.org/html/2610.22280v1.

본문 §4.4에는 개입 효과가 분리됐다고 읽힐 수 있는 표현이 있지만, Limitations는 개입 효과가 인과적으로 분리되지 않았다고 명시한다. 여기서는 더 좁은 주장, 즉 “감시와 개입을 함께 추가한 구성에서 보고 수치가 달랐다”를 채택한다. 기능 하나의 효과가 입증됐다는 결론은 내리지 않는다.

모든 게이트를 늘리면 좋아진다는 해석에도 반례가 있다. Appendix B.3 Table 8의 Manager + 실행 중 인계만 사용한 구성은 71.65%, 0.4169달러다. Shadow 없이 초기 게이트와 실행 중 게이트를 함께 쓴 구성의 67.94%, 0.4050달러보다 성공률은 높고 비용도 높다. 따라서 이 설정은 초기 게이트를 더하면 성공률이 반드시 오른다는 근거가 아니다. 전체 LEASH에는 Shadow까지 들어 있으므로 전체 구성의 결과를 초기 게이트 단독 효과로 돌릴 수 없다.

4. 무료 점수 계산과 무료 감시는 다르다

작은 모델이 자기 행동을 만들 때 이미 계산한 활성값을 재사용하는 실행 중 점수 계산은 추가 모델 호출이 필요하지 않다. 그러나 초기 탐침과 인계 후 Shadow 탐침은 작은 모델 추론을 요구하고, 개입은 큰 모델의 추가 계산을 만들 수 있다. “추가 호출 없는 점수”를 “전체 감시가 공짜”로 확장하면 비용표를 잘못 읽게 된다. [근거: Appendix B.4]

논문 비용은 기록된 토큰 사용량에 OpenRouter 참조 가격을 적용한 추정치이며, 해당하는 캐시 토큰도 반영한다. 작은 모델, Manager, 큰 실행 모델, 감시 호출이 모두 포함된다. 로컬 작은 모델의 금액은 참조 토큰 가격 환산이지 GPU 전력·장비·운영비의 실측값이 아니다. 이 결과로 응답 지연이 줄었다거나 실제 청구액이 같을 것이라고 주장하지 않는다. [근거: §4.1 Metrics, Appendix B.1/B.4]

사전 준비도 남는다. 작은 모델의 숨은 상태에 접근해야 하고, 성공·실패 결과가 붙은 참조 궤적을 수집해야 한다. 평가 과제와 분리한 참조 집합에서 과제 단위로 교차 검증해 임계값을 정하고, 전체 참조 집합으로 추정기를 다시 맞춘다. 같은 과제의 단계가 학습·검증 양쪽에 섞이지 않게 하는 것이 중요하다. 논문의 “training-free”는 전용 감시망을 경사 학습하지 않는다는 의미이지 통계 적합, 결과 라벨, 수집 작업이 전혀 없다는 뜻은 아니다. [근거: Appendix A.2–A.4/B.1]

초기 25%, 전체 50%라는 보정 목표도 평가 시 실현 인계율을 보장하지 않는다. 앞 표의 Qwen 조합 실현값은 64.1%다. 따라서 자체 평가에는 설정한 예산과 실제 인계율을 따로 기록해야 한다. 오프라인 참조 궤적 구축까지 무료라는 생애주기 비용 근거는 제시되지 않았다.

5. 내 GUI 자동화에 적용하기 전 판단표

다음은 연구 결과를 서비스 도입 의사결정으로 바꾼 편집상 판단표다. 실제로 LEASH를 설치하거나 벤치마크를 재실행해 얻은 결과가 아니다. 숨은 상태를 읽을 수 없다면 LEASH 그대로의 도입이 아니라 별도 관측 설계가 먼저다.

내 환경에서 확인할 것	지금 내릴 판단	검증 때 남길 관측
작은 모델의 숨은 상태에 접근 가능한가	불가능하면 논문 방식의 직접 도입을 보류	모델·레이어·토큰 위치와 접근 가능 여부
성공·실패 참조 과제가 평가 과제와 분리됐는가	분리되지 않았다면 점수 성능을 믿기 전에 다시 구성	과제 ID별 분할과 보정·평가 경계
인계 뒤 제안을 실행 전에 막을 수 있는가	불가능하면 체크포인트 개입의 전제부터 수정	제안 생성·검사·실행 시각과 실행 상태
이미 실행한 작업은 별도 취소 수단이 있는가	없으면 복구 가능하다고 안내하지 않음	외부 효과와 별도 승인·복구 정책
관찰자와 Manager 비용도 합산했는가	누락했다면 가격 비교를 보류	성공률·실현 인계율·전체 호출 비용을 함께 기록

숨은 상태와 참조 데이터, 실행 전 제안 제어, Manager·관찰자 비용 합산을 따로 확인한다. 연구 근거에서 도출한 편집상 의사결정 도구이며 측정된 도입 성과가 아니다. 출처: arxiv.org/html/2610.22280v1.

예를 들어 “작은 모델이 폼 입력을 하다 막혀 큰 모델이 이어받는다”는 상황을 생각해 보자. 이것은 설명용 가상 사례이며 실측 화면이나 실험 결과가 아니다. 적용 전에는 누가 실행했는지만 남길 수 있다. 적용을 검토할 때는 현재 화면과 실제 행동 이력이 관찰자에게 전달되는지, 보류된 제안을 폐기할 수 있는지, 재결정 비용까지 추적되는지를 확인한다. 반대로 이미 제출한 폼의 서버 변경을 Shadow가 되돌린다고 설계하면 논문 범위를 벗어난다.

이 판단표는 논문에 근거한 편집상 제안이며, 실제 서비스에서 검증한 도입 효과가 아니다. 작은 모델의 실패 위험 점수는 큰 모델로 바꿨을 때의 기대 이득 자체가 아니다. 둘 다 어려워하는 과제에서는 인계 이득에 대한 가정이 깨질 수 있고, 인계 뒤의 궤적은 작은 모델의 원래 참조 궤적과 분포가 다르다. §5의 이론도 특정 분포·단조성 가정 아래 초기 게이트를 다루며, 실행 중 전체 정책의 보편적 최적성이나 안전성을 증명하지 않는다. [근거: §5, Limitations]

함께 읽을 글

• 정상 응답도 다시 실행한다: AI Gateway 결정 폴백의 확신도·두 단계 과금·실패 경계: 한 번의 결정을 재실행하는 폴백과, 긴 GUI 궤적의 실행 담당을 넘긴 뒤 관찰자를 남기는 구조의 차이를 비교할 때 읽을 글이다.
• 3,100개 궤적으로 본 장기 에이전트의 붕괴 지점: 긴 작업에서 상태·계획·기억이 어디서 어긋나는지를 먼저 살피고, 이 글의 인계 후 감시 질문으로 이어갈 때 참고할 글이다. 두 글의 실험 결과를 합산하거나 LEASH의 효능 근거로 사용하지 않는다.

출처와 검증 범위

• 원문: LEASH: Uncertainty-Aware Weak-to-Strong Escalation and Oversight for Computer-Use Agents, arXiv:2610.22280v1. 최초 제출 표기는 UTC 기준 2026년 10월 15일 17:40:12이며, 한국 시간으로는 10월 16일 02:40:12다. 사전 공개 논문이며 학회 채택·동료심사 완료는 확인하지 않았다.
• 방법·개입: 버전 고정 HTML의 §§3.1–3.4, Appendix A.2–A.4. 수치·비용·한계: 같은 버전 PDF의 Table 1, Table 4, Table 8, Appendix B.1/B.4와 Limitations를 대조했다.
• 이 글의 판단표와 그림은 해당 근거를 바탕으로 새로 작성한 해설이다. 화면 캡처나 실제 제품 작동 증거가 아니다. 독립 재현, 실제 운영비·지연 측정, 원시 실행 로그 재집계는 수행하지 않았다.
• 검토한 버전 고정 HTML의 외부 링크와 PDF에서는 LEASH 전용 저자 코드·참조 은행·원시 결과 저장소 링크를 찾지 못했다. 다른 곳에도 전혀 없다는 뜻은 아니다.

핵심은 “큰 모델로 넘기면 끝”을 “인계 뒤에도 누가 무엇을 보고, 어느 실행 전 경계에서 멈출 수 있는가”라는 질문으로 바꾸는 것이다. 도입 여부는 성공률 하나가 아니라 관측 가능성, 실행 전 제어 가능성, 참조 데이터 준비, 전체 호출 비용을 함께 확인한 뒤 결정하자.