같은 모델, 다른 하네스: WildClawBench 점수·시간·비용으로 CLI 고르기

같은 모델을 연결했는데도 한 CLI는 작업물을 남기고 다른 CLI는 제한시간까지 조사만 하다가 끝난다면, 모델 이름만으로 도구를 고르기는 어렵다. WildClawBench의 네 하네스 비교는 이 선택 문제를 수치로 보여준다. MiMo V2 Pro의 점수는 Claude Code에서 29.9, Hermes Agent에서 48.1이었다. 그렇다고 Hermes가 모든 모델의 정답은 아니다. GPT 5.4에서는 Codex가 56.8로 가장 높았다.

이 글은 2026년 5월 11일 제출된 논문 v1의 Table 3를 읽는 해설이다. 최신 제품 순위나 오늘의 요금표를 제공하는 글이 아니다. 원문에 나온 점수·시간·비용을 먼저 분리해서 보고, 내 업무의 제약에 따라 시험 후보를 줄이는 방법을 제안한다. 아래 판단표는 편집상 분석이며, 여기서 네 제품을 설치하거나 벤치마크를 독립 재현한 결과가 아니다.

1. 무엇을 같은 조건으로 비교했나

WildClawBench는 사람이 작성한 업무 60개를 사용한다. 생산성 업무, 코드 이해, 사회적 상호작용, 검색·조회, 창작, 안전 정렬이라는 여섯 범주가 포함된다. 언어는 영어 36개와 중국어 24개이고, 멀티모달 업무 26개와 순수 텍스트 업무 34개로 나뉜다. 한 가지 코딩 문제만 잘 푸는지를 보는 시험이 아니라, 도구를 여러 번 호출하면서 파일이나 환경 상태를 바꾸는 일을 평가하려는 구성이다.

각 실행은 같은 초기 작업공간에서 시작하며 업무별 시간 예산은 300–1200초다. 예산을 넘으면 궤적을 중단하고 그때까지 남은 산출물을 채점한다. 정확한 파일 형식이나 수치는 결정적 규칙으로 확인하고, 이메일·달력 같은 서비스의 부작용은 상태와 감사 기록으로 확인하며, 의미 판단이 필요한 항목에는 GPT 5.4 심사 모델을 쓴다. 즉, 오래 생각했더라도 제한시간 안에 평가 가능한 결과를 남기지 못하면 손해를 볼 수 있다.

다만 ‘동일 조건’의 범위를 좁혀 읽어야 한다. 도구 스키마·시스템 프롬프트·문맥 관리 정책은 각 하네스 내부에서 고정했지, 네 하네스 사이에서 전부 같게 만든 것이 아니다. 실제 셸이나 브라우저를 사용한다는 설명도 모든 서비스가 실제 외부 서비스라는 뜻은 아니다. 사회적 상호작용 과제에는 모의 참가자와 계측된 서비스가 들어간다. 이런 과제 구성을 독자의 회사 환경 전체로 일반화할 수는 없다.

동일 초기 상태와 시간 제한이 결과 해석의 조건이다. 각 하네스 내부 설정은 고정되지만 네 제품 사이의 설정은 동일하지 않다. 출처: arxiv.org/html/2605.10912v1.

2. 점수표는 모델별로 읽어야 한다

아래는 논문 Table 3의 점수를 그대로 옮긴 표다. 점수는 0–100 척도의 정규화된 루브릭 종합점수이며, 60개 업무 가운데 완전히 성공한 업무의 비율이 아니다. 부분 점수가 있는 채점에서 48.1이라는 수치를 ‘업무의 48.1%를 완벽하게 성공했다’로 바꾸면 의미가 달라진다.

모델	OpenClaw	Claude Code	Codex	Hermes Agent
GPT 5.4	50.3	48.4	56.8	50.7
GLM 5	42.6	31.0	38.9	46.4
MiMo V2 Pro	40.2	29.9	35.3	48.1
MiniMax M2.7	33.8	32.0	35.8	37.1

Table 3의 정규화 점수 0–100. GPT는 Codex, 나머지 세 모델은 Hermes의 점수가 가장 높다. 완전 성공률이나 최신 제품 순위가 아니다. 출처: arxiv.org/html/2605.10912v1.

Hermes Agent는 여기에서 평가한 네 모델 중 세 모델의 최고점을 기록했고, GPT 5.4의 최고점은 Codex였다. 따라서 실무적으로 쓸 수 있는 결론은 ‘특정 제품이 항상 이긴다’가 아니라 ‘이미 선택한 모델에 따라 첫 시험 후보가 달라진다’다. 제품 이름을 먼저 정한 뒤 가장 좋은 수치를 찾아 붙이는 방식보다, 사용할 모델의 행부터 보는 방식이 낫다.

MiMo의 두 표시값을 소수 연산으로 다시 빼면 48.1 − 29.9 = 18.2점이다. 논문 본문은 이를 약 18점으로 서술한다. 여기의 18.2는 반올림된 공개 표 셀을 재계산한 차이이며, 반올림 전 원시 점수의 정확한 효과나 상대 향상률 18%가 아니다. 실제 계산 기록은 로컬 패키지에 보존했다. 이 차이가 크다는 사실과 모든 배포에서 같은 차이가 난다는 주장은 별개다.

3. GPT 5.4: 최고점과 최단시간은 같은 선택이 아니다

GPT 5.4를 쓰기로 결정한 독자에게는 아래 네 후보가 출발점이 된다. 시간과 비용은 각 업무의 평균이며, 시간은 분, 비용은 실험 당시 미국 달러다. 개별 업무의 최악 지연이나 현재 청구액을 나타내지 않는다.

하네스	점수	평균 분/업무	평균 USD/업무
OpenClaw	50.3	5.83	0.33
Claude Code	48.4	9.07	0.61
Codex	56.8	7.16	0.57
Hermes Agent	50.7	8.97	0.44

GPT 5.4는 점수 우선과 대기시간 우선의 후보가 다르다. 시간·비용은 업무당 평균이며 현재 가격·최악 지연의 보증이 아니다. 출처: arxiv.org/html/2605.10912v1.

이 표에서 점수만 우선하면 Codex가 첫 후보다. 반면 응답 대기와 비용을 먼저 줄여야 한다면 OpenClaw도 시험할 이유가 있다. 점수 차이를 지연·요금 차이와 함께 보고, 내 업무에서 그 차이를 받아들일 수 있는지를 따져야 한다. 평균 5.83분이라는 숫자를 보고 ‘모든 요청이 그 안에 끝난다’고 약속해서도 안 된다. 외부 도구 응답, 과제 구성, 모델 제공 경로가 달라지면 평균도 꼬리 지연도 바뀔 수 있다.

중요한 역전 사례도 있다. 이 표에서 Hermes는 GPT 5.4의 점수가 가장 높은 조합이 아니다. 다른 세 모델에서의 승리만 보고 GPT에도 같은 선택을 적용하면, 정작 해당 모델의 직접 비교 결과를 무시하게 된다. 하네스 추천은 모델을 생략한 브랜드 순위가 아니라 ‘이 모델과 이 환경의 조합’이라는 조건문이어야 한다.

4. GLM 5: 비용 제약이 있으면 후보가 다시 바뀐다

GLM 5에서는 Hermes Agent의 점수가 46.4로 가장 높다. 그러나 평균 비용은 0.44달러로 표 안에서 가장 크다. Codex는 점수 38.9, 비용 0.13달러이며, OpenClaw는 점수 42.6, 비용 0.19달러다. ‘더 높은 점수를 샀다’는 해석과 ‘가장 경제적인 선택이다’라는 해석은 같지 않다.

하네스	점수	평균 분/업무	평균 USD/업무
OpenClaw	42.6	6.22	0.19
Claude Code	31.0	10.18	0.21
Codex	38.9	7.84	0.13
Hermes Agent	46.4	6.62	0.44

GLM 5는 최고점 조합이 최저비용 조합이 아니다. 본문 0.20달러 상한은 편집자가 정한 가상 규칙이지 논문의 권장 예산이 아니다. 출처: arxiv.org/html/2605.10912v1.

같은 표를 두고도 비용 상한을 먼저 정하는 팀과 결과 품질을 먼저 정하는 팀의 시험 순서는 달라진다. 예컨대 표의 평균 비용이 0.20달러 이하인 후보만 남기는 가상 규칙을 적용하면 OpenClaw와 Codex가 남는다. 그 안에서 점수 우선이면 OpenClaw를 먼저 시험하게 된다. 0.20달러는 이 글이 설명용으로 정한 가상의 상한이지, 논문의 운영 권고나 실제 조직의 승인 예산이 아니다.

이처럼 ‘점수/달러’ 하나로 모든 것을 묶기 전에 필수 조건을 정하는 편이 안전하다. 종합 점수가 낮아도 치명적인 부작용이 없으면 되는 업무가 있고, 평균 점수가 높더라도 특정 파일을 덮어쓰면 탈락시켜야 하는 업무가 있다. 가중 종합점수는 업무의 종류를 압축하므로, 자신의 실패 비용을 직접 대입해야 한다.

5. 내 업무의 시험 후보를 줄이는 판단표

점수 우선이면 모델별 최고점 조합을 첫 후보로 삼고, 시간·비용 상한이 있으면 상한을 통과한 후보끼리만 점수를 비교한다.

독자의 우선 조건	Table 3에서 먼저 할 일	자체 시험에서 확인할 것
품질이 최우선	사용할 모델의 행에서 최고점 조합을 고른다	내 업무의 필수 산출물과 금지 부작용도 통과하는가
대기시간이 엄격함	같은 모델의 평균 시간으로 후보를 좁힌다	업무별 마감 안에 실제 산출물이 남는가; 평균 밖의 지연은 어떤가
비용 상한이 있음	같은 모델의 평균 비용이 상한 아래인 후보만 남긴다	재시도·실패를 포함한 실제 청구 비용도 상한을 지키는가
특정 파일·권한 보호가 필수	종합 점수만으로 승인하지 않는다	원본 보존과 권한 경계를 별도 탈락 조건으로 두었는가

이 판단표는 도구를 바로 바꾸라는 지시가 아니라, 다음 비교 실험의 설계안이다. 먼저 실제 업무에서 대표 입력을 고르고 모델, 시작 파일, 접근 가능한 도구, 종료시간, 필수 결과물을 기록한다. 각 후보를 같은 초기 상태에서 실행하고 결과 파일과 실패 흔적을 보존한다. 한 번의 우연한 성공을 기준으로 갈아타기보다 반복 실행에서 점수·지연·비용의 흔들림을 확인한다. 반복 횟수나 업무 수는 조직의 위험에 맞춰 정해야 하며, 이 글이 임의의 횟수를 검증된 기준처럼 제시하지는 않는다.

특히 서로 다른 제품을 그대로 시험한다면 제품 번들의 차이를 측정하는 것이다. 메모리, 도구 스키마, 복구 정책 중 어떤 요소가 원인인지 알고 싶으면 그 요소만 바꾸는 별도 비교가 필요하다. 이 비교는 제품별 실행 환경을 묶어 비교한 결과이며, 특정 메모리 기능이나 도구 하나의 인과 효과를 분리한 실험이 아니다.

6. 어디까지 믿고, 무엇은 다시 확인해야 하나

논문의 시간 제한은 단순한 부가 설정이 아니다. 제한시간 초과 실행을 그 시점의 산출물로 채점하기 때문에, 실행 경로의 지연이 점수에 영향을 줄 수 있다. 다만 네 하네스 표만으로 ‘어떤 기능이 몇 점을 올렸다’고 분해할 수는 없다. 시간과 점수의 관계를 해석하는 것과 기능의 인과 효과를 입증하는 것을 구분해야 한다.

불확실성도 표의 적용 범위를 줄인다. Appendix G의 반복 실험은 네 대표 모델을 OpenClaw에서 세 번 실행한 결과이지, Table 3의 모든 하네스 조합에 대한 신뢰구간이 아니다. Appendix H의 사람과 심사 모델 비교는 다섯 과제에 네 모델의 출력을 놓고 두 전문가가 살펴본 사례 연구다. 그것을 전체 60개 과제의 보편적인 채점 정확도로 바꾸어 말할 수 없다.

저자들이 밝힌 한계에는 처음 한 번의 사용자 지시만 있고 중간 사용자 수정·추가 확인이 없다는 점도 들어간다. 데스크톱 GUI 중심 작업과 생물학·금융·법률 업무의 대표성도 제한적이다. 한국어 실제 업무는 영어·중국어 구성과 다르다. 따라서 이 표는 구매나 배포의 최종 승인표가 아니라, 자신이 사용할 모델과 제약 조건에 맞는 비교 후보를 고르는 출발점으로 쓰는 편이 적절하다.

공식 저장소는 논문 이후 바뀌었으므로 최신 README의 확장된 순위와 이 글의 v1 표를 섞지 않았다. 현재 CLI 버전이나 가격을 확인하려면 별도 최신 점검이 필요하다. 여기서는 동결해 보존한 논문 본문을 해설하고 공개 표의 산술을 확인했을 뿐, Docker 환경이나 전체 실행 궤적을 내려받아 독립 재채점하지 않았다.

핵심은 모델을 고른 뒤 하네스를 부수적인 포장으로 취급하지 않는 것이다. 그렇다고 하네스 이름을 새 만능 순위로 만들 필요도 없다. 모델별 행을 읽고, 예산으로 후보를 걸러내고, 내 업무에서 남은 결과물과 부작용을 확인하면 된다.

이어 읽기

• 코딩 에이전트 하네스는 만능 설정이 아니었다: 이번 글의 제품 번들 비교와 달리 계획·도구·컨텍스트 구성요소를 나누어 읽는 연구 해설이다. 어떤 기능이 원인인지 묻고 싶을 때 이어 읽을 수 있다.
• 예약했다고 말했는데 DB는 비었다: 자체 시험에서 ‘성공’을 최종 상태와 안전 조건으로 정의하는 실무 해설이다. 이번 글의 수치 순위가 아니라 비교 과제와 채점 기준을 만드는 데 쓰는 보완 자료다.

출처와 작성 범위

• WildClawBench 논문 v1: 2026년 5월 11일 제출. 본문 §§3.1–3.4, §4.1, Table 3, Appendix B/G/H를 기준으로 작성했다.
• 논문 HTML 본문: 업무 구성, 시간 제한, 채점 방식, 모델별 하네스 점수·시간·비용의 직접 근거다.
• 공식 저장소의 동결 README: 논문 이후 저장소가 갱신되었다는 버전 경계를 확인하기 위한 자료다. 이 글의 수치표를 최신 순위로 대체하지 않았다.

표와 그림은 해당 논문의 공개 수치 및 절차를 바탕으로 직접 구성했다. 제품 화면이나 독립 실험 결과가 아니며, 제품의 보증·제휴를 뜻하지 않는다. AI를 활용해 자료를 정리하고 원고·도표를 작성·검토했다.