AI 탐색을 끝까지 맡겨야 할까: AgenticBBO의 수치 최적화기 인계 조건

하이퍼파라미터 후보를 평가할 때마다 학습을 돌려야 한다면, AI가 다음 후보를 끝까지 고르게 하는 방식만 비교할 필요는 없다. 초기 탐색은 LLM 에이전트에게 맡기고, 이미 얻은 후보와 평가값을 수치 최적화기에 넘기는 세 번째 선택지가 있다. AgenticBBO의 작은 진단 실험에서는 전체 온라인 Agentic의 평균 정규화 점수가 0.569, 같은 탐색 prefix 뒤 TuRBO로 인계한 점수가 0.570, 공통 초기 관측부터 TuRBO를 사용한 점수가 0.475였다. 인계가 검토할 만한 선택이라는 관찰이지, 비용 절감이나 통계적 동등성이 증명됐다는 뜻은 아니다. 논문 §5.5, Table 3(a)

이 글의 결론부터 말하면, 먼저 확인할 것은 ‘LLM을 몇 번 부르면 끊을까’가 아니라 ‘같은 실제 관측 이력을 넘길 수 있는가’다. 아래에서 세 가지 비교군, 남은 목적함수 예산, 품질과 별도로 기록해야 할 비용을 하나의 판단표로 정리한다. 실서비스에서 바로 적용할 최적 전환 시점은 이 연구가 알려주지 않는다.

1. 가까운 점수보다 중요한 것은 비교군의 출발점

블랙박스 최적화는 후보를 넣어 평가값은 얻을 수 있지만, 목적함수의 내부 형태나 기울기를 직접 활용하기 어려운 탐색 문제다. 여기서 prefix는 대화 요약이 아니라 탐색 초반에 실제 평가한 후보 x와 그 결과 y의 연속 기록이다. LLM이 텍스트로 ‘좋은 구간을 찾았다’고 말한 것만으로는 수치 최적화기에 유효한 인계가 되지 않는다. 논문 §2, Appendix B.5

비교군	출발점과 진행 방식	보고된 평균 점수	독자가 구분할 질문
전체 온라인 Agentic	공통 초기 관측 뒤, 새 평가 예산 내내 에이전트가 후보 선택	0.569	LLM을 계속 쓰는 선택의 품질은 어떤가
Agent → TuRBO	에이전트가 만든 실제 prefix 뒤 TuRBO가 남은 예산 사용	0.570	초반 탐색을 남긴 채 LLM을 멈출 수 있는가
초기부터 TuRBO	에이전트 prefix 없이 공통 초기 관측에서 시작	0.475	처음부터 수치 방식만 쓰는 선택은 어떤가

네 진단 과제·시드 2–5의 저자 보고 평균 정규화 점수. 축은 0–1이며 성공률·동등성 검정이 아니다. 출처: arxiv.org/html/2610.12183v1.

이 표의 범위는 BBOB f02·f15, Breast/SVM, Diabetes/RF의 네 진단 과제와 시드 2–5다. 과제마다 시드를 평균하고 네 과제를 동일 가중으로 집계한다. 전체 벤치마크의 77개 과제나 다섯 도메인을 모두 인계 실험의 분모로 가져오면 안 된다. Table 3(a)의 반올림된 집계치가 가깝다는 사실은 신뢰구간을 제시한 동등성·비열등성 검정이 아니다. 저자의 결과를 읽어 정리했으며 이 글에서 모델이나 최적화기를 다시 실행하지 않았다. 논문 Appendix A.3, B.5

2. 인계할 것은 요약문이 아니라 평가된 이력

진단 실험의 BBOB는 공통 초기 평가 20개와 새 평가 예산 50개를 사용한다. 그 새 평가 중 에이전트가 16개를 만든 뒤 남은 34개를 수치 방식이 이어간다. HPO는 공통 초기 평가 5개, 새 평가 예산 25개이며 에이전트 prefix 8개와 남은 17개로 나뉜다. 초기 평가를 새 예산에 또 포함하거나, 16·8을 LLM 호출 횟수로 읽으면 프로토콜이 달라진다. 남은 수치는 보존된 소스 선택 단계의 산술 대조 기록과 일치한다. 논문 Appendix B.5; 저자 인계 계약

초기 평가와 새 평가 예산을 구분한 절차도. 인계 지점은 연구의 고정 조건이며 최적 전환 임계값이 아니다. 출처: arxiv.org/html/2610.12183v1.

GP·TuRBO·로컬 탐색 인계 분기는 정확히 같은 에이전트 생성 prefix를 물려받는다. 인계 뒤에는 추가 LLM 호출 없이 남은 목적함수 평가 예산을 사용한다. 반면 전체 예산 수치 대조군은 공통 초기 관측에서 바로 시작한다. 따라서 결과를 ‘TuRBO 자체가 더 좋다’와 ‘에이전트의 초반 탐색이 유용하다’로 뭉뚱그리지 말아야 한다. 서로 다른 시작 이력을 비교하는 질문과 같은 prefix 이후의 계속 제어를 비교하는 질문을 분리해야 한다.

이 실험은 고정된 인계 지점을 시험했다. 목적함수 16회 또는 8회가 모든 업무에 최적인 중단 임계값이라는 뜻도, 시스템이 상태를 보고 자동으로 시점을 학습했다는 뜻도 아니다. 자신의 과제에서는 초기화, 시드, 목적함수 정의, 후보 제약과 총 새 평가 예산을 고정하고 세 가지 방식을 별도로 비교하는 출발점으로만 사용하자.

3. 0.570은 성공률 57%가 아니다

평가 점수는 새 목적함수 평가 단계마다 그때까지의 최고값을 과제별 기준으로 정규화한 뒤, 그 궤적의 평균에 0.7을 곱하고 마지막 최고값의 정규화 품질에 0.3을 곱해 더한다. 마지막 최고값은 궤적 평균에도 들어가고 마지막 항에서도 추가 가중을 받는다. 분모는 새 평가 예산 B이며, 성공한 과제 수나 모델 요청 수가 아니다. 논문 §4.3, 식 1

정규화된 best-so-far 궤적과 마지막 품질의 가중 구조. 0.570을 성공률 57%나 원래 목적함수 값으로 해석할 수 없다. 출처: arxiv.org/html/2610.12183v1.

HPO는 과제·시드·예산에 맞춘 초기화와 GP 기준 등을 사용하고, BBOB는 알려진 최적값도 활용한다. 그러므로 점수 0.570을 모델 정확도나 원래 목적함수 값으로 바꿔 말할 수 없다. 독자는 자신의 평가에서도 마지막 성능만 볼지, 초반부터 좋은 후보를 찾는 과정까지 볼지 먼저 정해야 한다. 예산이 작은 업무라면 초반 탐색의 효용은 별도 의미가 있지만, 이 문장은 운영 설계상의 해석이지 추가 측정 결과가 아니다.

4. 목적함수 예산과 청구 비용을 따로 기록하자

논문은 목적함수 평가만 공통 예산에서 차감한다. LLM 추론, 로컬 코드 실행, 도구 질의, 후보 검증은 그 예산 밖이다. 로컬 계산과 도구 호출에도 벤치마크가 강제한 라운드 제한은 없다. 같은 25회 평가라고 해서 같은 API 청구액이나 같은 소요 시간이라는 뜻은 아니다. 이번 인계 결과에서 끝단까지의 비용 절감률이나 속도 향상률을 선택해 인용할 근거는 없다. 다른 모델 비교 패널의 비용을 이 인계 실험의 절감률로 옮겨오지도 않는다. 논문 §4.2, Appendix A.2·B.2

아래 판단표는 논문 프로토콜에서 도출한 편집 분석이며, 운영 환경에서 검증된 자동 전환 규칙이 아니다.

관찰할 조건	독자의 다음 행동	이 조건만으로 주장하면 안 되는 것
인계할 x/y 기록이 없거나 후보 순서가 달라짐	인계를 중단하고 실제 prefix 동일성을 먼저 확보	다른 초기화의 결과를 같은 이력 인계 성능으로 부르기
같은 초기화·시드·목적함수·새 평가 예산을 고정할 수 있음	전체 LLM, 같은 prefix 뒤 수치 인계, 초기부터 수치 탐색을 별도 비교	연구의 고정 인계 시점을 만능 전환 규칙으로 사용
인계 뒤 LLM 호출은 줄지만 최적화기 준비와 실행 시간이 생김	추론 비용, 수치 계산 비용, 벽시계 시간, 목적함수 평가 수를 분리 기록	호출 감소만으로 전체 비용 절감 보장
허용 품질 기준을 정하지 않았거나 반복 결과가 들쑥날쑥함	업무 기준과 반복 시드를 먼저 정하고 품질 편차를 확인	가까운 평균 하나로 동등성 판정
실행 권한이나 데이터 반출 범위가 불명확함	격리 환경과 최소 권한 검토를 먼저 완료	벤치마크 구조를 보안 인증으로 해석

인계 직전의 실제 후보 x와 평가값 y를 보존하지 못한다면 인계 비교를 멈춘다. 다른 초기화로 다시 시작하면 같은 prefix의 효과를 비교한 것이 아니다.

이 글의 편집 분석으로 만든 적용 판단 흐름. 품질·API 비용·시간은 별도로 기록하며 운영 검증된 자동 전환 규칙은 아니다. 출처: arxiv.org/html/2610.12183v1.

실무적으로 남길 기록은 후보와 평가값, 순서, 목적함수 버전, 제약, 시드, 초기화 식별자, 잔여 예산이다. 비용 장부는 이에 더해 모델 요청·토큰 청구, 수치 계산 시간, 실제 목적함수 실행 시간을 따로 묶는 편이 낫다. 이 목록은 저자 프로토콜을 운영 비교에 적용하기 위한 이 글의 편집 제안이며, 새 시스템을 실행해 확인한 결과는 아니다.

5. 코드를 읽었다는 것과 실행했다는 것은 다르다

진단 실험의 기본 모델·하네스는 DeepSeek V4.1 Flash와 Codex이며, 지속 작업 공간과 후보 제출 인터페이스도 평가된 시스템의 일부다. 임의의 모델 API나 다른 하네스로 같은 숫자가 나온다고 단정할 수 없다. 논문 §5.1, Appendix B.1

고정 커밋 6a08b735cc4e9514ddbcea5c9a1f5f7864b7370b의 저자 README는 Linux·Python 3.11·uv를 요구한다. 에이전트 실행에는 별도 native Codex, Docker, 모델 자격 증명도 필요하다. --handoff-history는 검증된 이력에서 GP·TuRBO·로컬 탐색을 이어가는 기능으로 문서화돼 있다. 여기서는 저장소를 설치하거나 명령을 실행하지 않았다. 또한 GP-policy 역할과 전체 최적화기 개발 피드백 루프는 실행 가능한 완전한 워크플로로 공개돼 있지 않다. 고정 README의 Quick start·Language-model agent·Diagnostic experiments

저장소의 현재 main-suite 계약은 시드 2–5를 다루지만 논문의 광범위 벤치마크는 과제당 두 번의 실행을 설명한다. 이를 한 숫자로 통일해 표의 분모를 바꾸지 않는다. 이번에 다루는 네 과제 인계 진단은 네 시드의 계약과 대응한다. 소스 LICENSE는 MIT이나, 이것만으로 제삼자 자산의 권리, 모든 데이터의 이용 허가, 런타임 안전성을 승인한 것은 아니다. 실데이터를 모델에 보내기 전 반출 허가를 확인하고, 평가기·비밀키 접근과 코드 실행 권한도 별도로 검토해야 한다. 고정 README와 LICENSE

6. 도입 판단: 더 오래 생각하게 하기 전에 같은 출발점을 만들자

이 연구에서 독자가 가져갈 선택은 ‘LLM을 없애자’가 아니다. 의미 정보를 활용하는 초반 탐색과 수치 방식의 후속 탐색을 분리해 시험해 보자는 것이다. 실제 이력을 그대로 넘길 수 있고, 품질 기준과 비용 장부를 독립적으로 마련할 수 있을 때 인계 비교를 검토하자. prefix가 달라지거나, 측정하지 않은 비용 절감을 먼저 홍보해야 하는 상황이라면 적용 근거부터 부족하다.

관련 글은 서로 다른 비용 경계를 확인하는 데 도움이 된다. 상태형 ReAct의 기억·비용 경계는 LLM을 계속 쓰면서 이력 저장을 바꾸는 선택을 다룬다. 이번 글처럼 LLM을 수치 최적화기로 교체하는 결정과는 다르다. 코딩 에이전트 라우팅의 KV 캐시 함정은 다른 모델로 넘길 때의 비용 문제로, 모델 호출이 사라지는 이번 인계의 측정값을 대신하지 않는다.

출처와 검증 범위

• 논문 arXiv 2610.12183v1: 2026년 10월 8일 제출된 프리프린트. 동료 심사 확인 없음. §4.2–4.3, §5.5 Table 3(a), Appendix A.3·B.5의 프로토콜과 점수를 사용했다.
• 저자 저장소 고정 README, 인계 계약, 점수 정의: 버전 고정 문서 대조이며 독립 재현은 아니다.
• 본문 그림은 공개 자료의 숫자·절차를 바탕으로 직접 구성한 도표다. 제품 화면, 논문 그림 복제, 실서비스 측정 결과가 아니다. 판단표와 운영 체크는 편집 분석으로 구분했다.

AI를 활용해 공개 1차 자료를 읽고 작성한 해설이며 제품 사용 후기나 독립 벤치마크 재현이 아니다. 독자용 비교 기준을 제시하지만 실제 절감률, 통계적 동등성, 보안 승인을 보장하지 않는다.