오탐을 줄인 규칙은 왜 3년 뒤에도 그대로였나: SigmaHQ 9년의 제외 래칫

보안 탐지 규칙이 정상 업무를 공격으로 오인하면 분석가는 제외 조건을 추가한다. 백업 프로그램, 배포 도구, 관리 스크립트처럼 원인이 분명한 오탐을 계속 받는 것보다 합리적인 선택이다. 문제는 그다음이다. 제외된 영역에서는 더 이상 경보가 오지 않으므로, 그 조건이 아직 필요한지 다시 살펴볼 계기도 함께 사라진다.

8월 31일 공개된 논문 The Exclusion Ratchet은 이 침묵이 실제 규칙 이력에서 어떻게 쌓이는지 측정했다. 연구진은 SigmaHQ 저장소의 9년치 변경 이력 중 탐지 술어가 바뀐 8,234개 revision을 분석했다. 결과는 꽤 선명하다. 제외 조건은 철회보다 5.4배 자주 추가됐고, 측정 가능한 제외의 86.7%가 3년 뒤에도 남아 있었다.

이 수치를 "오탐 억제는 나쁘다"로 읽으면 논문의 범위를 벗어난다. 개별 제외에는 타당한 이유가 있다. 연구가 보여주는 것은 추가에는 담당자와 즉각적인 보상이 있지만, 철회에는 별도 소유자와 신호가 없다는 운영의 비대칭이다.

구조 비교만으로는 놓치는 31%

Sigma 규칙은 YAML로 작성되고, selection and not filter 같은 조건으로 특정 이벤트를 탐지 대상에서 뺀다. 연구진은 규칙 블록의 모양만 비교하지 않고 부정문 아래에 놓인 술어와 값의 변화를 함께 셌다. 새 filter 술어를 만드는 변경뿐 아니라 이미 존재하는 목록에 제외 값을 하나 더 붙이는 변경도 탐지하기 위해서다.

전체 1,642개 억제 변경 중 새 제외 술어를 만든 것은 1,139개였다. 나머지 503개, 즉 31%는 기존 제외 목록에 값만 추가했다. 이 경우 술어 수와 블록 수, condition 문자열은 그대로다. 구조적 diff만 보는 도구라면 규칙이 더 좁아졌다는 사실을 알아채지 못한다.

검출 방법은 결정론적이며, 연구진은 120개 표본을 commit message를 가린 상태에서 사람이 판정한 결과와 대조했다. 확정 판정이 난 검출 표본에서 precision은 0.828(95% Wilson 구간 0.711~0.904), 층화 추정 recall은 약 0.911이었다. 다만 27개 표본은 diff만으로 판단할 수 없었다. 절대 개수에는 분류 오차가 남지만, 제외 추가가 철회보다 훨씬 많다는 방향은 민감도 검사에서도 유지됐다.

추가 1,642번, 철회 304번

8,234개 revision에서 연구진이 찾은 억제는 1,642번, 완화는 304번이다. revision 단위 비율은 5.4대 1이다. 제외 집합이 한 번이라도 바뀐 rule lineage 559개만 따로 보면 481개(86.0%)가 시작보다 더 좁아진 상태로 끝났다. 더 넓어진 것은 37개, 변화가 상쇄된 것은 41개였다. rule 단위에서는 좁아진 규칙이 반복해서 좁아지는 경향 때문에 비율이 13대 1까지 벌어진다.

제외 추가에는 즉각적인 오탐 감소 보상이 있지만 철회에는 별도 소유자가 없다. 제외 집합을 수정한 규칙의 86%가 시작보다 좁아진 채 끝났다. 출처: arxiv.org/html/2608.31062v1.

이 현상이 저장소 성장이나 대량 편집 때문인지도 확인했다. 억제가 가장 많았던 20일을 모두 빼도 비율은 4.9대 1이었다. 날짜별로 살아 있는 규칙 수를 반영한 순 제외 수도 2026년에는 rule당 약 0.57개까지 올라갔다. 단순히 규칙이 많아져 누적값이 커진 것만은 아니다.

제거되지 않는 조건은 관찰 신호도 지운다

존속 기간을 측정할 수 있는 제외 1,584개 가운데 203개만 나중에 제거됐고 1,381개는 데이터 스냅샷 시점에도 남아 있었다. Kaplan-Meier 추정 존속률은 1개월 96.6%, 6개월 93.3%, 1년 89.9%, 3년 86.7%다. 곡선이 50% 아래로 내려가지 않아 중앙 존속 기간은 계산할 수 없다.

제거가 일어난 사례의 76%는 1년 안에 사라졌다. 살아남은 제외는 시간이 갈수록 재검토 신호를 잃는다. 출처: arxiv.org/html/2608.31062v1.

제거된 사례만 보면 52%가 6개월 안에, 76%가 1년 안에 사라졌다. 약 2년 뒤에는 제거 hazard가 거의 0에 가까워졌다. 논문은 원인으로 단정하지 않고 한 가지 설명을 제안한다. 탐지 규칙 검토는 보통 경보가 발생할 때 시작되는데, 제외는 바로 그 경보를 없앤다. 정상적으로 보이는 규칙 뒤에서 제외 영역만 조용해지고, 시간이 지날수록 재검토를 촉발할 자료가 줄어드는 셈이다.

유일한 탐지 규칙이라고 더 빨리 검토되지는 않았다

결과의 심각도를 고려해 관리했다면 특정 ATT&CK technique을 혼자 담당하는 규칙의 제외가 더 빨리 철회될 가능성이 있다. 데이터에서는 그런 차이가 없었다. 그룹을 정할 수 있었던 1,339개 제외 중 71개는 유일 커버리지 규칙에 있었고, 그중 63개가 여전히 유지됐다. 중복 커버리지가 있는 규칙의 제외와 생존 곡선을 비교한 log-rank 검정은 p=0.49였다.

이 null result는 "두 그룹이 같다"는 강한 증명이 아니다. 유일 커버리지 표본이 71개로 작고, SigmaHQ의 ATT&CK tag가 실제 조직의 전체 탐지 체계를 나타내지도 않는다. 다만 이 저장소 이력에서는 뒤에 대체 탐지가 있는지 여부가 제외 철회 시점에 반영됐다는 증거를 찾지 못했다. 경보 발생량으로만 유지보수 우선순위를 잡으면, 가장 조용하지만 가장 중요한 공백을 놓칠 수 있다는 경고로 읽는 편이 맞다.

검토는 "진입 비용 × 범위"로 정렬한다

연구진은 경로 값 literal 5,336개를 공격자가 그 조건을 만족하려면 무엇을 해야 하는지에 따라 분류했다. 64.1%는 권한 없는 프로세스도 파일명을 고르는 것만으로 들어갈 수 있었고, 33.0%는 보호된 시스템 디렉터리에 쓸 권한이 필요했다. 그렇다고 보호 경로가 모두 안전한 것은 아니다. 그중 일부는 단일 파일이 아니라 디렉터리 전체나 여러 wildcard를 허용한다.

두 축을 함께 보면 우선순위가 생긴다. 50.5%는 자유롭게 만족할 수 있지만 단일 파일을 가리켰고, 12.3%는 자유롭게 만족하면서 범위도 넓었다. 18.4%는 권한이 필요하고 범위가 좁았으며, 13.3%는 권한이 필요하지만 넓었다. 논문은 "넓고 자유롭게 진입 가능한" 12.3%부터 검토하고, "좁고 권한이 필요한" 18.4%는 건드리지 않는 기준을 제안한다.

넓고 권한 없이 만족 가능한 12.3%부터 검토한다. 좁고 권한이 필요한 18.4%는 유지 가능한 안전 구역이다. 출처: arxiv.org/html/2608.31062v1.

실무에서는 제외를 추가할 때 만료일, 소유자, 오탐 근거, 테스트할 공격 변형을 함께 기록해야 한다. 만료일이 됐다고 무조건 삭제하면 경보 폭증이 돌아온다. 대신 제외가 있는 규칙과 없는 shadow rule을 제한된 기간 병행하고, 차이를 샘플링해 사람이 확인하는 편이 낫다. 유일 커버리지 규칙, 넓은 wildcard, 사용자가 고를 수 있는 파일명, 오래된 제외를 교차해 검토 큐를 만들면 단순히 "가장 많이 울린 규칙"을 보는 것보다 침묵의 위험을 찾기 쉽다.

범위와 주의점

이 연구는 공개 SigmaHQ 저장소 한 곳의 revision 이력이다. 실제 조직은 Sigma 규칙을 SIEM용 쿼리로 변환한 뒤 현장 환경에 맞춰 추가 조정하므로, 공개 저장소의 제외가 그대로 배포된다고 볼 수 없다. 경로 문자열만으로 실제 파일 시스템 권한과 공격 가능성을 완전히 판정할 수도 없다. 저자들도 일반화된 wildcard, 복합 revision, 대소문자 중복 때문에 일부 억제를 잘못 분류하거나 놓칠 수 있다고 적었다.

또한 논문은 Computers & Security에 제출된 preprint이며 아직 동료평가 완료 논문이 아니다. 공개 코드·파생 데이터는 Zenodo DOI로 안내돼 있지만 이번 검토에서는 Zenodo API 접근이 403으로 막혀 독립 재계산을 수행하지 못했다. 따라서 이 글의 수치는 arXiv v1 HTML과 PDF의 표·본문을 대조한 결과이며, 복제 실행 결과가 아니다.

결론은 제외를 없애자는 것이 아니다. 오탐을 줄이는 작업과 탐지 범위를 보존하는 작업을 서로 다른 운영 항목으로 관리해야 한다. 제외 추가 PR이 닫혀도 그 조건의 책임은 끝나지 않는다. 경보가 사라진 곳을 다시 보게 만드는 별도 일정과 증거가 없으면, 합리적인 한 번의 예외가 3년짜리 탐지 공백으로 굳는다.

참고 자료

• https://arxiv.org/abs/2608.31062
• https://arxiv.org/html/2608.31062v1
• https://arxiv.org/pdf/2608.31062v1
• https://doi.org/10.5281/zenodo.22107282
• https://sigmahq.io/docs/basics/rules.html
• https://github.com/SigmaHQ/sigma