“시그니처냐 AI냐”, 왜 방화벽은 못 막고 AI는 막을까

들어가며

보안 솔루션을 도입하려고 견적을 받아보면 꼭 마주치는 질문이 하나 있습니다. 시그니처 기반이냐, 아니면 AI나 머신러닝을 활용한 행동 기반이냐 하는 것입니다. 영업 담당자는 대개 최신 기술인 AI 쪽을 강조하지만, 막상 운영 담당자 입장에서는 오탐 때문에 새벽에 알람이 울려 잠을 설친 경험 때문에 선뜻 손이 가지 않는 경우도 많습니다.

사실 이 두 방식은 어느 한쪽이 정답이고 다른 쪽이 틀린 게 아닙니다. 서로 잡아내는 위협의 성격 자체가 다릅니다. 오늘은 두 탐지 엔진이 실제로 어떻게 작동하는지, 그리고 왜 이 둘 사이에서 탐지율과 오탐률의 줄다리기가 벌어질 수밖에 없는지를 실무 관점에서 풀어보겠습니다.

시그니처 기반 탐지, 정확하지만 미래를 모른다

시그니처 기반 탐지는 이름 그대로 이미 알려진 공격의 지문을 데이터베이스에 저장해두고, 들어오는 트래픽이 그 지문과 일치하는지 대조하는 방식입니다. SQL 인젝션 구문이나 특정 악성코드의 해시값처럼 명확하게 정의된 패턴을 찾아내는 데는 이보다 빠르고 정확한 방법이 없습니다.

이 방식의 강점은 명확합니다.

• 이미 알려진 공격이라면 오탐 없이 정확하게 걸러낼 수 있습니다
• 판단 로직이 단순해서 처리 속도가 빠르고 시스템 부하가 적습니다
• 왜 차단되었는지 근거를 명확하게 설명할 수 있어 감사 대응이 쉽습니다

하지만 치명적인 약점도 있습니다. 시그니처에 등록되지 않은 새로운 공격, 즉 제로데이 공격 앞에서는 속수무책입니다. 공격자가 코드 몇 글자만 바꿔도 지문 자체가 달라지기 때문에 탐지를 우회하는 것이 생각보다 어렵지 않습니다. 결국 시그니처 방식은 어제의 공격은 완벽하게 막지만, 내일의 공격에는 매번 뒤늦게 대응할 수밖에 없는 구조적 한계를 안고 있습니다.

행동 기반 AI 탐지, 낯선 공격을 감지하는 방식

행동 기반 탐지는 접근 방식 자체가 다릅니다. 특정 공격의 생김새를 외우는 대신, 정상적인 사용자와 시스템이 평소 어떻게 행동하는지에 대한 기준선을 학습합니다. 그리고 이 기준선에서 벗어나는 이상 행동이 감지되면 위험 점수를 매기는 방식으로 작동합니다.

예를 들어 평소 하루 다섯 번 로그인하던 계정이 새벽 시간대에 수백 번씩 로그인을 시도한다면, 그 요청 자체가 알려진 공격 패턴과 정확히 일치하지 않더라도 비정상적인 행동으로 분류되어 경고가 발생합니다. 아래 그림은 두 탐지 엔진이 하나의 요청을 두고 어떤 절차를 거쳐 판단을 내리는지 비교한 것입니다.

이 방식의 가장 큰 장점은 한 번도 본 적 없는 공격, 즉 제로데이 위협에도 대응할 수 있다는 점입니다. 공격의 생김새가 아니라 결과적으로 나타나는 이상 행동을 보기 때문입니다. 대신 판단 기준이 확률적이고 통계적이라, 정상적인 사용자의 특이한 행동까지 위협으로 오인하는 오탐이 함께 늘어나는 부작용을 감수해야 합니다.

탐지율과 오탐, 왜 항상 줄다리기를 할까

여기서 실무자들이 가장 골머리를 앓는 지점이 등장합니다. 탐지 민감도를 높이면 더 많은 위협을 잡아낼 수 있지만, 그만큼 정상 트래픽을 위협으로 오판하는 오탐도 함께 증가합니다. 반대로 오탐을 줄이려고 기준을 느슨하게 잡으면, 이번에는 실제 공격을 놓치는 미탐 확률이 높아집니다.

이 관계를 그래프로 그려보면 탐지율 곡선과 오탐률 곡선이 함께 상승하는 모습을 보게 됩니다. 아래 그래프에서 확인할 수 있듯, 두 곡선이 만나는 어느 지점이 바로 실무에서 찾아야 할 균형점입니다.

오탐이 지나치게 많아지면 보안 담당자들이 알람 자체를 무시하게 되는 이른바 알람 피로 현상이 발생합니다. 정작 진짜 공격이 발생했을 때 그 신호가 수많은 오탐 속에 파묻혀 버리는 역설적인 상황이 벌어지는 것입니다. 그래서 AI 기반 탐지 시스템을 운영할 때는 모델을 한 번 세팅해두고 끝내는 것이 아니라, 실제 운영 데이터를 바탕으로 임계값을 지속적으로 재조정하는 과정이 반드시 필요합니다.

제로데이 공격 앞에서 AI 모델이 하는 역할

제로데이 공격은 정의상 아직 어떤 시그니처도 존재하지 않는 공격입니다. 이런 상황에서 방어선 역할을 할 수 있는 것은 결국 행동 기반 AI 모델뿐입니다. AI 모델은 공격의 정체를 몰라도, 그 공격이 시스템에 남기는 흔적, 이를테면 비정상적인 프로세스 실행이나 예상치 못한 네트워크 트래픽 패턴을 통해 이상을 감지해낼 수 있습니다.

다만 AI 모델이 만능은 아닙니다. 학습 데이터의 편향, 공격자가 정상 행동처럼 보이도록 서서히 패턴을 바꿔가는 회피 기법 등은 여전히 풀어야 할 숙제로 남아 있습니다. 그래서 최근 보안 업계에서는 시그니처와 행동 기반 AI를 별개로 운영하기보다, 두 방식을 계층적으로 결합하는 방향으로 흘러가고 있습니다. 알려진 공격은 시그니처로 빠르게 걸러내고, 그 다음 단계에서 AI 모델이 낯선 패턴을 정밀하게 들여다보는 구조입니다.

실무에서의 오탐 관리 전략

현장에서 오탐을 관리할 때 흔히 쓰이는 방법을 몇 가지 정리하면 다음과 같습니다.

1. 초기 도입 단계에서는 차단이 아닌 탐지 전용 모드로 운영하며 오탐 패턴을 먼저 수집합니다
2. 화이트리스트와 예외 처리 규칙을 함께 운영해 반복되는 오탐 원인을 사전에 제거합니다
3. 위험 점수에 등급을 나눠 낮은 점수는 자동 처리하고, 높은 점수만 사람이 검토하도록 업무를 분리합니다
4. 일정 주기로 모델을 재학습시켜 최신 트래픽 패턴에 맞게 기준선을 갱신합니다

결국 오탐을 완전히 없애는 것이 목표가 아니라, 오탐을 감당할 수 있는 수준으로 관리하면서 실제 위협을 놓치지 않는 균형을 찾는 것이 핵심입니다.

결론, 둘 중 하나가 아니라 둘 다 필요하다

시그니처 기반과 행동 기반 AI 탐지는 경쟁 관계가 아니라 보완 관계에 가깝습니다. 이미 알려진 공격은 시그니처가 가장 빠르고 정확하게 막아내고, 아직 알려지지 않은 위협은 행동 기반 AI가 그 빈자리를 채워줍니다.

보안 솔루션을 검토하고 있다면 어느 한쪽 기술만 강조하는 제품보다, 두 방식을 계층적으로 결합하면서 오탐을 관리할 수 있는 튜닝 체계까지 갖춘 솔루션인지를 함께 살펴보시길 권합니다.

참고

OWASP 및 업계 보안 벤더의 탐지 엔진 관련 자료를 참고하여 작성하였습니다.