봇 트래픽은 항상 쉽게 눈에 띄는 것은 아닙니다.
단순한 스크립트는 반복적인 요청을 생성하는 경우가 많아 비교적 쉽게 식별할 수 있습니다. 반면 더 정교한 봇은 IP 주소를 순환시키고, JavaScript를 실행하며, 실제 브라우저나 헤드리스 브라우저를 사용하고, 쿠키와 세션을 유지하면서 일반 사용자와 유사한 행동을 보일 수 있습니다.
따라서 봇 탐지를 정확하게 수행하려면 단순히 트래픽이 갑자기 증가했는지 확인하거나 의심스러운 IP 주소를 차단하는 것만으로는 충분하지 않습니다. 일반적으로 분석 도구, 보안 이벤트, 서버 로그에서 비정상적인 활동을 식별한 다음, 네트워크, 디바이스, 브라우저, 행동 신호를 함께 분석하여 해당 활동이 자동화된 프로그램에서 발생한 것인지 판단해야 합니다.
봇 트래픽이란?
봇 트래픽이란 사람이 각 단계를 직접 수행하는 것이 아니라 자동화된 소프트웨어가 생성하는 웹사이트, 애플리케이션 또는 API 활동을 의미합니다.
일부 트래픽 봇은 정상적인 업무를 수행합니다. 예를 들어 검색 엔진 크롤러는 콘텐츠를 발견하고 색인하며, 모니터링 서비스는 웹사이트의 가용성을 확인합니다. 또한 승인된 시스템 연동을 통해 다양한 비즈니스 프로세스를 자동화할 수도 있습니다.
반면 원치 않거나 악의적인 활동을 자동으로 수행하는 봇도 있습니다. 예를 들면 다음과 같습니다.
- 자격 증명 공격
- 무차별 대입 공격
- 웹 스크래핑
- 허위 계정 등록
- 스팸
- 카드 도용 및 결제 사기
- 재고 사재기
- 자동 구매 및 되팔기
- 클릭 사기
- 취약점 스캔
따라서 자동화된 활동을 식별하는 것만으로는 충분하지 않습니다. 해당 봇이 정상적인 봇인지, 의심스러운 봇인지, 아니면 악성 봇인지까지 판단해야 합니다.
웹사이트에 봇 트래픽이 있는지 확인하는 방법
분석 데이터, 보안 이벤트, 서버 로그에는 자동화된 활동을 나타내는 특징이 나타날 수 있습니다.
다음과 같은 경고 신호는 추가 조사가 필요한 영역을 찾는 데 도움이 됩니다. 다만 하나의 이상 징후만으로 봇 활동이라고 단정할 수는 없습니다.
1. 페이지 조회수 또는 요청 수의 비정상적인 급증
마케팅 캠페인, 제품 출시, 뉴스 이벤트 또는 다른 명확한 이유가 없는데도 웹사이트 트래픽이 갑자기 증가한다면 자동화된 활동이 발생하고 있을 가능성이 있습니다.
전체 트래픽 규모뿐만 아니라 트래픽이 어떤 방식으로 분포하는지도 중요합니다.
수천 건의 요청이 로그인 페이지, 가격 페이지, 검색 엔드포인트, 재고 API 또는 소수의 제품 페이지에 집중된다면 웹사이트 전반에서 정상 트래픽이 증가하는 경우보다 더 주의 깊게 살펴봐야 합니다.
2. 비정상적인 트래픽 출처 또는 지역
특정 IP 대역, 네트워크, 자율 시스템(AS), 호스팅 제공업체 또는 특정 지역에서 요청이 비정상적으로 집중된다면 자동화된 활동일 가능성이 있습니다.
하지만 지역 정보만으로 봇 여부를 정확하게 판단할 수는 없습니다.
정상 사용자가 여행 중일 수도 있고, VPN을 사용할 수도 있으며, 기업 네트워크를 통해 접속하거나 실제 위치와 다른 지역의 인프라를 경유해 서비스를 이용할 수도 있습니다.
따라서 네트워크 출처 정보는 행동 및 기술적 신호와 함께 분석해야 합니다.
3. 비정상적인 세션 및 상호작용 패턴
봇은 실제 사용자와 다른 방식으로 웹사이트와 상호작용하는 경우가 많습니다.
가능한 징후는 다음과 같습니다.
- 세션 시간이 지나치게 짧거나 긴 경우
- 세션 지속 시간이 거의 동일하게 반복되는 경우
- 페이지 간 이동 속도가 비정상적으로 빠른 경우
- 항상 동일한 순서로 페이지를 방문하는 경우
- 의미 있는 상호작용이 거의 없는 경우
- 완전히 동일한 행동이 대량으로 반복되는 경우
한 번의 비정상적인 세션만으로는 큰 의미가 없을 수 있습니다. 하지만 정상 사용자 행동과 명확히 다른 반복적인 패턴이 지속적으로 나타난다면 자동화된 활동일 가능성이 더 높습니다.
4. 허위 또는 품질이 낮은 전환
자동화 도구는 양식을 제출하거나, 계정을 만들거나, 이메일 목록을 구독하거나, 상품을 장바구니에 추가하는 등 겉으로는 '전환’으로 보이는 이벤트를 발생시킬 수 있습니다.
일반적인 경고 신호는 다음과 같습니다.
- 명백히 비정상적인 이름 또는 연락처 정보
- 유사한 계정이 대량으로 등록되는 경우
- 양식 제출 건수는 갑자기 증가했지만 매출은 늘지 않는 경우
- 장바구니 이탈이 반복적으로 발생하는 경우
- 쿠폰 코드가 비정상적인 방식으로 사용되는 경우
- 품질이 낮은 잠재 고객이 대량으로 생성되는 경우
이러한 패턴은 스팸, 허위 계정 생성, 사기 또는 자동화된 테스트 활동을 나타낼 수 있습니다.
5. 반복적인 로그인 실패 또는 비정상적인 계정 활동
짧은 시간 안에 여러 계정을 대상으로 대량의 로그인 시도가 발생한다면 크리덴셜 스터핑 공격이 진행되고 있을 가능성이 있습니다. 이는 봇이 과거에 유출된 사용자 이름과 비밀번호 조합을 대량으로 테스트하는 공격입니다.
그 밖의 의심스러운 패턴은 다음과 같습니다.
- 빠르고 연속적인 인증 시도
- 다수의 서로 다른 사용자 이름을 대상으로 한 로그인 시도
- 반복적인 비밀번호 재설정 요청
- 계정 열거
- 여러 계정에서 유사한 활동 발생
- 로그인 이후 나타나는 비정상적인 행동
자동화된 로그인 공격이 성공하면 결국 계정 탈취로 이어질 수 있습니다. 따라서 인증 엔드포인트는 특히 주의 깊게 모니터링해야 합니다.
6. 가치가 높은 페이지 또는 API에 대한 반복적인 요청
봇은 비즈니스 가치가 높은 리소스에 활동을 집중하는 경우가 많습니다.
주요 대상은 다음과 같습니다.
- 제품 및 가격 페이지
- 검색 API
- 로그인 엔드포인트
- 결제 프로세스
- 티켓 또는 재고 페이지
- 프로모션 페이지
- 콘텐츠 아카이브
- 데이터 집약적인 API
이러한 리소스에 체계적이고 반복적인 요청이 발생한다면 데이터 스크래핑, 재고 모니터링, 자동 구매 및 되팔기, 정찰 활동 또는 자동화된 API 악용이 이루어지고 있을 가능성이 있습니다.
봇 트래픽을 탐지하는 방법
분석 데이터에서 발견되는 이상 징후는 어디를 조사해야 하는지 알려주는 단서가 됩니다. 반면 기술적인 탐지 방법은 해당 트래픽이 실제로 무엇에 의해 생성되는지 판단하는 데 도움이 됩니다.
신뢰도 높은 봇 트래픽 탐지는 일반적으로 하나의 규칙에 의존하지 않고 여러 신호를 종합적으로 분석합니다.
1. 서버 로그와 요청 패턴 분석
서버, CDN, WAF, 애플리케이션 및 API 로그에서는 들어오는 요청에 관한 상세한 정보를 확인할 수 있습니다.
살펴봐야 할 주요 신호는 다음과 같습니다.
- 요청 빈도
- 요청된 URL 및 엔드포인트
- HTTP 메서드
- HTTP 헤더
- 응답 상태 코드
- 요청 타이밍
- 세션 식별자
- 지역 및 네트워크 정보
- 반복되는 탐색 순서
특정 클라이언트가 규칙적으로 수천 개의 제품 페이지를 요청한다면 데이터 스크래핑이 진행되고 있을 가능성이 있습니다.
인증 또는 결제 엔드포인트에 빠르고 연속적인 요청이 발생한다면 자동화된 악용 행위일 수 있습니다.
하나의 개별 요청만 분석하는 것보다 여러 요청, 세션, 계정 및 엔드포인트에 걸쳐 나타나는 패턴을 분석하는 것이 일반적으로 더 유용한 판단 근거가 됩니다.
2. IP 및 네트워크 평판 평가
IP 및 네트워크 분석에서는 다음과 같은 특징을 평가할 수 있습니다.
- IP 평판
- 데이터센터 또는 호스팅 서비스의 IP 대역
- 프록시 및 VPN 사용 여부
- 자율 시스템 정보
- 지리적 출처
- 과거 악성 활동 이력
- 요청 빈도
이러한 신호를 활용하면 알려진 악성 인프라를 빠르게 식별할 수 있는 경우가 있습니다.
하지만 정교한 봇은 주거용 프록시, 모바일 네트워크 및 순환형 IP 풀을 사용하는 경우가 많습니다. 따라서 정상적으로 보이는 IP 주소라고 해서 해당 방문자가 실제 사람이라는 의미는 아닙니다.
IP 인텔리전스는 단독으로 사용하기보다는 전체 탐지 전략을 구성하는 하나의 계층으로 활용하는 것이 효과적입니다.
3. 디바이스 및 브라우저 핑거프린팅 사용
디바이스 핑거프린팅은 요청을 생성하는 브라우저 또는 디바이스와 관련된 특징을 분석합니다.
활용할 수 있는 신호는 다음과 같습니다.
- 브라우저 구성
- 운영체제 정보
- 렌더링 특성
- JavaScript 동작
- 쿠키
- 디바이스 속성
- 브라우저 기능
핑거프린팅을 사용하면 클라이언트가 주장하는 신원과 실제 동작 사이의 불일치를 발견할 수 있습니다.
예를 들어 특정 클라이언트가 User-Agent 문자열을 통해 일반적인 브라우저인 것처럼 위장하더라도, 다른 속성을 분석하면 자동화 프레임워크나 비정상적인 실행 환경을 사용하고 있다는 사실이 드러날 수 있습니다.
봇이 IP 주소를 자주 변경하더라도 핑거프린팅을 활용하면 서로 다른 활동을 연관 지어 분석할 수 있습니다.
4. 사용자 행동 분석
행동 분석은 방문자가 웹사이트와 애플리케이션에서 어떻게 상호작용하는지를 분석합니다.
분석할 수 있는 신호는 다음과 같습니다.
- 탐색 순서
- 각 행동 사이의 시간 간격
- 마우스 움직임
- 페이지 스크롤
- 클릭 타이밍
- 입력 패턴
- 트랜잭션 속도
- 반복되는 워크플로
사람의 행동에는 자연스러운 불규칙성과 차이가 존재합니다. 반면 자동화된 활동은 봇이 무작위 지연을 추가하거나 사람의 상호작용을 모방하더라도 보다 규칙적이고 체계적인 패턴을 보이는 경우가 많습니다.
따라서 봇의 네트워크 및 브라우저 특성이 정상적으로 보이는 경우에도 행동 신호는 매우 유용한 탐지 수단이 될 수 있습니다.
5. TLS 및 프로토콜 핑거프린팅 사용
TLS 연결에는 요청을 생성한 클라이언트 소프트웨어를 식별하는 데 활용할 수 있는 여러 특성이 포함되어 있습니다.
브라우저, 네트워크 라이브러리, 애플리케이션 및 자동화 프레임워크에 따라 서로 다른 TLS 핸드셰이크 패턴이 생성될 수 있습니다. 이러한 특징을 브라우저 및 요청 정보와 비교하면 불일치를 발견할 수 있습니다.
예를 들어 HTTP 헤더에서는 특정 브라우저에서 전송된 요청이라고 표시되어 있지만 TLS 특성은 다른 네트워크 라이브러리에 더 가까울 수 있습니다.
브라우저 신호와 TLS 핑거프린팅을 함께 사용하면 자동화된 클라이언트가 실제 정체를 숨기기가 더욱 어려워집니다.
6. 브라우저 검증 및 챌린지 사용
수동적인 신호만으로 명확하게 판단하기 어려운 경우 웹사이트에서 방문자에게 추가적인 검증을 요구할 수 있습니다.
일반적인 방법은 다음과 같습니다.
- JavaScript 챌린지
- 쿠키 검증
- 브라우저 핑거프린트 챌린지
- CAPTCHA
일반적인 브라우저라면 수행할 수 있는 동작을 클라이언트가 수행하지 못한다면 자동화된 프로그램일 가능성이 있습니다.
하지만 이러한 검증만으로 확실하게 판단할 수 있는 것은 아닙니다. 고급 봇은 JavaScript를 실행하고 실제 브라우저 환경을 사용하며 일부 유형의 CAPTCHA를 우회할 수도 있습니다.
또한 챌린지는 정상 사용자에게 추가적인 불편을 줄 수 있으므로 일반적으로 위험 수준에 따라 선택적으로 적용해야 합니다.
7. 머신러닝과 이상 탐지 결합
최신 봇 탐지 시스템은 정적인 규칙에만 의존하기보다 여러 신호를 종합적으로 분석하는 방식을 점점 더 많이 활용하고 있습니다.
머신러닝은 네트워크 신원, 요청 행동, 브라우저 특성, 디바이스 속성, 세션 기록, 엔드포인트의 민감도, 계정 활동, 위협 인텔리전스 등의 정보를 종합적으로 분석할 수 있습니다.
이후 이상 탐지를 통해 기존 패턴이나 예상되는 행동에서 벗어난 활동을 식별할 수 있습니다.
하나의 비정상적인 신호만으로는 특정 요청이 자동화된 것인지 판단하기 어려울 수 있습니다. 하지만 서로 연관된 여러 이상 징후가 동시에 나타난다면 더욱 강력한 근거가 되며, 특정 탐지 방식 하나에 대한 의존도도 낮출 수 있습니다.
기본적인 봇 탐지 방식만으로는 부족한 이유
기존의 탐지 및 완화 기술도 여전히 유용하지만 각각을 단독으로 사용할 경우 명확한 한계가 있습니다.
IP 차단
악성 IP 주소를 차단하면 해당 출처에서 들어오는 요청을 즉시 막을 수 있습니다.
하지만 정교한 봇은 주거용 프록시, 모바일 네트워크, VPN 및 순환형 IP 풀을 사용하여 요청을 분산할 수 있습니다. 자동화된 트래픽이 지속적으로 변경되는 수천 개의 출처에서 발생한다면 IP 주소를 하나씩 차단하는 방식은 효과가 크게 떨어집니다.
User-Agent 탐지
일부 단순한 봇은 User-Agent 문자열을 통해 자신의 정체를 드러냅니다.
하지만 악성 봇은 이러한 정보를 변경하여 일반적인 브라우저, 검색 엔진 크롤러 또는 기타 정상적인 클라이언트인 것처럼 위장할 수 있습니다.
따라서 User-Agent 정보는 분류를 위한 하나의 신호로 활용할 수 있지만 클라이언트의 신원이 실제로 신뢰할 수 있다는 증거로 사용해서는 안 됩니다.
요청 속도 제한
요청 속도 제한은 일정 시간 동안 클라이언트가 보낼 수 있는 요청 수를 제한하여 고빈도의 자동화된 악용을 줄여 줍니다.
하지만 정교한 봇은 요청 빈도를 낮추거나 활동을 다수의 IP 주소, 디바이스, 계정 또는 세션에 분산하여 고정된 임계값을 우회할 수 있습니다.
CAPTCHA
사용자가 사람인지 확인하는 챌린지는 일부 자동화된 클라이언트를 차단할 수 있지만, 고급 봇은 브라우저 자동화, CAPTCHA 대행 서비스 또는 AI 보조 기술을 이용해 검증을 우회할 수 있습니다.
또한 검증을 지나치게 자주 요구하면 정상 사용자에게 불필요한 불편을 줄 수 있습니다.
따라서 효과적인 봇 탐지를 위해서는 여러 기술적 신호와 행동 신호를 함께 분석해야 하며, 하나의 방식만으로 모든 자동화된 클라이언트를 식별할 수 있다고 가정해서는 안 됩니다.
정상 봇과 악성 봇을 구분하는 방법
방문자가 자동화된 프로그램이라는 사실이 확인되었다고 해서 반드시 해당 요청을 차단해야 하는 것은 아닙니다.
검색 엔진 크롤러, 모니터링 도구, 파트너 서비스, 승인된 업무 자동화 시스템 등은 정상적인 가치를 제공할 수 있습니다.
반면 악의적인 봇 공격에는 자격 증명 악용, 승인되지 않은 데이터 스크래핑, 허위 계정 생성, 결제 사기, 재고 악용, 스팸 또는 리소스 고갈 공격 등이 포함될 수 있습니다.
조직은 다음과 같은 기준으로 자동화된 트래픽을 평가할 수 있습니다.
- 신원
- 권한 부여 여부
- 목적
- 행동
- 요청 대상 리소스
- 요청 빈도
- 비즈니스 영향
- 보안 위험
잘 알려진 정상 봇이라 하더라도 단순히 익숙한 이름을 사용한다는 이유만으로 신뢰해서는 안 되며 실제 신원을 검증해야 합니다. 악성 자동화 프로그램 역시 User-Agent 문자열이나 기타 신원 정보를 위조할 수 있습니다.
악성 봇 트래픽을 탐지한 후에는 어떻게 해야 할까요?
적절한 대응 방식은 봇의 신원, 행동 및 위험 수준에 따라 달라집니다.
가능한 조치는 다음과 같습니다.
- 검증된 정상 봇 허용
- 성격을 명확히 판단하기 어려운 트래픽 모니터링
- 요청 빈도 제한
- 민감한 리소스에 대한 접근 제한
- 브라우저 검증 또는 CAPTCHA 챌린지 적용
- 더 강력한 인증 요구
- 악성 요청 차단
이러한 조치는 모두 봇 완화의 일부이며, 자동화된 활동의 유형과 심각도에 따라 적절한 대응 방식을 선택해야 합니다.
보다 포괄적인 봇 관리 전략은 탐지, 분류, 정책 적용, 모니터링 및 완화를 함께 적용하면서 정상 사용자와 승인된 자동화 서비스에 미치는 영향을 최소화합니다.
CDNetworks가 악성 봇 트래픽 탐지를 지원하는 방법
CDNetworks Bot Shield는 다양한 탐지 및 완화 기술을 결합하여 정상 사용자, 승인된 봇 및 악성 자동화 프로그램을 구분합니다.
주요 기능은 다음과 같습니다.
- 정상 봇 식별
- 고급 요청 속도 제한
- 디바이스 및 브라우저 핑거프린팅
- 사람의 행동 패턴 탐지
- CAPTCHA 및 핑거프린트 챌린지
- 위협 인텔리전스
- 머신러닝
- 실시간 모니터링 및 알림
- 구성 가능한 완화 조치
여러 신호를 종합적으로 평가하고 트래픽 위험 수준에 따라 서로 다른 대응 조치를 적용함으로써 Bot Shield는 웹사이트, 애플리케이션, API, 계정 및 비즈니스 프로세스를 자동화된 악용으로부터 보호하는 데 도움을 줍니다.
자주 묻는 질문
웹사이트에 봇 트래픽이 있는지 어떻게 확인할 수 있나요?
원인을 설명하기 어려운 트래픽 급증, 반복적인 요청, 비정상적인 세션, 허위 전환, 로그인 실패 및 의심스러운 트래픽 출처는 봇 활동의 징후일 수 있습니다. 정확하게 확인하려면 네트워크, 디바이스, 브라우저, 요청 및 행동 분석을 함께 수행해야 합니다.
봇 트래픽을 탐지하는 가장 좋은 방법은 무엇인가요?
서버 로그, IP 인텔리전스, 핑거프린팅, 행동 분석, 프로토콜 신호, 브라우저 검증, 위협 인텔리전스 및 이상 탐지를 함께 활용하면 하나의 기술에만 의존하는 것보다 봇을 더 정확하게 식별할 수 있습니다.
Google Analytics로 봇 트래픽을 탐지할 수 있나요?
분석 도구를 사용하면 페이지 조회수, 세션, 참여도, 지역 분포 및 전환에서 나타나는 의심스러운 패턴을 파악할 수 있습니다. 하지만 정교한 봇을 정확하게 식별하려면 일반적으로 서버 측, 네트워크, 브라우저, 디바이스 또는 행동 신호를 함께 분석해야 합니다.
봇이 자신의 IP 주소를 숨길 수 있나요?
봇은 프록시, VPN, 주거용 네트워크, 모바일 네트워크 및 순환형 IP 풀을 사용하여 네트워크 신원을 숨기거나 자주 변경할 수 있습니다. 따라서 IP 주소에만 의존하는 탐지 방식의 효과가 떨어질 수 있습니다.
봇이 사람의 행동을 모방할 수 있나요?
봇은 JavaScript를 실행하고, 실제 브라우저를 사용하고, 세션을 유지하며, 불규칙한 지연 시간을 추가하고 사용자 상호작용을 모방할 수 있습니다. 고급 탐지 기술은 이러한 행동을 네트워크, 브라우저, 디바이스 및 요청 신호와 함께 종합적으로 분석합니다.
봇 탐지와 봇 트래픽 탐지의 차이는 무엇인가요?
봇 탐지는 자동화된 클라이언트를 식별하고 분류하는 기술 전반을 의미합니다. 반면 봇 트래픽 탐지는 이러한 기술을 웹사이트, 애플리케이션, API, 계정 및 온라인 서비스로 들어오는 자동화된 요청을 식별하는 데 적용하는 것을 의미합니다.