메모리 추적 기법을 이용한 버퍼오버플로 유형의 악성코드 탐지

국문 초록 (Abstract)

악성코드의 공격과정은 크게 2단계로 나눌 수 있다. 첫 번째 단계는 OS 또는 어플리케이션 취약점을 이용하여 시스템권한 획득을 위한 공격코드가 실행되는 단계이고 그 다음은 봇넷, 개인정보유출, 키로그, 악성 웜 등 시스템 제어를 위한 공격코드 실행단계이다.
첫 번째 단계에서 사용되는 공격 코드의 취약점 유형에는 버퍼오버플로, 힙오버플로, 자동 업데이트시 인증절차 취약점, 프로토콜 설계 오류 등이 있는데 그 중 80% 이상이 버퍼오버플로 유형의 취약점을 활용한다. 그러나 공격코드의 변수명, 함수위치 변경 등 간단한 우회기법을 이용한 변종 공격코드에 대한 탐지가 불가능하고 대부분의 상용백신에서 동적탐지기법이 구현되지 않아 알려지지 않은 0-day 공격에 대해서 정상적으로 대응하지 못한다. 두 번째 단계에서 사용되는 악성 프로그램에 대한 동적탐지기법은 “API 유형·분포 분석“, ”행위 분석“, ”가상화를 이용한 분석”등 관련 연구가 활발히 진행되어 상용백신에서 많이 활용하고 있다.
본 논문에서는 첫 번째 단계에 해당하는 버퍼오버플로 유형의 공격코드 중 win32환경에서 버퍼오버플로 유형의 공격코드에 대한 동적탐지기법을 제안한다. win32환경의 쉘코드에서 필수적으로 사용되는 API의 메모리 실행영역 추적기법과 쉘코드 주위에 저장되는 NOP코드의 빈도수 파악기법을 적용하여 악성코드 여부를 판단하는 동적탐지기법을 제시한다. 이를 위해 8개의 상용 백신 프로그램을 선정하여 비교․분석하고 유형별 동적탐지기법을 시뮬레이션하여 검증한다.
이 기법을 적용할 경우 기존 상용백신에서 탐지하지 못하는 알려지지 않은 0-day공격 또는 Anti-Virus 우회기법이 적용된 버퍼오버플로 유형의 공격코드에 대한 탐지가 가능할 것으로 기대한다.