경량 다중 스케일 특징 부호화 방법 = Lightweight Multi-Scale Feature Compression Method

국문 초록 (Abstract)

최근 모바일·엣지 단말에 신경망 처리 장치와 같은 전용 가속기가 보급되 면서 고도화된 신경망 기반 비전 응용의 온디바이스 실행이 확산되고 있다. 그러나 대규모 신경망을 온전히 단말에서 처리하기에는 연산 및 메모리 측 면의 제약이 여전히 존재한다. 이러한 문제를 해결하기 위해, 신경망으로부 터 추출된 중간 특징을 서버로 전송하여 추론을 분할 수행하는 분할 추론 방식이 활용되고 있다. 이때 중간 특징의 효율적 압축은 전송 대역폭 절감과 클라이언트 연산 부담 완화를 위해 필수적이다. 기존 멀티미디어 데이터 압 축에는 High Efficiency Video Coding, Versatile Video Coding(VVC)와 같은 비디오 코덱이 사용되어왔지만, 이들 코덱은 인간의 시각적 품질을 기 준으로 설계되어 있어 기계 학습 모델이 요구하는 특징의 통계적 특성을 충 분히 보존하지 못한다는 한계가 있다. 이에 따라, 국제 표준화 단체 Moving Picture Experts Group은 Feature Coding for Machines(FCM) 활동을 통해 중간 특징의 효율적인 압축 기술을 개발하고 있다. FCM은 다중 스케 일 중간 특징에 대해 신경망 기반의 특징 축소 및 복원 구조를 채택하고, 축 소된 특징을 비트스트림으로 만들기 위해 비디오 코덱을 활용한다. 특징을 복원하는 과정에서 다중 스케일 복원 구조는 의미 정보가 상대적으로 풍부 한 고수준 특징을 복원하기 위한 계층적 복원 경로를 구성한다. 기존 다중스 케일 복원 구조는 저수준 특징 복원 단계에서 복원된 특징이 고수준 특징 복원의 입력으로 사용되는 상향식(bottom-up) 의존 관계를 가지므로, 초기 저수준 특징 복원 단계에서 발생한 복원 오차가 고수준 특징으로 전파되며 누적될 가능성이 존재한다. 이러한 누적 오차는 의미 정보가 집중된 고수준 특징의 표현력을 저하시켜, 최종적으로 후속 작업 성능이 저하될 수 있다. 또한 중간 특징을 비디오 코덱과 호환되는 형식으로 변환하기 위해 양자화 와 패킹을 수행하는 과정에서 분포 왜곡과 패킹된 채널 경계에서 특징값의 불연속성이 발생할 수 있으며, 이는 VVC와 같은 내부 코덱의 압축 효율을 떨어뜨릴 수 있다. 본 연구에서는 이러한 문제를 해결하기 위해 단순한 구조 의 경량 신경망 기반 다중 스케일 특징 부호화 방법을 제안한다. 제안 방법 은 하향식(top-down) 복원 경로를 도입하여 고수준 특징으로 전파되는 누 적 열화를 억제하고, 인코더 출력단의 활성 함수 선택을 통해 특징 분포를 내부 코덱 특성에 맞게 조정하며, 패킹 과정에서 발생하는 채널 간 불연속성 을 줄이기 위해 유사도 기반의 적응적 채널 재정렬을 적용하는 방식으로 구 성된다. 실험 결과, 제안 방법은 기존 특징 앵커 대비 평균 94.8% 이상의 BD-rate 절감 효과를 보였으며, 인코딩 시간 또한 약 2.8%–1.9% 수준으 로 감소했다. 계산 복잡도 측면에서, 객체 추적 작업에서 0.29 GMACs의 매우 낮은 단말 단 연산 복잡도를 달성하였다. 최신 경쟁 모델과의 비교 결 과, 제안 방법은 모든 비전 작업에 대해 가장 높은 평균 BD-rate 이득을 달성함과 동시에, 단말 단 연산 복잡도를 5배 이상 감소시켜, 경량 구조를 갖춘 특징 압축 모델임을 확인하였다. 이러한 결과는 제안 방법이 실제 분할 추론 환경에서 전송 효율과 단말 단 연산 효율을 동시에 향상시킬 수 있음 을 시사한다.

목차 (Table of Contents)

• 표 목 차 ⅲ
• 그 림 목 차 ⅴ
• 약 어 설 명 ⅶ
• 국 문 요 약 ⅸ
• Ⅰ. 서 론 1
• 1.1 연구 배경 1
• 1.2 연구 방향 3
• 1.3 연구 내용 및 구성 4
• Ⅱ. 관련 연구 및 기술적 배경 5
• 2.1 Feature Coding for Machines(FCM)의 개요 5
• 2.1.1 FCM 표준화 동향 5
• 2.1.2 FCM 파이프라인 8
• 2.1.3 FCM 공통 실험 조건 12
• 2.2 특징 부호화 기법의 연구 동향 16
• 2.2.1 신경망 기반 특징 축소 및 복원 모델 16
• 2.2.2 특징 변환 단계와 관련 연구 17
• Ⅲ. 기존 연구의 분석 및 한계 19
• 3.1 계층적 복원 구조와 누적 오차 분석 19
• 3.2 특징 채널의 통계적 특성과 공간적 불연속성 21
• 3.3 종합 고찰 및 제안 방향 도출 23
• Ⅳ. 제안 방법 25
• 4.1 전체 파이프라인 개요 25
• 4.2 신경망 특징 부호화 모델 설계 26
• 4.2.1 인코더 구조 및 경량화 설계 26
• 4.2.2 디코더 구조 및 특징 계층 복원 방향 27
• 4.3 적응적 특징 채널 재정렬 기법 30
• 4.3.1 특징 채널 활성도 기반 특징 채널 재정렬 방법 설계 30
• 4.3.2 특징 채널의 적응적 재정렬 알고리즘 설계 34
• Ⅴ. 실험 결과 및 분석 36
• 5.1 실험 환경 및 조건 36
• 5.1.1 학습 조건 37
• 5.1.2 추론 조건 39
• 5.2 성능 분석 및 비교 실험 40
• 5.2.1 특징 복원 모델의 계층 복원 방향에 따른 성능 분석 40
• 5.2.2 활성함수에 따른 성능 분석 42
• 5.2.3 채널 재정렬 기준에 따른 성능 평가 44
• 5.2.4 전체 비전 과제에 대한 성능 평가 47
• 5.2.5 최신 연구 대비 성능 및 연산 복잡도 비교 60
• 5.2.6 한계점 및 향후 고찰 62
• Ⅵ. 결론 63
• 참 고 문 헌 64
• ABSTRACT 68