학습 가능한 미분 게이트 및 마스킹된 지식 증류를 통한 치과 의료 영상 분석 네트워크 경량화 = Dental Medical Image Analysis Network Compression with Learnable Differentiable Gates and Masked Knowledge Distillation

국문 초록 (Abstract)

최근 딥러닝 기반의 알고리즘들을 활용한 치과 의료 영상 분석 알고리즘 이 좋은 성능을 보이고 있으며 치과 전문의들이 더욱 효율적으로 진단할 수 있도록 해주었다. 하지만 많은 치과 병원들이 고성능의 딥러닝 알고리즘들은 실시간으로동작한최소한의하드웨어환경도구축하지않은상태이다.이러한 점은 딥러닝 기반 의료 영상 분석 알고리즘들의 상용화에 있어 매우 큰 문제 점이 되고 있으며, 알고리즘 경량화는 해당 문제점을 해결할 수 있는 효과적인 방안책이다. 이렇게 많은 병원들이 알고리즘 경량화를 요구하고 있지만 치과 의료 영상에 대한 연구는 전무하며, 다른 의료 분야로 확장하더라도 미미한 상태이다. 이를 해결하기 위해 본 논문에서는 치과 의료 영상 분석 네트워크를 경량화하는 프레임워크를 제시한다. 먼저 필터 프루닝을 통해 다양한 하드웨 어 및 딥러닝 프레임워크에서 실질적인 가속화가 가능하도록 하기 위해 필터 프루닝을 통해 네트워크를 경량화한다. 우리는 학습 가능한 미분 게이트를 활 용하여 그레디언트 기반의 학습을 통해, 강화 학습 또는 진화 알고리즘보다 효율적으로 필터들을 제거하여 하위 네트워크를 탐색한다. 동시에 마스킹된 지식 증류를 통해 각 해부학적 구조물들에 대한 베이스라인 네트워크의 정보 들을게이트에전달하여,베이스라인네트워크의정보들을더욱보존하는하위 네트워크를 탐색하도록 한다. 제안된 경량화 기법은 효율적이면서도 효과적으 로 치과 3D CBCT 및 파노라마 엑스레이에서 해부학적 구조물들을 분할하는 UNet기반의네트워크를경량화했다.그결과제안기법에의해경량화된하위 네트워크는 베이스라인 네트워크 대비 각각 10%, 5% 이내의 연산량을 요구하 면서 동시에 성능 저하는 DSC 기준 1% 정도만을 보였다. – vii –

다국어 초록 (Multilingual Abstract)

Recently, deep learning-based dental medical image analysis algorithms have shown good performance, enabling dentists to diagnose more efficiently. However, many dental hospitals lack even the minimum hardware environ- ment to run high-performance deep learning algorithms in real-time. This has become a significant problem in the commercialization of deep learning- based medical image analysis algorithms, and network compression algo- rithms are an effective solution to this problem. Many hospitals demand network compression, yet there is no compression research on dental im- age analysis. To address this problem, this thesis proposes a framework for compressing dental image analysis networks. First, we compress the network through filter pruning to enable substantial acceleration on various hardware and deep learning frameworks. We use trainable differential gates to effi- ciently explore sub-networks by removing filters through gradient-based op- timization, which is more efficient than reinforcement learning or evolution- ary algorithms. Meanwhile, masked knowledge distillation is used to transfer baseline network information to gates for exploring sub-networks that better preserve baseline network information. The proposed compression method effectively compress UNet-based networks for segmenting anatomical struc- tures in dental 3D Cone Beam Computed Tomography (3D CBCT) and panoramic X-ray images. As a result, the sub-networks compressed by the proposed method require less than 10% and 5% of the computational cost compared to the baseline network, while only showing performance degra- dation of around 1% according to the DSC score.

목차 (Table of Contents)

• 1 서론 1
• 2 관련기술 4
• 2.1 필터 프루닝 4
• 2.2 지식 증류 5
• 2.3 치과 의료 영상 분석 알고리즘 7
• 3 치과 의료 영상 분석 네트워크 경량화 10
• 3.1 치과 의료 영상 분석 알고리즘 10
• 3.1.1 베이스라인 네트워크 10
• 3.1.2 치과 의료 영상 분석 네트워크 학습 11
• 3.2 치과 의료 영상 분석에 적합한 하위 네트워크 탐색 14
• 3.2.1 개요 14
• 3.2.2 효율적인 프루닝을 위한 미분게이트 구성 15
• 3.2.3 해부학적 구조물 정보 증류를 통한 레이어 평가 19
• 3.2.4 Residual connection을 위한 그룹화 23
• 4 실험 결과 26
• 4.1 데이터 셋 및 세부 구현 26
• 4.1.1 데이터 셋 26
• 4.1.2 세부 구현 27
• 4.2 성능 평가 28
• 4.2.1 평가 metric 28
• 4.2.2 정량적 성능 평가 30
• 4.2.3 정성적 성능 평가 32
• 4.3 Ablation study 34
• 4.3.1 마스크의 유무 비교 34
• 4.3.2 시그모이드함수의경사도에따른경량화결과비교 39
• 4.3.3 다른 UNet 구조에 대한 경량화 41
• 5 Conclusion 48
• References 50