Automatic Diagnosis for Odontogenic Cysts and Tumors of Jaw on Panoramic Radiographs using a Deep Convolutional Neural Network

권오득 서울대학교 대학원 2021 국내박사

Objective: The purpose of this study was to automatically diagnose odontogenic cysts and tumors of the jaw on panoramic radiographs using a deep convolutional neural network. A novel framework method of deep convolutional neural network was proposed with data augmentation for detection and classification of the multiple diseases. Methods: A deep convolutional neural network modified from YOLOv3 was developed for detecting and classifying odontogenic cysts and tumors of the jaw. Our dataset of 1,282 panoramic radiographs comprised 350 dentigerous cysts, 302 periapical cysts, 300 odontogenic keratocysts, 230 ameloblastomas, and 100 normal jaw with no disease. In addition, the number of radiographs was augmented 12-fold by flip, rotation, and intensity changes. The Intersection over union threshold value of 0.5 was used to obtain performance for detection and classification. The classification performance of the developed convolutional neural network was evaluated by calculating sensitivity, specificity, accuracy, and AUC (Area under the ROC curve) for diseases of the jaw. Results: The overall classification performance for the diseases improved from 78.2% sensitivity, 93.9% specificity, 91.3% accuracy, and 0.86 AUC using the convolutional neural network with unaugmented dataset to 88.9% sensitivity, 97.2% specificity, 95.6% accuracy, and 0.94 AUC using the convolutional neural network with augmented dataset. Convolutional neural network using augmented dataset had the following sensitivities, specificities, accuracies, and AUC: 91.4%, 99.2%, 97.8%, and 0.96 for dentigerous cysts, 82.8%, 99.2%, 96.2%, and 0.92 for periapical cysts, 98.4%, 92.3%, 94.0%, and 0.97 for odontogenic keratocysts, 71.7%, 100%, 94.3%, and 0.86 for ameloblastomas, and 100.0%, 95.1%, 96.0%, and 0.94 for normal jaw, respectively. Conclusion: The novel framework convolutional neural network method was developed for automatically diagnosing odontogenic cysts and tumors of the jaw on panoramic radiographs using data augmentation. The proposed convolutional neural network model showed high sensitivity, specificity, accuracy, and AUC despite the limited number of panoramic images involved. 1. 목 적 구강악안면영역에서 발생하는 낭종 혹은 종양을 조기에 발견하지 못하여 적절한 치료가 이루어지지 못하고 지연되는 경우가 있다. 이러한 문제를 해결하기 위하여 인공신경망을 기반으로 하는 기계학습 기술인 딥러닝신경망(deep convolutional neural network)을 이용하는 컴퓨터 보조진단은 보다 정확하고 빠른 결과를 제공할 수 있다. 따라서 본 연구에서는 파노라마방사선영상에서 딥러닝신경망을 이용하여 구강악안면에서 자주 나타나는 4가지 질환(함치성낭, 치근단당, 치성각화낭, 법랑모세포종)을 자동으로 검출 및 진단하는 딥러닝신경망을 개발하고 그 정확성을 평가하였다. 2. 방 법 본 연구에서는 파노라마방사선영상에서 악골에 발생한 치성 낭과 종양을 검출하고 진단하기 위하여 YoLoV3를 기반으로 한 딥러닝신경망을 구축하였다. 1999년부터 2017년까지 서울대학교치과병원에서 조직병리학적으로 확진된 함치성낭 350례, 치근단낭 302례, 치성각화낭 300례, 법랑모세포종 230례의 환자로부터 획득한 총 1182매 파노라마방사선영상을 분석하였다. 또한 대조군으로 질환이 없는 정상 파노라마방사선영상 100매를 선택하였다. 파노라마방사선영상 데이터는 감마, 보정, 회전, 뒤집기 기법을 통하여 12배 증강되었다. 총 데이터의 60%는 훈련세트, 20%는 검증세트, 20%는 테스트세트로 사용하였다. 개발된 딥러닝신경망은 5배 교차검증(5-fold cross validation)기법을 이용하여 평가하였다. 본 연구에서 개발한 딥러닝신경망의 성능은 정확도(Accuracy), 민감도(sensitivity), 특이도(specificity) 및 ROC분석을 통한 AUC(area under the curve) 지표를 사용하여 측정하였다. 3. 결 과 본 연구에서 개발한 딥러닝신경망은 데이터 증강을 하지 않았을 때 78.2% 민감도, 93.9% 특이도, 91.3% 정확도 및 0.86의 AUC 값을 보였고 데이터 증강을 하였을 때에는 88.9% 민감도, 97.2% 특이도, 95.6% 정확도 및 0.94 AUC의 개선된 성능을 보여주었다. 함치성낭은 91.4% 민감도, 99.2% 특이도, 97.8% 정확도 및 0.96 AUC 값을 보였다. 치근단낭은 82.8% 민감도, 99.2% 특이도, 96.2% 정확도 및 0.92 AUC 값을 나타냈다. 치성각화낭은 98.4% 민감도, 92.3% 특이도, 94.0% 정확도 및 0.97 AUC 결과를 보였다. 법랑모세포종은 71.7% 민감도, 100% 특이도, 94.3% 정확도 및 0.86 AUC의 결과를 보였다. 그리고 정상적인 악골에서는 100% 민감도, 95.1% 특이도, 96.0% 정확도 및 0.97 AUC값을 각각 보였다. 4. 결 론 본 연구에서는 파노라마방사선영상에서 치성 낭과 종양을 자동으로 검출하고 진단하는 딥러닝신경망을 개발하였다. 본 연구는 파노라마방사선영상의 수가 충분하지 않았음에도 불구하고 데이터 증강 기법을 이용하여 우수한 민감도, 특이도 및 정확도 결과를 보였다. 본 연구결과를 통하여 개발된 시스템은 환자의 상기 질환을 조기에 진단하고 적절한 시기에 치료하는데 유용하다.

Convolutional neural network를 利用한 降雪感知시스템 開發

김동웅 성균관대학교 정보통신대학원 2019 국내석사

경찰청 교통사고 통계에 따르면 눈, 안개 등 기상현상이 있는 날이 맑은 날에 비해 교통사고 치사율이 높은 것으로 나타났다. 특히, 맑음·눈·비 세 가지 날씨 중 눈이 오는 날의 교통사고의 경우 치사율이 가장 높다. 이러한 위험기상으로부터 국민의 생명과 재산을 보호하기 위해서 기상청에서는 실시간 기상정보를 제공하고 있다. 하지만 기상청에서 국민에게 제공하는 기상정보는 지역별 5km x 5km 면적(area) 단위의 정보이기 때문에 실제로 국지적인 기상악화로 인한 사고가 발생하는 도로나 인구 밀집지역과는 관계가 없는 영역까지 포함해 제공되고 있다. 본 연구는 기존의 면(area)단위의 기상정보를 보완하기 위해 고속도로에 설치된 CCTV 영상을 이용한 강설감지연구를 진행하였다. 고속도로의 CCTV를 이용해 고속도로 망을 중심으로 기상정보를 생성하면 면 단위의 정보가 아닌 선(line) 단위의 강설정보를 생산해낼 수 있다. 고속도로의 CCTV영상에서 강설정보를 생산하기 위해 템플릿 인식과 같은 영역기반매칭방식과 차영상 추출을 이용한 동적물체추출방식 등의 기존의 전통적인 영상처리방법을 이용한 물체감지가 아닌 Convolutional Neural Network을 이용한 강설입자 감지방법을 제안하였다. 또한, 템플릿 인식 및 차영상 추출을 이용한 동적물체추출방법과 Convolutional Neural Network을 이용한 강설입자 감지방법을 이용한 정확도비교를 통해 Convolutional Neural Network을 이용한 강설감지방법의 신뢰성을 검증하였다. 정확도 검증에 사용한 데이터는 영동고속도로 횡계리, 유천리, 진부리 지점의 도로공사 CCTV의 영상 중, 2018년 2월, 3월에 눈이 온 날의 영상과 눈이 오지 않은 맑은 날의 영상을 사용하였다. 템플릿 인식을 이용한 강설감지율은 26.28%, 차영상 추출을 이용한 강설감지율은 55.42%, Convolutional Neural Network을 이용한 방법의 강설감지율은 78.39%로 Convolutioanl Neural Network을 이용한 방법의 강설감지율이 세 가지 방법 중 가장 높은 강설감지율을 보였다. 본 연구를 전국 고속도로의 실제환경에 적용하는 데에는 좀 더 많은 연구가 필요할 것으로 보인다. 본 연구는 강설감지율 검증에 영동고속도로의 세 지점의 CCTV 영상만을 사용했으므로 전국고속도로로 그 범위를 확대하기 위해서는 더 많은 지점과 다양한 환경의 데이터를 수집해 학습 및 테스트를 해 볼 필요가 있다. 또, 주간(09:00~18:00)의 영상만을 사용했으므로 야간에 적용할 수 있는 또 다른 데이터나 기술이 필요하다. 또한 물체를 감지하기 위한 오픈소스 레이어인 YOLOv3를 실험에 사용했으므로 강설감지에 최적화된 레이어를 사용한다면 더욱 높은 강설감지율을 보일 것으로 기대된다. 추가적으로 영상마다 카메라 성능이나 설치환경이 지점마다 모두 다르며 강설강도 판단을 위한 지속적인 연구가 필요할 것으로 보인다.

Universal Approximation in Deep Learning

황건호 서울대학교 대학원 2023 국내박사

Universal approximation, whether a set of functions can approximate an arbitrary function in a specific function space, has been actively studied in recent years owing to the significant development of neural networks. Neural networks have various constraints according to the structures, and the range of functions that can be approximated varies depending on the structure. In this thesis, we demonstrate the universal approximation theorem for two different deep learning network structures: convolutional neural networks and recurrent neural networks. First, we proved the universality of convolutional neural networks. A convolution with padding outputs the data of the same shape as the input data; therefore, it is necessary to prove whether a convolutional neural network composed of convolutions can approximate such a function. We have shown that convolutional neural networks can approximate continuous functions whose input and output values have the same shape. In addition, the minimum depth of the neural network required for approximation was presented, and we proved that it is the optimal value. We also verified that convolutional neural networks with sufficiently deep layers have universality when the number of channels is limited. Second, we investigated the universality of recurrent neural networks. A recurrent neural network is past dependent, and we studied the universality of recurrent neural networks in the past-dependent function space. Specifically, we demonstrated that a multilayer recurrent neural network with limited channels could approximate arbitrary past-dependent continuous functions and Lp functions, respectively. We also extended this result to bidirectional recurrent neural networks, GRU, and LSTM. 특정 함수 공간의 임의의 함수를 함수 집합이 근사할 수 있는지 여부를 의미하는 보편 근사 가능성을 판별하는 것은 뉴럴 네트워크의 큰 발전에 힘입어 최근 활발히 연구 되고 있다. 뉴럴 네트워크는 다양한 구조에 따라 함수에 다양한 제약 조건을 발생시키고 근사할 수 있는 함수의 범위가 달라지게 되며, 다른 함수 공간을 목적으로 하면 그 목적에 대응하는 보편 근사 정리가 필요하게 된다. 이런 목적에 맞춰 본 논문에서 우리는 합성곱 신경망과 순환 신경망, 두가지 서로 다른 딥러닝 네트워크 구조에 대한 보편 근사 정리를 증명하였다. 첫째로 우리는 합성곱 신경망의 보편성에 대해 증명하였다. 패딩이 적용된 합성곱은 입력값과 동일한 형태의 값을 출력하게 되며 이에 따라 합성곱으로 구성된 합성곱 신경망이 이와 같은 함수를 근사가능한지 여부를 증명할 필요가 있다. 우리는 입력값과 출력값이 동일한 형태를 가지는 연속 함수에 대하여 합성곱 신경망이 보편적으로 근사가능하다는 것을 증명하였다. 또한 근사에 필요한 신경망의 최소 깊이를 제시하였으며 이것이 최적 값임을 증명하였다. 또한 채널의 개수가 제한된 상황에서 충분히 깊은 층을 가지는 합성곱 신경망이 마찬가지로 보편성을 가진다는 것을 증명하였다. 둘째로 우리는 순환 신경망의 보편성을 증명하였다. 순환 신경망은 시간 순서의 앞부분에 위치한 입력값에 의해 뒷부분의 출력값이 결정되는 과거 의존성을 가지며 우리는 순환 신경망의 과거 의존적 함수 공간에서의 보편성에 대해 연구하였다. 구체적으로 우리는 채널의 개수가 제한된 다층 순환 신경망이 임의의 연속함수와 Lp 함수를 각각 근사할 수 있다는 것을 증명하였다. 또한 양방향 순환신경망과 GRU, LSTM에도 본 결과를 확장하였다.

Vibration Analysis for Thrombosis Detection in Centrifugal Blood Pumps

주윤하 서울대학교 대학원 2022 국내박사

Centrifugal blood pumps artificially circulate blood and have various medical applications such as in ventricular assist devices (VADs) and extracorporeal membrane oxygenation (ECMO) devices. However, pump head thrombosis is a serious problem that can occur while using centrifugal blood pumps. This is fatal to patients and requires immediate action. The detection of pump head thrombosis relies entirely on audiovisual analysis and blood tests conducted by experienced medical staff; this makes it difficult to respond in real time, thereby reducing patient survivability. Therefore, it is necessary to develop an algorithm that automatically detects pump head thrombosis. The objective of this study was to improve the performance of an algorithm that continuously monitors the thrombus that is attached to and rotates with the impeller of a centrifugal blood pump. This study proposes various parameters for machine fault detection and a deep neural network-based convolutional neural network (CNN). The algorithm was validated through a performance evaluation by in-vitro testing. The in-vitro tests were performed using 6 porcine thromboses and 58 imitation thromboses . The imitation thromboses made by casting silicone possessed various physical properties and dimensions. A different thrombus was used in each experiment. The thrombus was fixed inside the pump head, and the pump was activated. The vibrations generated from the pump head was measured using an accelerometer. The sampling rate was 10,000 Hz. First, the machine fault detection parameters that were used to detect pump head thrombosis were validated. When a thrombus forms on the impeller, it displaces the center of mass of the impeller, which destabilizes it and causes specific vibrations. In this study, 13 parameters including root mean square (RMS), skewness, kurtosis, shape factor (SF), crest factor (CF), clearance factor (CLF), impulse factor (IF), energy operator (EO), energy ratio (ER), zero-order figure of merit (FM0), fourth-order figure of merit (FM4), M6A, and M8A, which are used for detecting machine faults, were selected based on this principle. The vibration signals measured in the in-vitro tests were converted into the selected parameters. The parameters were applied to design a feature- and classification-based detection algorithm using adaptive boosting (AdaBoost). The performance was assessed using the area under the receiver operating characteristic (ROC) curve (AUC). As a result of the analysis, the performance of energy ratio (imitation thrombus detection AUC 0.922) and kurtosis (porcine thrombus detection AUC 0.961) was the highest among each machine fault detection parameters. The above parameters outperformed the state-of-the-art (SOTA) 3rd harmonic change of rotation speed of impeller (imitation thrombus detection AUC 0.888, porcine thrombus detection AUC 0.916). By recursive feature addition (RFA), a combination of 4 machine fault detection parameters was selected to improve the performance (imitation thrombus detection AUC 0.9848 and porcine thrombus detection AUC 0.9880). In addition, the performance was further improved when the 3rd harmonic change (SOTA) and the machine fault detection parameters selected by RFA were used in combination (imitation thrombus detection AUC 0.9853 and porcine thrombus detection AUC 0.9891). This proved that the machine fault detection parameters could be used to provide important information for detecting pump head thrombosis. Second, we verified whether the performance of the detection algorithm could be progressed by applying a deep learning-based CNN. A short-time Fourier transform (STFT) was applied to transform the vibration signals into spectrograms. A detection algorithm was developed using a CNN referring to the very deep convolutional network (VGGNet) structure. An evaluation of the detection algorithm performance using the AUC showed that the CNN (imitation thrombus detection AUC 0.965 and porcine thrombus detection AUC 0.956) outperformed artificial neural networks (ANNs) (imitation thrombus detection AUC 0.784 and porcine thrombus detection AUC 0.793) and AdaBoost (SOTA) (imitation thrombus detection AUC 0.913 and porcine thrombus detection AUC 0.923). Thus, it was confirmed that a CNN is an effective learning method for detecting pump head thrombosis. Third, we verified whether the performance of the detection algorithm could be improved by training a CNN with machine fault detection parameters. A detection algorithm was developed by adding machine fault detection parameters to the down-sampled features after passing the convolution and pooling layers. Upon verifying the detection performance using the AUC, the algorithm was confirmed to demonstrate a high performance (imitation thrombus detection AUC 0.992 and porcine thrombus detection AUC 0.987). Based on this observation, an effective algorithm for detecting pump head thrombosis was developed by adding the machine fault detection parameters to the CNN. In this study, the performance of the algorithm was improved by applying machine fault detection parameters and a CNN to continuously monitor the thrombus attached to and rotating with the impeller of a centrifugal blood pump. It is envisaged that the methods proposed in this study will improve the survivability of patients by detecting pump head thrombosis in clinical practice. It is also expected that this study will serve as a basis for convergence research that connects the fields of centrifugal blood pumps, machine fault detection, and deep neural network. 원심성 혈액 펌프는 인공적으로 혈액을 순환하는 체외 막 산소 공급 (extracorporeal membrane oxygenation, ECMO)장치 및 심실 보조 장치 (ventricular assist devices, VADs) 등 다양한 의료기기에 사용된다. 그러나 상기 기기는 펌프 헤드 혈전증 (pump head thrombosis)이라는 환자에게 중대한 결함이 발생한다. 이는 환자에게 치명적이므로 즉각적인 조치가 필요하다. 그러나 펌프 헤드 혈전증 감지는 숙련된 의료팀의 시청각 및 혈액 검사에 전적으로 의존한다. 이로 인해 실시간 대응이 어려워 환자의 생존성이 감소한다. 그러므로 펌프 헤드 혈전증을 자동으로 감지하는 알고리즘에 대한 연구가 필요하다. 본 연구의 목적은 원심성 혈액 펌프의 임펠러 (impeller)에 부착되어 함께 회전하는 혈전을 지속적으로 감지하는 알고리즘의 성능을 향상시키는 것이다. 이를 위해 기계 고장을 감지하는 다양한 파라미터 (machine fault detection parameter)들과 심층신경망 (deep neural network) 기반의 합성곱 신경망 (convolution neural network, CNN)을 제안하고 생체 외 테스트로 성능 평가를 실시하여 유효성을 검증했다. 모조 혈전 58개 돼지 혈전 6개를 사용하여 생체 외 테스트 (in-vitro test)를 수행했다. 실리콘을 주조해서 제작한 모조 혈전은 다양한 물리적 특성과 치수를 가지고 있습니다. 한번의 실험에서 하나의 혈전을 사용했다. 혈전을 펌프 헤드 내부에 고정시키고, 펌프를 작동시킨 후, 펌프 헤드에서 발생하는 진동을 가속도센서로 측정했다. 샘플링 속도는 10,000 Hz이다. 첫 번째 단계에서는 기계 고장 감지 파라미터를 이용한 펌프 헤드 혈전증 탐지의 유효성을 검증했다. 임펠러에 혈전 덩어리가 부착 시 임펠러의 무게 중심을 이동시켜 정상적인 중심 위치에서 변위가 발생한다. 본 연구에서는 상기 원리를 고려하여 제곱 평균 제곱근 (root mean square, RMS), 비대칭도 (skewness), 첨도 (kurtosis), 형상 계수 (shape factor), 파고율 (crest factor), clearance factor, impulse factor, 에너지 연산자 (energy operator), 에너지비 (energy ratio), zero-order figure of merit (FM0), fourth-order figure of merit (FM4), M6A, M8A로 구성된 기계 고장 감지에 사용하는 파라미터 13개를 선정했다. 생체 외 테스트에서 측정한 진동 신호를 상기 파라미터들로 변환하고, 에이다 부스트 (adaptive boosting, AdaBoost)로 학습하여 특징 기반 분류법 (feature-based classification) 기반의 탐지 알고리즘을 개발하였다. 탐지 성능은 수신자 조작 특성 (receiver operating characteristics, ROC)의 아래 면적 (area under the ROC Curve, AUC)으로 평가하였다. 분석 결과 각각의 기계 고장 진단 파라미터 중 에너지비 (모조 혈전 탐지 AUC 0.922)와 첨도 (돼지 혈전 탐지 AUC 0.961)의 성능이 가장 높았다. 상기 파라미터들은 최신(state-of-the-art, SOTA)의 임펠러 회전속도의 3차 고조파 변화 (3rd harmonic change) (모조 혈전 탐지 AUC 0.888, 돼지 혈전 탐지 AUC 0.916)보다 성능이 높았다. 재귀 변수 추가법 (recursive feature addition, RFA)으로 4개의 기계 결함 감지 파라미터들로 구성된 조합을 선정하여 성능을 향상시켰다 (모조 혈전 탐지 AUC 0.9848, 돼지 혈전 탐지 AUC 0.9880). 또한, 최신 (SOTA)의 3차 고조파 변화와 재귀 변수 추가법으로 선정한 기계 결함 감지 매개변수들을 조합하여 혈전 탐지 성능을 더욱 향상시켰다 (모조 혈전 탐지 AUC 0.9853, 돼지 혈전 탐지 AUC 0.9891). 이를 통해 기계 고장 감지 파라미터가 펌프 헤드 혈전증을 탐지하는 객관적인 지표로 이용될 수 있음을 확인했다. 두 번째 단계에서는 합성곱 신경망으로 구현한 펌프 헤드 혈전증 탐지 알고리즘의 유효성을 검증했다. 진동 신호에 단시간 푸리에 변환 (short-time Fourier transform)을 적용하여 스펙트로그램 (spectrogram)으로 변환하고, 이를 매우 깊은 합성곱 네트워크 (very deep convolutional network, VGGNet) 구조의 합성곱 신경망을 학습하여 심층신경망 기반의 탐지 알고리즘을 개발하였다. 수신자 조작 특성의 아래 면적으로 탐지 성능을 평가한 결과 합성곱 신경망 (모조 혈전 탐지 AUC 0.965, 돼지 혈전 탐지 AUC 0.956)이 인공신경망 (artificial neural network, ANN) (모조 혈전 탐지 AUC 0.784, 돼지 혈전 탐지 AUC 0.793) 및 최신의 (SOTA) 에이다 부스트 (모조 혈전 탐지 AUC 0.913, 돼지 혈전 탐지 AUC 0.923) 보다 높은 성능을 확인했다. 이를 통해 합성곱 신경망이 펌프 헤드 혈전증을 탐지하는 효과적인 학습방법임을 확인했다. 세 번째 단계에서는 기계 고장 감지 파라미터들이 추가된 합성곱 신경망으로 학습시킨 펌프 헤드 혈전증 탐지 알고리즘의 성능 향상 여부를 검증했다. 컨볼루션 계층 (convolution layer)와 풀링 계층 (pooling layer)를 지나 다운 샘플링 (down sampling)된 변수 (feature)들에 기계 고장 감지 파라미터들을 추가하고 합성곱 신경망을 학습하여 탐지 알고리즘을 개발하였다. 수신자 조작 특성의 아래 면적으로 탐지 성능을 검증한 결과 합성곱 신경망에 기계 고장 감지 파라미터들을 추가하여 학습시킨 알고리즘의 성능이 향상되었다 (모조 혈전 탐지 AUC 0.992, 돼지 혈전 탐지 AUC 0.987). 이를 통해 합성곱 신경망에 기계 결함 감지 매개변수를 추가하여 펌프 헤드 혈전증을 탐지하는 효과적인 알고리즘을 개발했다. 본 논문은 기계 고장 진단 파라미터와 합성곱 신경망을 적용하여 원심성 혈액 펌프의 임펠러에 부착되어 함께 회전하는 혈전을 지속적으로 감지하는 알고리즘의 성능을 향상시켰다. 본 연구에서 제안한 방법들이 임상에서 펌프 헤드 혈전증을 진단하여 환자들의 생존성을 향상시킬 수 있을 것으로 기대한다. 또한 본 연구가 원심성 혈액 펌프, 기계 고장 진단 및 딥러닝 분야를 이어주는 융합연구의 기반이 되기를 기대한다.

Convolutional neural network 를 이용한 lithography hotspot detection

신무준 성균관대학교 일반대학원 2017 국내석사

반도체 physical design 이 축소되어가면서 lithography 공정은 점점 layout design 에 제약을 주고 있다. 그러므로 빠르고 정확한 lithography hotspot 검출 은 반도체 design 에 점점 중요한 역할을 하고 있다. 그러나 현재의 optical lithography simulation 기반의 design hotspot 기법은 지나치게 많은 computing resource를 사용하며 오랜 시간이 소요되기 때문에 반도체 design 개발에 장애가 되어왔다. 또한 이를 극복하기 위해 개발된 빠르고 경험적인 방식인 pattern matching, machine learning, fuzzy matching 방식 또한 만족할만한 성능을 보여주지 못하였다. 이에 본 논문에서는 Convolutional Neural Network를 이용한 Lithography pattern hotspot detection 을 제안한다. 제안 방식은 기존의 결과보다 더 좋은 hotspot detection performance (95.5% recall / 22.2% precision)를 구현하였다. 또한 convolutional neural network 이 가지는 수행속도 문제를 최대한 줄여 0.72Hr/mm2 의 검사시간을 구현하였다. 이에 해당하는 결과를 만들어내기 위해 convolutional neural network 자체의 성능에만 의존 하지 않고 data augmentation, candidate region설정, modified batch normalization, fast image scanning, DBSCAN clustering 기법을 도입하여 더 높은 성능향상을 꾀하였다. 본 연구는 반도체 lithography hotspot detection 에 convolutional neural network를 사용한 최초의 사례이다.

Convolutional neural network을 이용한 slot filling 방법

전창용 성균관대학교 일반대학원 2017 국내석사

인공지능에 대한 대중의 관심으로 인하여 지능형 음성 인터페이스에 대한 많은 연구가 진행 되고 있다. 지능형 음성 인터페이스에 존재하는 여러 구성요소 중 Spoken language understanding 모듈은 사용자의 발화를 기계가 이해할 수 있도록 변환해주는 가장 핵심적인 역할을 담당하고 있다. Spoken language understanding 분야에는 도메인 분류, 사용자 의도 추론, 슬롯 채우기 작업이 존재하는데 본 논문에서는 슬롯 채우기 작업을 위한 모델을 제안하고자 한다. 슬롯 채우기 문제를 해결하기 위해서는 사용자 발화에서 각 단어에 대한 슬롯을 예측해야 하는데 이는 순차적인 데이터에 대한 레이블을 분류하는 문제로 다루어 지고 있다. 이러한 문제를 위하여 Conditional random fields와 같은 조건부 모델 과 Recurrent Neural Network 같은 Deep learning 모델 등이 연구되고 있다. 본 논문에서는 이미지 분야에서 널리 사용되는 Convolutional neural network를 입력 레이어로 사용하고 은닉 레이어 및 출력 레이어에는 Recurrent Neural Network를 사용하는 구조를 제안하였다. Convolutional neural network를 사용하면 Convolution 연산을 통해서 목적 단어 이외에 주변 단어의 정보도 같이 고려하면서 모델의 복잡도를 유지할 수 는 장점이 있다. 또한 개체명 정보도 함께 사용하였을 때 모델의 성능을 더 높일 수 있었다. 모델의 성능을 측정하기 위해서 가장 널리 사용되는 ATIS 데이터셋을 사용하여 F1 Score를 측정하였다. 단어 정보만 사용하였을 때는 Word embedding 방법 대비 0.20의 모델 성능을 향상 시킬 수 있었고, 개체명 정보까지 함께 사용하였을 때는 Word embedding 방법 대비 0.57의 모델 성능을 향상 시킬 수 있었다. 또한 개체명 정보까지 함께 사용한 결과는 기존 연구 결과 대비 가장 높은 96.67의 성능을 확인할 수 있었다. In these days, many studies are in progress on intelligence voice interface because of public interest in artificial intelligence. Spoken language understanding component has a key role of converting utterances to structured form that the machine can handle among various of components on intelligence voice interface. There are domain classification, intent classification and slot filling in spoken language understanding. In this paper, we propose a model for slot filling. In order to solve the slot filling problem, we have to predict a slot for each word in utterance. It is usually treated as a sequence classification problem. There are approaches to solving this problem include conditional models such as the conditional random fields, deep learning models such as the recurrent neural network and etc. In this thesis, we propose a structure of the recurrent neural network and the convolutional neural network, which is widely used in image processing, as input layer. The convolutional neural network has the advantage of maintaining the complexity of the model while considering context information of the target word through convolution operation. Furthermore, when the named entity is used together, the performance of model can be improved. We use the ATIS dataset which is widely used in spoken language understanding, and evaluated them using 𝐹1 score. When words are only used, the performance of the model was improved 0.20 compared to the word embeddings method, and when words and named entities are used together, the performance was improved 0.57 compared to the word embeddings method. In addition, the result of using named entities with words showed the highest performance of 96.67.

자원이 제한된 에지 AI 하드웨어에서의 효율적인 신경망 전개를 위한 순수 정수 기반의 양자화 기법

ALI ABDALHAMID ABDALAZIM 충북대학교 2024 국내박사

Quantization methods for neural networks are gaining significant attention in deploying these networks on resource-constrained edge AI hardware. In this study, a wide range of neural networks for different computer vision tasks have been considered; for each type, a suitable quantization technique is proposed to allow the deployment of these neural network models on resource-constrained AI devices. For Convolutional Neural Network (CNN), a novel quantization method for quantizing both internal computations and memory parameters was presented. Unlike most other methods, the proposed quantization method Unified-Scaling Based Pure-Integer (USPIQ) can handle more complex CNN models. USPIQ aims to simplify the quantization method by providing an efficient, systematic approach to convert a floating-point model to a pure-integer to reduce the computational overhead, which makes it more suitable for low-power AI devices. The experiments demonstrate that USPIQ can significantly reduce the on-chip memory for parameters and activations while decreasing energy consumption and computational time compared to the other quantization methods, all with minimal accuracy loss. The proposed accuracy-aware quantization approach based on signal-to- quantization noise ratio (SQNR) rooted in USPIQ effectively mitigates accuracy loss, mainly on resource-constrained devices. In the Spike Neural Network (SNN) domain, this work introduces a hardware-friendly coding scheme called binary streamed rate coding (BSRC). BSRC can easily be generated by the hardware using a lookup table with a time window at least 25% shorter than the previous coding schemes, and it achieves high accuracy results within fewer training epochs. Additionally, retraining-based neuron pruning, and post-training 4-bit weight quantization are presented to optimize the model further and speed up the inference process. A simple but effective one-step equation is developed for the integer threshold compensation required due to the SNN weight quantization. Extensive evaluations demonstrate that the spike generation BSRC combined with the model optimization and weight quantization significantly reduces hardware size and power consumption compared to the previous SNN implementation, with a slight accuracy loss.

Performance evaluation of multi-level various-order functional connectivity based classification framework using connectome-convolutional neural network

박주영 Graduate School, Korea University 2019 국내석사

Resting-state functional magnetic resonance imaging (rs-fMRI) has gained in popularity for diagnosing brain diseases, including mild cognitive impairment (MCI). Despite numerous studies on MCI with rs-fMRI, identifying neuroimaging biomarkers for the disorder is yet incomplete. Many researchers have studied on functional connectivity (FC) based classification to represent the abnormalities in brain networks that could be deformed in MCI patients. Although some existing methods are partially successful, they fail to capture more latent and complex information by only considering ‘low-order’ relationships between ‘two’ brain regions. Also, as traditional machine learning algorithms, support vector machine (SVM) is still widely used to classify FCs, the application of other machine learning techniques such as convolutional neural network (CNN) has been applied very recently and has remained largely challenging. In this thesis, we propose and analyzes a novel multi-level various-order functional connectivity (FC) based classification framework using connectome-convolutional neural network (CCNN). The proposal constructs a unified framework of both high-quality various-order FC networks, which can find discriminative brain connectivity patterns between MCI and normal controls (NC), and a state-of-art connectome-convolutional neural network to learn features and classifiers for each MCI and NCs. We assess the diagnostic performances of the proposed framework on a publicly available data-set in terms of accuracy, sensitivity and specificity. We then demonstrate the effectiveness of our framework by comparing it with competing methods. We also show that our unified model is able to combine information ranging from superficial interactions to more latent and complex relationships with multi-level various-order FC networks and the corresponding framework using multi-level various-order FC outperforms other classifiers using either ‘single’-level various-order FC metrics or multi-level ‘same’-order FC networks. From this, our proposed framework can provide instructive biomarkers not only for diagnosis of MCI, but for other mental/neural disorders, such as autism spectrum disorder (ASD)

In-DRAM Neural Network Accelerator Architecture for Binary Neural Network

최해랑 서울대학교 대학원 2021 국내박사

컨볼루셔널 뉴럴 네트워크 (CNN) 어플리케이션에서는, 대부분의 연산이 컨볼루션 레이어와 풀리-커넥티드 레이어에서 발생하는 곱셈과 누적 연산이다. 게이트-로직 레벨에서는, 대량의 벡터 내적으로 실행되며, 입력과 커널 벡터들을 반복해서 사용하여 연산한다. 딥 뉴럴 네트워크 연산에는 범용 연산 유닛보다, 단순한 연산이 가능한 작은 연산 유닛을 대량으로 사용하는 것이 적합하다. 가속기의 성능이 일정 이상 높아지면, 가속기의 성능은 연산에 필요한 데이터 전송에 의해 제한된다. 메모리에서 데이터를 오프-칩으로 전송할 때의 에너지 소모가, 연산 유닛에서 연산에 사용되는 에너지의 수백배로 크다. 또한 연산기의 성능은 초당 수백 기가~수 테라-연산이 가능하지만, 메모리의 데이터 전송은 초당 수십 기가 바이트이다. 데이터 전송에 의한 파워와 성능 문제를 동시에 해결하는 방법은, 전송되는 데이터 크기를 줄이는 것이다. 알고리즘 중에서는 네트워크의 데이터를 양자화하여, 낮은 정밀도로 데이터를 표현하는 방법이 널리 사용된다. 이진 뉴럴 네트워크(BNN)는 정밀도를 1비트까지 극단적으로 낮춘다. 16비트 정밀도보다 네트워크의 정확도가 낮아지는 문제가 있지만, 다양한 연구를 통해 정확도가 지속적으로 개선되고 있다. 또한 구조적으로는, 전송된 데이터를 재사용하여 동일한 데이터의 반복적인 전송을 줄이는 방법이 있다. 위의 두 가지 방법은 추론 과정에서 별도의 연산 없이 적용 가능하여 가속기에서 널리 적용되고 있다. 본 논문에서는, DRAM 기반의 가속기 구조를 제안하고, DRAM refresh에 의한 성능 감소를 개선하는 기술을 제안하였다. 두 방법은 하나의 DRAM 칩으로 집적 가능하며, 독립적으로 구동 가능하다. 첫번째는 대량의 벡터 내적 연산이 가능한 DRAM 기반 가속기에 대한 연구이다. BNN을 적용할 수 있는 CNN가속기 분야에서, 메모리의 셀-어레이 구조를 벡터 내적 연산에 활용하는 컴퓨팅-인-메모리(CIM) 구조가 활발히 연구되고 있다. 특히, DRAM에는 뉴럴 네트워크의 모든 데이터가 있기 때문에, 데이터 전송량의 감소에 유리하다. 우리는 DRAM 셀-어레이의 구조를 바꾸지 않고, DRAM의 기본 동작을 활용하여 연산하는 방법을 제안하였다. 두번째는 DRAM 리프레쉬 주기를 늘려서 성능 열화와 파워 소모를 개선하는 방법이다. DRAM이 리프레쉬를 실행할 때마다, 데이터를 읽고 쓸 수 없기 때문에 시스템 혹은 가속기의 성능 감소가 발생한다. DRAM 칩 내부에서 DRAM의 리프레쉬 특성을 테스트하고, 리프레쉬 주기를 늘리는 방법을 제안하였다. DRAM 내부에서 독립적으로 동작하기 때문에 DRAM을 사용하는 모든 시스템에 적용 가능하며, 딥 뉴럴 네트워크 가속기에서도 동일하다. 또한, 제안된 가속기를 PyTorch와 같이 널리 사용되는 딥러닝 프레임 워크에서도 쉽게 사용할 수 있도록, 소프트웨어 스택을 비롯한 system integration 방법을 조사하였다. 결과적으로, 기존의 TVM compiler와 FPGA로 구현하는 TVM/VTA 가속기에, DRAM refresh 실험에서 검증된 메모리 컨트롤러와 커스텀 컴파일러를 추가하면 in-DRAM 가속기를 제어할 수 있을 것으로 기대된다. 이에 더하여, in-DRAM 가속기와 뉴럴 네트워크의 설계 단계에서 성능을 예측할 수 있도록, 시뮬레이션 기능을 PyTorch에 추가하였다. PyTorch에서 신경망을 실행할 때, DRAM 가속기에서 실행되는 계층에서 발생하는 계산 대기 시간 및 데이터 이동 시간을 확인할 수 있다. In the convolutional neural network applications, most computations occurred by the multiplication and accumulation of the convolution and fully-connected layers. From the hardware perspective (i.e., in the gate-level circuits), these operations are performed by many dot-products between the feature map and kernel vectors. Since the feature map and kernel have the matrix form, the vector converted from 3D, or 4D matrices is reused many times for the matrix multiplications. As the throughput of the DNN increases, the power consumption and performance bottleneck due to the data movement become a more critical issue. More importantly, power consumption due to off-chip memory accesses dominates total power since off-chip memory access consumes several hundred times greater power than the computation. The accelerators' throughput is about several hundred GOPS~several TOPS, but Memory bandwidth is less than 25.6 or 34 GB/s (with DDR4 or LPDDR4). By reducing the network size and/or data movement size, both data movement power and performance bottleneck problems are improved. Among the algorithms, Quantization is widely used. Binary Neural Networks (BNNs) dramatically reduce precision down to 1 bit. The accuracy is much lower than that of the FP16, but the accuracy is continuously improving through various studies. With the data flow control, there is a method of reducing redundant data movement by increasing data reuse. The above two methods are widely applied in accelerators because they do not need additional computations in the inference computation. In this dissertation, I present 1) a DRAM-based accelerator architecture and 2) a DRAM refresh method to improve performance reduction due to DRAM refresh. Both methods are orthogonal, so can be integrated into the DRAM chip and operate independently. First, we proposed a DRAM-based accelerator architecture capable of massive and large vector dot product operation. In the field of CNN accelerators to which BNN can be applied, a computing-in-memory (CIM) structure that utilizes a cell-array structure of Memory for vector dot product operation is being actively studied. Since DRAM stores all the neural network data, it is advantageous to reduce the amount of data transfer. The proposed architecture operates by utilizing the basic operation of the DRAM. The second method is to reduce the performance degradation and power consumption caused by DRAM refresh. Since the DRAM cannot read and write data while performing a periodic refresh, system performance decreases. The proposed refresh method tests the refresh characteristics inside the DRAM chip during self-refresh and increases the refresh cycle according to the characteristics. Since it operates independently inside DRAM, it can be applied to all systems using DRAM and is the same for deep neural network accelerators. We surveyed system integration with a software stack to use the in-DRAM accelerator in the DL framework. As a result, it is expected to control in-DRAM accelerators with the memory controller implementation method verified in the previous experiment. Also, we have added the performance simulation function of in-DRAM accelerator to PyTorch. When running a neural network in PyTorch, it reports the computation latency and data movement latency occurring in the layer running in the in-DRAM accelerator. It is a significant advantage to predict the performance when running in hardware while co-designing the network.

Applications of Deep Convolutional Neural Network Models for Animal Facial Image Classification : 동물 안면 이미지 분류를 위한 심층 컨볼루션 신경망 모델의 적용

시할라스타비사크 경상대학교 대학원 2021 국내석사

In first part, the important thing in the field of deep learning is to find out the appropriate hyper-parameter for image classification. In this study, the main objective is to investigate the performance of various hyper-parameters in a convolutional neural network model based on the image classification problem. The dataset was obtained from the Kaggle dataset. The experiment was conducted through different hyper-parameters. For this proposal, Stochastic Gradient Descent without momentum (SGD), Adaptive Moment Estimation (Adam), Adagrad, Adamax optimizer, and the number of batch sizes (16, 32, 64, 120), and the number of epochs (50, 100, 150) were considered as hyper-parameters to determine the losses and accuracy of a model. In addition, Binary Cross-entropy Loss Function (BCLF) was used for evaluating the performance of a model. In this study, the VGG16 convolutional neural network was used for image classification. Empirical results demonstrated that a model had minimum losses obtain by Adagrad optimizer in the case of 16 batch sizes and 50 epochs. In addition, the SGD with a 32 batch sizes and 150 epochs and the Adam with a 64 batch sizes and 50 epochs had the best performance based on the loss value during the training process. Interestingly, the accuracy was higher while performing the Adagrad and Adamax optimizer with a 120 batch sizes and 150 epochs. In this study, the Adagrad optimizer with a 120 batch sizes and 150 epochs performed slightly better among those optimizers. In addition, an increasing number of epochs can improve the performance of accuracy. It can help to create a broader scope for further experiments on several datasets to perceive the suitable hyper-parameters for the convolutional neural network. In second part, development of livestock has increased demand for identification methods such as deep learning for quality control, welfare management and traceability in a livestock barn. Identification of individual pig has become an issue for traceability in a livestock barn. In this paper, the main objective is to show the feasibility of individual pig face identification and investigate the effects of pig changeable aspects face appearance during growing. Firstly, the datasets were captured in an experimental livestock barn environment at a different time. Secondly, the datasets were filtered similar image by using the structural similarity index measure (SSIM). Thirdly, a face image classification was performed by employing a deep convolutional neural network (DCNN) namely ZFNet model. The results showed that individual pig identification was outperformed while using the same time for training and testing dataset with an accuracy rate above of 97% for each class. The difference between this work and other states of the art pig face recognition work is that training and testing data were captured at 3 different periods in an experimental pig barn.