블록체인 및 RBAC 기반 정보시스템 감사시스템 설계

김도훈 부산대학교 2022 국내석사

급속도로 정보기술이 발전하며 대다수 업무 처리는 정보시스템에 의존하게 되며 업무 효율성 및 기업운영 측면에 이점을 가지고 왔지만 이에 따른 정보보안 문제를 확산시키게 되었다. 정보보호 사고로 인해 발생하는 기업의 책임에 대한 법적 제도를 마련하고 일정 수준 이상의 보안성 확보를 유도하고 있지만 완벽한 보안 수준 달성이 어려워 주기적인 점검을 통한 지속적 보안관리 활동이 요구되고 있다. 이에 내외부 조직을 통한 정보시스템 감사의 중요성은 점차 커지며 내부적으로 전문가를 확보해 자생력을 확보하고 외부 전문업체를 통한 객관적인 평가에 대한 수요가 증가하고 있다. 하지만 중앙행정부처 또는 소관기관을 통한 정보시스템 감사 진행 시 기관에서 제출하는 감사 증적에 대한 신뢰 문제가 발생하며 주요 감사 증적(정보시스템 로그 등)에 대한 투명한 기록과 관리가 요구되고 있지만 내부 인원에 의한 정보 조작 또는 은폐에 대한 뚜렷한 해결방안이 존재하지 않고 있다. 본 논문에서는 정보시스템 감사를 수행함에 있어 가장 주요한 감사 증적인 정보시스템 로그에 대한 기록의 투명성 향상을 위한 블록체인 네트워크의 사용, 해당 데이터에 대해 역할기반 접근통제를 수행해 반드시 필요한 조직 또는 인원에게만 접근을 허용할 수 있는 시스템을 제안한다. 실제 용량이 큰 원본 데이터는 오프체인 형태로 외부에 저장하며 해당 로그에 대한 해시값을 블록체인에 기록하여 기록의 투명성 향상과 네트워크 처리 효율성을 제고하며, 접근통제를 통해 필요한 대상에 대한 데이터 공유와 권한 제어에 대한 편의성을 제공한다.

Implementation of music recommendation system based on collaborative filtering

허신우 신라대학교 일반대학원 2021 국내박사

Due to the rapid growth of the online music industry, there are plenty of music data generated. As a result, users are faced with a large amount of song information and it is difficult for users to find the music of interest fast. In this circumstance, it is necessary to have an effective music recommendation system that is capable to find the songs that users like fast and provide a pleasant experience. In this paper, a music recommendation system is designed and implemented to solve this problem. The proposed music recommendation system is quick to meet the user's needs and effective in showing the information of interest to the user. The recommendation system algorithm relies mainly on user preference to remove unnecessary data information and on filters to show the final result. Currently, collaborative filtering algorithms have been widely used in recommendation systems. The common problems with collaborative filtering include cold start and data scarcity. Though the existing recommendation systems provide information to users in a relatively short time, there remain some problems with the quality and efficiency of recommendation. In order to enhance the accuracy of music recommendation, the quality of recommended content is improved in this paper using the music popularity ranking and an optimized collaborative filtering method. Moreover, a hybrid recommendation method is proposed that improves the quality of recommendation and the diversity of content by combining music popularity ranking, user-based collaborative filtering method, and item-based collaborative filtering method. Then, a music recommendation system is implemented using the proposed hybrid recommendation method. 온라인 음악 산업의 급속한 발전으로 인하여 많은 음악 데이터가 생성되고 있다. 사용자들은 많은 양의 노래 정보에 직면하고 있으며 사용자가 관심 있는 음악을 빨리 찾기가 어렵다. 따라서 사용자가 좋아하는 곡을 빠르게 찾고 좋은 경험을 제공 할 수 있는 효과적인 음악 추천 시스템이 필요하다. 본 논문에서는 이러한 문제를 해결하기 위하여 음악 추천 시스템을 설계하고 구현한다. 음악 추천 시스템은 사용자의 요구를 빠르게 충족시킬 수 있고 사용자에게 관심 있는 정보를 효과적으로 보여준다. 추천 시스템 알고리즘은 주로 사용자의 선호도를 이용하여 불필요한 데이터 정보를 제거하며 필터링하여 최종 결과를 보여준다. 협업 필터링 알고리즘은 추천 시스템에서 널리 사용하고 있다. 협업 필터링이 가지고 있는 일반적인 문제는 콜드 스타트 ​​및 데이터 희소성 문제이다. 기존의 추천 시스템은 비교적 짧은 시간에 사용자에게 정보를 제공하지만 추천 품질 및 추천 효율성에 문제가 있다. 본 논문에서는 음악 추천의 정확성을 높이기 위해 음악 인기 순위와 최적화 된 협업 필터링 방법을 사용하여 추천 콘텐츠의 품질을 높인다. 본 논문에서는 음악 인기 순위, 사용자 기반 협업 필터링 방법과 아이템 기반 협업 필터링 방법을 혼합한 하이브리드 추천 방법을 제안하고 추천 품질과 콘텐츠 다양성을 향상시킨다. 그리고 제안한 하이브리드 추천 방법을 사용하여 음악 추천 시스템을 구현한다.

Bi-LSTM과 Attention Mechanism을 결합한 감성 분석

영가기 신라대학교 신라대학교 일반대학원 2022 국내석사

인터넷 기술의 급속한 발전으로 많은 인터넷 사용자들이 소셜 네트워크 서비스를 통해 사용자 리뷰 등과 같은 감성적인 의견을 많이 포함하는 데이터를 생성하고 있다. 데이터로부터 사용자의 감성 상태를 분석하는 것이 연구의 주요 이슈가 되고 있다. 감성 분석은 일반적으로 한 단락의 텍스트에 표현된 감성 상태를 분석하는 것을 말한다. 본 논문에서는 자연어 처리 기술을 적용해 주관적인 감성 정보를 인식하고 감성을 예측한다. 먼저, 현재의 감성 분석 기술에 대한 조사 연구를 통해, 텍스트로부터 잠재적인 감성 정보를 발굴하는 방법을 연구하고, TextCNN, Bi-LSTM등의 모델을 사용하여 텍스트 데이터 감정 분류의 정확성을 향상시킨다. TextCNN과 Bi-LSTM을 각각 Attention을 결합하여 모델을 구축한다. 실험을 통하여 WeiBo 리뷰에 대한 예측 분석을 실시하고, 모든 결과를 교차 검증하여 모델의 예측 결과의 정확도를 높인다. 마지막으로, WeiBo 리뷰 데이터를 사용하여 해당 모델의 성능을 비교하고 모델의 유효성을 검증한다. 본고에서는 Bi-LSTM에 Attention을 가입함으로써 Bi-LSTM 모델의 정확도를 높이고 정확도는 96.8%를 달성하였으며, 테스트 손실률은 8%로 감소한다. With the rapid development of Internet technology, many Internet users are generating data containing a large amount of emotional opinions, such as user comments, through social networking services. Analyzing the emotional state of users from the data has become a major research problem. Sentiment analysis generally refers to analyzing the emotional state expressed by a text. In this paper, natural language processing techniques are applied to identify subjective sentiment information and predict sentiment. First, through research on the current sentiment analysis technology, a method of excavating potential emotional information from text is studied, and the accuracy of text data emotion classification is improved using models such as TextCNN and Bi-LSTM. TextCNN and Bi-LSTM are each combined with attention to build a model. Through experiments, predictive analysis is performed on WeiBo reviews, and all results are cross-validated to increase the accuracy of the model's prediction results. Finally, the WeiBo review data is used to compare the performance of the models and validate the models. In this paper, by subscribing attention to Bi-LSTM, the accuracy of the Bi-LSTM model was increased, and the accuracy was achieved to 96.8%, and the test loss rate was reduced to 8%.

스마트시티 플랫폼을 위한 블록체인 기반 접근제어 시스템

이상현 부산대학교 2021 국내석사

인터넷 기술이 발전함에 따라 디지털 환경에서 제공되는 서비스들이 증가하고 있다. 또한, 코로나바이러스로 인한 비대면 서비스의 중요성이 높아지며 이러한 현상은 가속화되고 있다. 이와 같은 환경에서 개인의 신원을 인증하는 것은 오프라인 환경에서 보다 더욱 중요하다. 오프라인 환경에서는 주민등록증과 같은 신뢰할 수 있는 기관이 발급해주는 증명서를 통해 간단하게 개인의 신원을 인증할 수 있다. 하지만 디지털 환경에서는 증명서를 제시할 수 없으므로 본인만 알 수 있는 정보를 제공해 개인의 신원을 인증한다. 디지털 환경에서 민감한 개인정보로 신원 인증이 이루어지기 때문에 사용자는 개인정보 유출이 일어날 시 사용자가 받는 피해는 막대하다. 또한, 각 서비스마다 개별적으로 개인정보를 제공하기 때문에 사용자가 본인의 개인정보를 관리할 수 없다는 문제가 존재한다. 이러한 문제를 해결하기 위해 자기 주권 신원 기술이 주목받고 있다. 자기 주권 신원 기술을 활용하면 중앙 기관이 아닌 개인들이 자신의 신원 정보를 직접 관리할 수 있으며 제출 범위, 제출 대상 또한 개인이 직접 관리할 수 있다. 이러한 자기 주권 신원 기술에 블록체인을 결합하면 블록체인의 장점인 투명성, 무결성 등을 확보할 수 있고 신원 정보의 위변조를 방지할 수 있다. 본 논문에서는 블록체인이 결합된 자기 주권 신원 기술을 통한 접근제어 시스템을 제안한다.

비감독 학습 뉴럴 언어모형 기반의 문맥의존 철자오류 교정

이정훈 부산대학교 대학원 2021 국내박사

본 논문은 영어 문서를 대상으로 문맥의존 철자오류 문제를 해결하고자 한다. 철자오류 종류는 두 가지로 단순 철자오류와 문맥의존 철자오류로 나뉜다. 단순 철자오류는 사전의 단어와 매칭만으로 오류를 찾을 수 있기 때문에 교정하기가 쉽지만 문맥의존 철자오류는 교정 대상 단어와 주변 문맥의 관계를 파악해야 오류 유무를 알 수 있기 때문에 교정의 난이도가 높아진다. 문맥오류의 세부 종류로 동음이의어 오류(homophone error), 문자 배열의 오류(typographical error), 문법 오류(grammatical error), 띄어쓰기 오류(cross word boundary error)로 나뉘며, 논문에서는 띄어쓰기 오류를 제외한 문맥의존 철자오류에 해당하는 나머지 오류에 대해서 다룬다. 그리고 문맥의존 철자오류의 검색은 통계적 방식을 사용하며, 최종 교정어 선택은 딥러닝(deep learning) 방식을 사용하여 문맥의존 철자오류 문제를 해결한다. 논문에서는 기존 문맥의존 철자오류 교정에 다뤄지지 않은 여러 뉴럴 언어모형을 교정에 적용 한다. 논문에서 제안하는 뉴럴 언어모형을 이용한 교정 기법은 크게 5가지로 Word embedding 정보 기반의 교정, Contextual embedding 정보 기반의 교정, Auto-regressive(AR) 계열 언어모형 기반의 교정, Auto-encoding(AE) 계열 언어모형 기반의 교정, Encoder- Decoder 계열 언어모형 기반의 교정으로 나뉜다. 본 논문에서는 최근까지 발표된 15가지 뉴럴 언어모형을 이용해서 문맥의존 철자오류 교정 실험을 진행한다. 논문에서는 교정 대상 단어를 기준으로 양방향의 문맥 정보를 참조하여 교정을 실험하며, 단방향으로 들어오는 입력이나 파라미터 조절을 이용한 성능 실험도 진행하였다. 성능의 측정은 오류어 검색(detection), 오류어 교정(correction)을 각각 정확도(precistion), 재현율(recall), F1으로 표현한다. 논문에서는 문맥의존 철자오류 교정 테스트 말뭉치 구축에 관한 내용도 다루며, 웹에서 얻어진 1조 어절로 구성된 말뭉치를 이용해 실제 사용자들의 오류를 추출하여 성능 테스트에서 제시한다.

Enhanced FAM method for image restoration

진용 신라대학교 일반대학원 2021 국내박사

Image restoration refers to the recovery of an underlying image from an observation corrupted by various types of noise. In digital forensic software, such an image restoration process should be noise-tolerant, robust, fast, and scalable. Among many existing models of associative memory, Fuzzy Associative Memory (FAM) is widely used in the implementation of such systems using a fuzzy Hebbian learning rule. Such methods are often based on max-min or max-product compositions for the synthesis of the weight matrix. The FAMs provide important advantages including noise tolerance, unlimited storage, and one-pass convergence nevertheless they have low capacity. FAM performance is also related to its ability to capture the content of each pattern and its association. Therefore, when the traditional FAM is applied to recover images, the recovery rate of images is high for the same individuals with different backgrounds, but low if the same individuals have the same background. To address this issue we propose a T_norm-based FAM technique. In fuzzy theory, the operations that can be applied to the value of the function to which they belong are T_norm (Triangular-norm) and T_conorm (Triangular-conorm). Here we apply the T_norm to improve the degree of repair for the FAM weighted value operation. To verify the performance of the proposed T_norm-based FAM method, we conduct experiments with 20 images. In our dataset, researchers conduct experiments with 20 images of objects damaged against the same background and 20 images of objects damaged against different backgrounds were tested.. For both cases, 90% recovery performance is achieved using the T_norm-based FAM method. This shows % recovery performance in the existing FAM. Nevertheless, the RMSE is high with the proposed T_norm-based FAM method and the existing FAM all recovered in the video. 영상 복원은 다양한 유형의 잡음에 의해 손상된 영상에서 원 영상으로 복원하는 것이다. 디지털 포렌식 소프트웨어에서 이러한 영상 복원 프로세스는 잡음에 강하고 견고하며 빠르며 확장이 가능해야한다. 영상 복원을 위한 많은 연상 메모리 모델 중에서 퍼지 연상 메모리(FAM : Fuzzy Associative Memory)는 가중치 행렬의 합성을 위해 Max-Min 또는 Max-Product 측면에서 Fuzzy Hebbian 학습 규칙을 사용하여 이러한 구조를 성공적으로 구현한 모델 중의 하나이다. 퍼지 연상 메모리는 소음 내성, 무제한 저장 및 원 패스 수렴을 비롯한 다양한 장점을 가지고 있다. FAM의 성능을 결정하는 중요한 속성은 각 패턴의 콘텐츠를 캡처하는 기능과 패턴의 연관성이다. 따라서 기존의 퍼지 연상 메모리(FAM)을 적용하여 이미지를 복원할 경우에는 같은 객체들에 대해서 배경이 다른 경우에는 영상의 복원 정도가 높지만 같은 객체들에 대해서 배경이 같은 경우에는 복원 정도가 매우 낮게 나타난다. 이러한 문제점을 개선하기 위하여 본 논문에서는 T_norm 기반 퍼지 연상 메모리 기법을 제안한다. 퍼지 이론에서 소속 함수의 값에 적용할 수 있는 연산으로 T_norm(Triangular-norm)과 T_conorm(Triangular-conorm)이 있다. 본 논문에서는 퍼지 연상 메모리의 가중치 연산에 T-norm을 적용하여 복원 정도를 개선한다. 제안된 T_norm 기반 FAM 방법의 성능을 확인하기 위하여 20개의 영상을 대상으로 학습한 후에 같은 배경에서 객체들의 영역 일부가 손실되거나 잡음이 있는 20개 영상과 다른 배경에서 객체들의 영역 일부가 손실되거나 잡음이 있는 20개 영상을 실험하였다. 두 경우에 대해서 제안된 T_norm 기반 FAM 방법에서는 90%의 복원 성능이 나타났고 기존의 FAM에선 40%의 복원 성능을 보였다. 그러나 제안된 T_norm 기반 FAM 방법과 기존의 FAM에서 모두 복원된 영상에서의 제곱근 평균 오차 (RMSE)는 제안된 T_norm 기반 FAM 높게 나타났다.

확산 모델 기반 필기 이미지 생성에 관한 연구

홍동진 부산대학교 대학원 2025 국내박사

디지털 기술이 일상을 대체하는 현재에도 필기 이미지는 교육, 의료, 금융, 예술 분야에서 중요한 역할을 수행하고 있다. 하지만 사고나 질병과 같은 후천적 원인으로 인해 필기에 어려움을 겪는 사람들이 증가하고 있다. 이러한 상황에 처한 사람들은 타인의 도움에 의존해야 하며, 개인의 독립성과 프라이버시, 자존감에 부정적인 영향을 받게 된다. 개인의 고유한 필체 특성을 학습하여 서명 이미지를 생성하거나 임의의 텍스트를 개인 필체로 변환하는 기술은 신체적 제약을 극복하는 보조 도구로서 실질적인 도움을 제공할 수 있다. 본 논문에서는 서명과 문자라는 두 요소의 생성에 대해 각각 특화된 확산 모델을 제안한다. 서명 이미지 생성을 위한 조건부 확산 모델에서는 타임스텝과 클래스 정보를 하나의 통합 임베딩으로 처리하여 네트워크 전반에 일관되게 전달하는 방식을 채택했다. 또한 서명의 희소한 전경 구조에서 전역적 일관성을 확보하기 위해 저해상도 구간에서만 자기 어텐션을 선택적으로 적용하여 계산 효율성과 표현력의 균형을 달성했으며, EMA 네트워크를 통해 학습 과정의 매개변수 변동을 완화하여 생성 안정성을 향상시켰다. 문자 이미지 생성을 위한 잠재 확산 모델에서는 VAE를 통한 지각적 압축을 수행하여 잠재 공간에서 효율적인 확산 과정을 수행한다. 콘텐트와 스타일 정보를 효과적으로 분리하고 통합하기 위해, 콘텐트 인코더가 추출한 문자의 구조적 정보는 채널 어텐션을 통해 U-Net의 인코더 부분에만 주입하고, 스타일 인코더가 다중 참조 이미지로부터 추출한 스타일 정보는 교차 어텐션을 통해 주입하는 방법으로 문자 이미지를 생성한다. 본 연구는 확산 모델을 필기 이미지 생성에 적용하여 각 구성 요소의 설계 원칙을 실험적으로 검증했으며, 서명과 문자라는 상이한 필기 도메인에서 공통적으로 적용 가능한 설계 가이드라인과 도메인별 특화 전략을 실험적 검증을 통해 제시한다. 제안된 서명 이미지 생성 모델은 CEDAR 데이터셋에서 유사도 분류 정확도 93.0%, 클래스 분류 정확도 93.4%를 달성하였으며, BHSig260-B 데이터셋에서는 유사도 분류 정확도 98.9%, 클래스 분류 정확도 99.4%를 기록하여 고품질의 서명 이미지를 생성할 수 있음을 확인하였다. 제안된 문자 이미지 생성 모델은 손글씨 폰트 이미지를 대상으로 학습 및 생성하였을 때 FID 19.58, SSIM 0.9655를 기록하여 실용적 활용이 가능한 수준의 문자 이미지를 생성할 수 있었다.

딥 러닝을 이용한 SSD-PCB의 부품 탐지

방자욱 신라대학교 일반대학원 2022 국내박사

As the fourth industrial revolution is underway, scientists and engineers are focusing on integrating modern intelligent technology into traditional manufacturing and industrial practices, improving automation, self-monitoring, and analyzing and diagnosing problems without manual intervention. In the ever-developing consumer market and industry, people's requirements for computers are also changing. As a critical device responsible for data storage, hard disks have increasingly higher reading and storing speeds. That makes solid-state drives (SSD) quickly enter the user's field of vision. However, Damage to components on the internal printed circuit board (PCB) due to user misoperation or other reasons is a common cause of SSD failure. Although these faults can be repaired manually, there are usually a large number of components on the PCB, so it is very labor-intensive to detect component faults. Furthermore, some components such as capacitors and resistors only have slight color differences in the middle part in appearance, so in the case of brightness changes or electrothermal discoloration caused by long-term use, it is easy to cause detection errors. The field of artificial intelligence is getting more and more attention. As a branch of artificial intelligence, deep learning has an increasing influence on object recognition and image separation. The rapid development of deep learning has made object recognition more and more efficient. In order to explore this, this thesis use the convolutional neural network to automatically locate and classify all the components on the PCB, guide the robotic arm to use the robotic arm to measure and find the faulty components automatically, and finally achieve the purpose of detecting the fault. In a further step, the faulty component is quickly locked. Through experiments, the total correct detection rate of all component categories is 99.28%, proving the method's effectiveness. 4차 산업 혁명이 진행됨에 따라 연구자와 개발자들은 인공지능과 같은 지능화 기술을 전통적인 제조 산업과 결합하여 산업 자동화와 모니터링 시스템을 개선하고 자동 분석 및 진단 시스템을 개발하고 있다. 최근 지능화 기술의 대중화로 인해 빠르게 변화하는 산업에 따라 소비자들의 요구사항도 변화하고 있다. 특히 컴퓨터 산업에서 데이터 저장을 담당하는 장치인 하드 디스크의 경우 점점 더 빠른 읽기와 저장 능력을 요구한다. 솔리드 스테이트 드라이브(SSD)는 빠른 속도로 읽기와 저장이 가능한 저장장치라서 소비자들의 요구를 만족시킨다. 그러나 SSD 내부 인쇄 회로 기판 (PCB)의 구성 요소가 손상되는 고장은 잘못된 사용 방식을 포함하여 여러가지 요인들로 인해 흔히 발생한다. 일반적으로 PCB의 고장은 사람이 직접 수리하지만 많은 구성 요소가 존재하여 많은 작업량을 요구한다. 또한 PCB를 구성하는 부품인 콘덴서와 저항기 등 일부 부품은 외관상으로 약간의 색상차이만 존재하여 장기간 사용으로 인한 휘도 변화와 전열적 변색의 경우 육안으로 부품을 식별하기도 쉽지 않다. 최근 객체 인식 및 이미지 분류에서 인공지능기법의 중요성이 증가하고 있다. 특히 인공지능 기법중 하나인 딥러닝은 다양한분야에 적용되고 있으며 빠르게 발전하여 사물 인식을 점점 더 효율적으로 할 수 있게 개선되었다. 본 논문에서는 SSD의 PCB를 구성하는 부품의 종류와 위치를 탐색하기 위해 딥러닝 기법인 컨볼류션 뉴럴네트워크 (CNN)를 사용하였다. SSD 부품(component)의 종류와 위치를 자동 탄색하게 되면, 향후 이 정보를 이용하여 오류를 발생한 부품 탐지에 활용 가능하다. 제안된 방법은 YOLO 객체인식 알고리즘 이용하여 PCB를 구성하는 모든 부품의 종류와 위치를 자동으로 탐색한다. 실험을 통하여 PCB에 존재하는 3591개 부품의 탐지 정확도가 99.28%에 이르러, 실용적으로 활용하기에 직절함을 확인하였다.

콘퍼머를 이용한 한국어 문장 음성 인식

상매 신라대학교 일반대학원 2023 국내석사

‘지구촌’의 세계 경제가 발전함에 따라 한국과 다른 나라 간의 경제, 문화 교류가 나날이 증가하고 있으며, 한국어 학습에 대한 외국인의 수요가 급격히 증가하고 있다. 그러나 외국인 한국어 학습 환경과 교육 여건의 한계로 인해 외국인 학습자는 일반적으로 말하기 학습이 어려운 상황이다. 컴퓨터 과학과 기술이 발전하고 언어 공부와 학습방법의 진보로 컴퓨터 보조 언어 학습 기술은 이러한 문제를 해결할 수 있게 되었다. 본 논문에서는 학습자의 말하기 능력과 발음 정확도를 자동으로 분석하고 평가할 수 있는 한국어 발음 평가 학습 보조 시스템을 제안하였다. 트랜스포머(Transfomer)는 긴 시퀀스 종속성을 추출하는 데 더 효과적인 반면에 컨볼루션은 로컬 기능 추출과 표현을 잘 할 수 있다. 제안하는 콘포머(Conformer) 음성 인식모델은 Transformer의 효과를 향상시키기 위해 Convolution을 사용하였다. 긴 시퀀스 및 로컬 특징 추출을 위한 모델을 개선하기 위해 Transformer의 인코더 레이어에 컨볼루션을 추가한다. 제안된 방법에서 Zeroth-korean 테스트세트에서 9.44%의 CER을 달성했다. 시스템의 성능을 분석하기 위하여 CNN-CTC을 적용한 시스템과 비교하였고, 더 좋은 결과를 보이는 것을 확인 할 수 있었다. 또한 긴 음성 인식에 대한 CNN-CTC 네트워크 모델의 한계와 낮은 인식률 문제를 해결할 수 있었다. 본 연구를 통해 한국어 음성 인식에 있어 콘포머의 성능이 우수함을 확인하였다. With the development of the global economy in the "global village" and the increase in economic and cultural exchanges between Korea and other countries, the demand for foreigners to learn Korean is rapidly increasing. However, it has been considered difficult for foreign language learners to learn to speak due to the limitations of foreign language learning environment and education. With the development of computer science, computing technology and the advancement of language learning methods, computer-assisted language learning techniques have been able to solve these problems. Therefore, in this paper, I propose a Korean pronunciation assessment system that can automatically analyze and assess learners' speaking ability and pronunciation accuracy. The transformer model is known to be more effective in extracting long sequence dependencies, while convolution is good for extracting local features. The proposed Conformer speech recognition model uses convolution to improve the effectiveness of the Transformer and added to the encoder layer of the Transformer. According to the study, Conformer achieved a CER of 9.44% on the Zeroth-korean test set. A comparison with CNN-CTC model was done and Conformer model showed better performance. And it solves the problem of CNN-CTC network’s limitations and low recognition rate for long speech recognition. In summary, it can be said that this paper presents an academic research agenda for the development of speech recognition, which can be considered effective and of practical importance.

BERT를 활용한 문서 임베딩 및 분류

윤영여 부산대학교 2022 국내석사

컴퓨터와 정보 기술의 발달로 많은 문서들이 온라인으로 공유되고 있다. 문서는 많은 정보를 담고 있지만 원하는 정보를 가지고 있는 문서를 찾는 것은 어렵고 많은 시간을 필요로 한다. 문서 분류는 보유하고 있는 문서를 범주화하여 원하는 정보를 가지고 있는 문서에 빠르게 접근하기 위한 좋은 접근법이다. 딥러닝 기반의 문서 분류 방법으로 BERT가 있다. BERT는 언어 표현을 사전 학습하기 위한 방법으로 학습한 언어에 대해서 다양한 문제를 해결할 수 있는 잠재력을 가지고 있다. 하지만 BERT의 핵심 연산 중에 어텐션은 문서 길이에 제곱만큼 연산 비용이 필요하고 학습하는 문서의 길이는 GPU 용량과 학습 시간에 악영향을 미쳐 실제 학습되는 문서 길이에는 제약이 있다. 문서 길이에 제약이 있어 문서의 일부분을 가지고 문서 분류를 하는 것은 성능이 부족해지는 요인이 된다. 이를 해결하기 위해서 BERT를 활용하여 문서를 임베딩하고 임베딩 벡터를 통해 문서 분류하는 방법을 제안한다. 문서를 일정 크기로 잘라 사전 학습된 BERT 모델을 통해 임베딩하여 임베딩 입력 시퀀스를 구성하고 초기화된 BERT 모델을 학습한다. 이를 통해 토큰을 학습하는 BERT 분류 모델과 유사한 제약조건에서 더 많은 길이의 텍스트 정보를 학습할 수 있고 분류 정확도를 높일 수 있다. 학습하는 시퀀스 길이가 길어짐에 따라 문서 분류 정확도가 증가하는 추세를 보였고 시퀀스 길이별 분류 모델 성능을 비교하였을 때 16384 이상의 시퀀스 길이의 문서에 대해서 BERT 임베딩 분류 모델이 BERT 분류 모델보다 높은 정확도를 보였다. 마지막으로 사전 학습된 BERT 모델의 미세 조정 없이 BERT 모델을 학습하여 분류 성능을 개선 가능함을 보였다. 이를 통해 BERT를 활용하여 질의응답 같은 다른 자연어 처리 작업에 확장하여 성능 개선을 기대한다.