기계독해 말뭉치의 교차 평가, 블라인드 평가 및 오픈도메인 질의응답 환경 평가를 통한 한국어 기계독해의 일반화 성능 평가

임준호(Joon-Ho Lim),김현기(Hyun-ki Kim) 한국정보과학회 2021 정보과학회논문지 Vol.48 No.3

기계독해는 자연어 질문과 단락이 주어졌을 때 단락 내 정답을 찾는 태스크로, 최근 사전학습 언어모델을 이용한 방법이 우수한 성능을 보이고 있다. 본 논문에서는 현재 기계독해 기술이 학습말뭉치와 유사한 평가말뭉치가 아닌 일반적인 질문과 단락 쌍에 대해서 가지는 일반화 능력을 평가하고자 한다. 이를 위하여 말뭉치 간 교차 평가 및 블라인드 평가를 수행하였고, 교차 평가결과 정답 길이, 질문 단락 사이 오버랩 비율과 같은 통계와 일반화 성능 사이 관련이 있음을 확인하였다. 블라인드 평가결과, 정답 길이가 길고 질문-단락 사이 어휘 오버랩이 낮은 평가말뭉치에서는 80% 이하의 성능을 보였다. 마지막으로, 기계독해 모델을 오픈도메인 질의응답 환경에 적용할 경우의 일반화 성능을 평가하여, 검색 단락을 이용한 기계독해 시 성능이 하락함을 확인하였다. 기계독해는 태스크 특성 상 질문과 정답 사이 관계에 따라 난이도 및 일반화 성능 차이가 발생하여, 다양한 유형의 평가말뭉치에서의 평가가 필요함을 확인하였다. Machine reading comprehension (MRC) entails identification of the correct answer in a paragraph when a natural language question and paragraph are provided. Recently, fine-tuning based on a pre-trained language model yields the best performance. In this study, we evaluated the ability of machine-reading comprehension method to generalize question and paragraph pairs, rather than similar training sets. Towards this end, the cross-evaluation between datasets and blind evaluation was performed. The results showed a correlation between generalization performance and datasets such as answer length and overlap ratio between question and paragraph. As a result of blind evaluation, the evaluation dataset with the long answer and low lexical overlap between the questions and paragraphs resulted in less than 80% performance. Finally, the generalized performance of the MRC model under the open domain QA environment was evaluated, and the performance of the MRC using the searched paragraph was found to be degraded. According to the MRC task characteristics, the difficulty and differences in generalization performance depend on the relationship between the question and the answer, suggesting the need for analysis of different evaluation sets.

환자 맞춤형 실시간 뇌졸중 건강관리 시스템

임준호(Joon-Ho Lim),박찬용(Chanyong Park),박수준(Soo-Jun Park),이규철(Kyu-Chul Lee) 한국통신학회 2012 한국통신학회 학술대회논문집 Vol.2012 No.6

사전학습 언어모델의 토큰 단위 문맥 표현을 이용한 한국어 의존 구문분석

임준호(Joon-Ho Lim),김현기(Hyun-ki Kim) 한국정보과학회 2021 정보과학회논문지 Vol.48 No.1

의존 구문분석은 문장 내 단어 사이의 의존관계 및 레이블을 인식하여 문장의 구조적 중의성을 해소하는 문제이다. 사전학습 언어모델 위에 추가적인 순환신경망(RNN)을 적용한 선행 연구들과 달리, 본 논문에서는 사전학습 언어모델의 자가집중 메커니즘을 최대한 활용하기 위하여 사후학습만을 이용한 의존 구문분석 방법을 제안하고, 성능 개선을 위하여 어절 사이의 상대거리 파라미터와 구분자 토큰 활용기법을 제안한다. TTA 표준 가이드라인 세종 구문분석 말뭉치를 평가결과 KorBERT_base 모델은 95.73% UAS, 93.39% LAS를, KorBERT_large 모델은 96.31% UAS, 94.17% LAS를 보였다. 이는 사전학습 언어모델을 사용하지 않은 기존 연구 대비 약 3% 이상의 성능 개선을 보인 결과이다. 다음으로 선행 연구의 어절-형태소 혼합 변환 말뭉치 평가 결과, KorBERT_base 모델은 94.19% UAS, KorBERT_large 모델은 94.76% UAS 성능을 보였다. Dependency parsing is a problem of disambiguating sentence structure by recognizing dependencies and labels between words in sentences. In contrast to previous studies that have applied additional RNNs to the pre-trained language model, this paper proposes a dependency parsing method that uses fine-tuning alone to maximize the self-attention mechanism of the pre-trained language model, and also proposes a technique for using relative distance parameters and SEP tokens. In the results of evaluating the Sejong parsing corpus of TTA standard guidelines, the KorBERT_base model showed 95.73% UAS and 93.39% LAS while the KorBERT_large model showed 96.31% UAS and 94.17% LAS. This represents an improvement of about 3% compared to the results of previous studies that did not use the pre-trained language model. Next, the results of the word-morpheme mixed transformation corpus of the previous study showed that the KorBERT_base model was 94.19% UAS and that the KorBERT_large model was 94.76% UAS.

IoD 환경에서의 키 교환 프로토콜 분석

임준호 ( Joon Ho Lim ),정재열 ( Jae Yeol Jeong ),정익래 ( Ik Rae Jeong ) 한국정보처리학회 2020 한국정보처리학회 학술대회논문집 Vol.27 No.2

드론 기술의 발전은 우리 실생활에서 IoD를 활용한 다양한 서비스 제공을 가능하게 해주었다. IoD 환경을 실질적으로 활용하기 위해서는 드론과 사용자 간의 인증 및 프라이버시 보호가 보장되어야 한다. 본 논문에서는 안전한 드론 운용환경 제공을 위하여 발표된 키 교환 프로토콜들을 분석하여 문제점을 도출하였다. 두 프로토콜 모두 IoD 환경에서 사용자와 드론 간 안전한 키 교환을 목적으로 제안되었으나, 세션키 또는 사용자의 익명 아이디가 노출되어 사용자의 프라이버시가 노출될 수 있다는 문제점과 키 교환 간 사용자의 참여가 요구되어 재해·재난 환경 등 자동화된 프로토콜을 요구하는 실제 환경에 활용되기 부적합하다는 한계를 보여주었다. 따라서 향후 IoD 환경에 적합한 키 교환 프로토콜은 강한 익명성을 동반한 프라이버시 보장뿐 아니라, 드론이 직접 키 교환 요청을 할 수 있어야 한다.

신경망을 이용한 반자동 구문분석 말뭉치 구축도구

임준호(Joon-Ho Lim),곽용재(Yong-Jae Kwak),박소영(So-Young Park),임해창(Hae-Chang Rim) 한국정보과학회 2003 한국정보과학회 학술발표논문집 Vol.30 No.1B

구문분석 말뭉치는 통계적 구문분석 분야의 필수적인 항목으로 많은 유용성을 가지지만, 말뭉치를 구축할 때, 막대한 시간과 비용이 요구되기 때문에 구축자의 수작업을 감소시키는 방법에 대한 연구가 필요하다. 본 논문에서는 대량의 신뢰도 있는 구문분석 말뭉치를 구축하기 위해 신경망을 사용하는 반자동 구문분석 말뭉치 구축도구에 대해서 설명한다. 개발된 도구는 구문패턴 추출, 신경망 학습, 반자동 구축의 세 단계로 구성된다. 구문패턴 추출 단계에서는 사용자가 정의한 자질집합을 사용하여 기존에 구축된 말뭉치에서 구문패턴들을 추출하고, 신경망 학습의 단계에서는 추출된 구문패턴들을 사용하여 신경망을 학습한다. 그리고, 반자동 구축 단계에서는 학습된 신경망을 사용하여 반자동으로 구문분석 말뭉치를 구축한다. 본 논문에서 제안하는 방법은 다양한 자질집합을 조합하여 사용할 수 있고, 학습을 사용하기 때문에 학습 집합에 나타나지 않은 경우에 대해서도 합리적인 결정을 내릴 수 있다. 소량의 구문분석 말뭉치를 대상으로 실험한 결과, 본 논문에서 제안하는 방법이 약 42.5%의 수작업 횟수 감소율을 보였음을 알 수 있었다.

생의학 문헌에서의 관계 정보 추출 시스템

임준호(Joon-Ho Lim),임재수(Jasesoo Lim),장현철(hyunchul Jang),박수준(Soojun Park) 한국HCI학회 2007 한국HCI학회 학술대회 Vol.2007 No.2

Self-Attention 지배소 인식 모델을 이용한 어절 단위 한국어 의존 구문분석

임준호(Joon-Ho Lim),김현기(Hyun-ki Kim) 한국정보과학회 2019 정보과학회논문지 Vol.46 No.1

의존 구문분석은 문장의 구조적 중의성을 해소하는 문제로, 최근 다양한 딥러닝 기술이 적용되어 높은 성능을 보이고 있다. 본 논문은 딥러닝을 이용한 의존구문분석을 크게 3가지 단계로 구분하여 살펴보았다. 첫 번째는 의존 구문분석의 단위가 되는 어절에 대한 벡터 표현 단계, 두 번째는 각 어절의 주위 어절 정보를 반영하는 문맥 반영 단계, 마지막은 문맥 반영된 어절 정보에 기반한 지배소 및 의존관계 인식 단계이다. 본 논문에서는 어절 표현 방법으로 CNN 모델에서 많이 사용하는 max-pooling 방법을 제안하고, 문맥반영을 위하여 LSTM, GRU보다 적은 계산량을 가지는 Minimal-RNN Unit을 적용하였다. 마지막으로 지배소 인식을 위하여 각 어절 사이의 상대 거리 임베딩을 반영한 Self-Attention 지배소 인식 모델을 제안하고, 의존관계 레이블 인식을 위하여 지배소 인식 모델과 동시에 학습을 수행하는 multi-task learning을 적용하였다. 평가를 위하여 세종계획 구구조 구문분석 말뭉치를 TTA 표준 의존 구조 가이드라인에 따라 변환하였고, 실험결과 제안 모델이 UAS 93.38%, LAS 90.42%의 구문분석 정확도를 보였다. Dependency parsing is the problem solving of structural ambiguities of natural language in sentences. Recently, various deep learning techniques have been applied and shown high performance. In this paper, we analyzed deep learning based dependency parsing problem in three stages. The first stage was a representation step for a word (eojeol) that is a unit of dependency parsing. The second stage was a context reflecting step that reflected the surrounding word information for each word. The last stage was the head word and dependency label recognition step. In this paper, we propose the max-pooling method that is widely used in the CNN model for a word representation. Moreover, we apply the Minimal-RNN Unit that has less computational complexity than the LSTM and GRU for contextual representation. Finally, we propose a Self-Attention Head Recognition Model that includes the relative distance embedding between each word for the head word recognition, and applies multi-task learning to the dependency label recognition simultaneously. For the evaluation, the SEJONG phrase-structure parsing corpus was transformed according to the TTA Standard Dependency Guideline. The proposed model showed the accuracy of parsing for UAS 93.38% and LAS 90.42%.

유비쿼터스 헬스 케어를 위한 ISO/IEEE 11073 PHD 표준 기반 홈 헬스 셋탑박스

임준호(Joon-Ho Lim),박찬용(Chan-Yong Park),박수준(Soojun Park) 한국HCI학회 2011 한국HCI학회 학술대회 Vol.2011 No.1

GDPR 준수 가능한 블록체인 기반 접근제어 시스템

임준호(Joon Ho Lim),천지영(Ji Young Chun),노건태(Geontae Noh),정익래(Ik Rae Jeong) 한국정보보호학회 2020 정보보호학회논문지 Vol.30 No.6

블록체인 기술은 탈중앙화된(decentralized) 분산원장(distributed ledger)과 합의 기반 구조를 바탕으로 높은 보안 수준을 제공할 수 있다는 장점이 있다. 이와 같은 블록체인 기술의 활용도 증진을 위해서는 헬스 케어, 전자상거래 등 개인정보 처리가 필요한 분야에서의 활용 방안 모색이 필요하다. 이를 위해서는, 블록체인 기반 시스템에서도 유럽 연합(EU) 개인정보보호 규정(GDPR, General Data Protection Regulation)으로 대표되는 개인정보보호 관련 법규 및 규정을 준수할 수 있어야 한다. 그러나, 블록체인의 자체 특성상 기록된 자료에 대한 불변성과 탈중앙성 때문에 기존 개인정보보호 규정의 요구사항을 블록체인상에서 기술적으로 구현함에 어려움이 있다. 본 논문에서 우리는 카멜레온 해시(chameleon hash)와 속성 기반 암호화(Attribute Based Encryption, 이하 ABE)를 활용하여 GDPR에서 요구하는 개인정보 주체의 권리를 보장 가능한 다중 체인(multi-chain)기반 접근제어 시스템을 제시한다. 끝으로 우리의 시스템에서는 기밀성과 무결성을 유지한 가운데, 개인정보 처리가 가능함을 보안 분석을 통해 보인다. Blockchain technology can provide a high level security based on a decentralized distributed ledger and consensus-based structure. In order to increase the utilization of blockchain technology, it is necessary to find a way to use it in fields that require personal data processing such as health care and e-commerce. To achieve this goal, the blockchain based system should be able to comply with data privacy regulations represented by European Union(EU)’s GDPR(General Data Protection Regulation). However, because of the properties of the blockchain like the immutability and decentralized recorded data, it is difficult to technically implement the requirements of the existing privacy regulations on the blockchain. In this paper, we propose a multi-chain based access control system that can guarantee the rights of the personal data subject required by GDPR by utilizing Chameleon Hash and Attribute Based Encryption (ABE). Finally, we will show through security analysis that our system can handle personal data while maintaining confidentiality and integrity.

분산연산 방식을 이용한 이산시간 Cellular 신경회로망의 하드웨어 구현

박성준,임준호,채수익,Park, Sung-Jun,Lim, Joon-Ho,Chae, Soo-Ik 대한전자공학회 1996 전자공학회논문지-B Vol.b33 No.1

본 논문에서는 이산시간 cellular 신경회로망(DTCNN)의 효율적인 디지털 하드웨어 구조를 제안한다. DTCNN은 셀간의 연결 형태를 결정하는 템플릿(template)내에서 국소적이며 공간 불변적인 특징을 가진다. 이와 같은 DTCNN의 특징과 분산연산 방식을 결합하여 간단한 하드웨어와 적은 연결선으로 DTCNN 하드웨어를 구현하였다. 또한 분산연산의 특징인 비트별 연산 방식을 사용하여 셀 간의 연결을 위한 넓은 버스 폭을 단일 비트로 줄였다. 본 논문에서는 제안한 구조를 프로그래밍이 가능한 FPGA를 사용하여 가변적인 구조를 갖는 DTCNN 보드로 구현하였다. In this paper, we propose an efficient digital architecture for the discrete-time cellular neural networks (DTCNN's). DTCNN's have the locality and the translation invariance in the templates which determine the patterns of the connection between the cells. Using distributed arithmetic (DA) and the characteristics of DTCNN, we propose a simple implementation of DTCNN. The bus width in the cell-to-cell interconnection is reduced to one bit because of DA's bitwise operation. We implemented the reconfigurable architecture of DTCNN using programmable FPGA.