딥러닝 기반 단어 임베딩을 적용한 사진 자막 영작문 채점 시스템

김동성 ( Kim Dongsung ) 대한언어학회 2021 언어학 Vol.29 No.2

Since human grading of English writing requires substantial resources, many researchers in the area of Computer-Assisted Language Learning (CALL) have been focusing on automatic scoring systems based on natural language processing systems, machine learning, and other automatic processing mechanisms. English Testing Services (ETS) announced several automatic scoring systems for English writing. In this paper, we suggest using a deep learning based automatic scoring system for an English caption writing test. Our method involves using a sentence similarity measurement, which compares different levels of answer sentences with user writing input. We chose different word embedding types (Word2Vec, Word Mover‘s Distance (WMD), Bidirectional Encoder Representations from Transformers (BERT)) and Abstract Meaning Representation (AMR), a linguistic model for comparing semantic differences between two sentences based on semantic representation. Scoring systems should not only satisfy the requirements of complicated scoring rubrics but also meet the conditions of a language proficiency test. Our results show that BERT outperforms three competitive models in predicting accurate scoring levels and also shows the characteristics of the criterion reference which could theoretically express the standards of a language proficiency test.

클라우드 컴퓨팅 관련 논문의 서지정보 및 인용정보를 활용한 연구 동향 분석 : 사회 네트워크 분석의 활용

김동성(Dongsung Kim),김종우(Jongwoo Kim) 한국지능정보시스템학회 2014 지능정보연구 Vol.20 No.1

클라우드 컴퓨팅 서비스는 IT 자원을 사용자 요구에 따라 서비스 형태로 제공하며, IT 자원을 소유하는 기존의 개념에서 빌려서 사용하는 개념으로 새로운 IT 패러다임 전환을 이끌고 있다. 이러한 클라우드 컴퓨팅은 과거의 네트워크 컴퓨팅, 유틸리티 컴퓨팅, 서버 기반 컴퓨팅, 그리드 컴퓨팅 등에 대한 연구들을 기반으로 진화해온 IT 서비스로서, 추후 여러분야에 접목 가능성이 높음에 따라 다양한 분야에서의 연구가 지속적으로 이루어지고 있다. 본 연구에서는 1994년부터 2012년까지 주요 해외 저널에 게재된 클라우드 컴퓨팅 관련 연구 논문들의 서지정보 및 인용정보를 수집하였으며, 사회 네트워크 분석 척도를 활용하여 연구 논문간의 인용 관계와 동일 논문에 출현하는 키워드간의 관계로부터 연구 주제들 간 네트워크 변화를 분석하였다. 이를 통해서 클라우드 컴퓨팅 관련 분야의 연구 주제들간의 관계를 파악할 수 있었고, 추후 잠재성이 높은 신규 연구 주제들을 도출하였다. 또한 본 연구에서는 클라우드 컴퓨팅에 대한 연구 동향 맵(research trend map)을 작성하여, 클라우드 컴퓨팅과 관련된 연구 주제들의 동태적인 변화를 확인하였다. 이러한 연구 동향 맵을 통해서 클라우드 컴퓨팅 주요 연구들의 추이를 쉽게 파악 할 수 있으며, 진화 형태 또는 유망 분야를 설명할 수 있다. 논문 인용 관계 분석 결과, 클라우드 컴퓨팅 보안과 분산 처리, 클라우드 컴퓨팅에서의 광네트워크에 관한 연구 논문들이 페이지랭크 척도를 기준으로 상위에 나타났다. 연구 논문의 핵심 주제를 나타내는 키워드에 대한 결과는 2009년에는 클라우드 컴퓨팅과 그리드 컴퓨팅이 높은 중심성 수치를 보였으며, 2010~2011년에는 데이터아웃소싱, 에러검출 방법, 인프라구축 등 주요 클라우드 요소 기술에 관한 키워드가 높은 중심성 수치를 나타내었다. 2012년에는 보안, 가상화, 자원 관리 등이 높은 중심성 수치를 보였으며, 이를 통해서 클라우드 컴퓨팅 기술들에 대한 관심이 점차 증가함을 확인 할 수 있다. 연구 동향 맵 작성 결과, 보안은 유망영역에 위치하고 있으며, 가상화는 유망영역에서 성장 영역으로 이동하였고, 그리드 컴퓨팅과 분산 시스템은 쇠퇴 영역으로 이동하고 있음을 확인 할 수 있다.

프로젝트 구텐베르크를 활용한 텍스트 시각화 및 용례 검색

김동성 ( Kim Dongsung ) 한국언어정보학회 2018 언어와 정보 Vol.22 No.2

This paper is to introduce our approach in seeking Culturomics, where culture, information, and social science studies are converged. Our studies aim to look into dynamic changes of culture, using text retrieval systems and text visualization techniques using big size text data provided by Project Gutenberg. Our role-model, Google books and Google Ngram Viewers, which contain trillions of words, deal with only text visualization based on preprocessed ngram data. In order to show more detailed micro approach, we show text concordance retrieval data together with macro approach of text visualization. Since Project Gutenberg only provides with copy-right free data and the majorities of the data is concentrated between 1880 and 1910, chronological transition of macro approach can be biased solely depending on frequency measurement. Upon such statistical questions, we found out that relative log frequency is very suitable for seeking our goal. (Ewha Womans University)

연관 규칙 마이닝을 이용한 영작문 형태-통사 오류 자동 탐지

김동성(Dongsung Kim) 한국정보과학회 2011 정보과학회논문지 : 소프트웨어 및 응용 Vol.38 No.3

본 연구에서는 일련의 연구에서 수집된 영작문 오류 유형의 정제된 자료를 토대로 연관 규칙을 생성하고, 학습을 통해서 효용성이 검증된 연관 규칙을 활용해서 영작문 데이터의 형태?통사 오류를 자동으로 탐지한다. 영작문 데이터에서 형태?통사 오류를 찾아내는 작업은 많은 시간과 자원이 소요되는 작업이므로 자동화가 필수적이다. 기존의 연구들이 통계적 모델을 활용한 어휘적 오류에 치중하거나 언어 이론적 틀에 근거한 통사 처리에 집중하는 반면에, 본 연구는 데이터 마이닝을 통해서 정제된 데이터에서 연관 규칙을 생성하고 이를 검증한 후 형태·통사 오류를 감지한다. 이전 연구들에서는 이론적 틀에 맞추어진 규칙 생성이나 언어 모델 생성을 위한 대량의 코퍼스 데이터와 같은 다량의 지식 베이스 생성이 필수적인데, 본 연구는 적은 양의 정제된 데이터를 활용한다. 영작문 오류 유형의 형태?통사 연관 규칙을 생성하기 위해서 Apriori 알고리즘을 활용하였다. 알고리즘을 통해서 생성된 연관 규칙 중 잘못된 규칙이 생성될 가능성이 있으므로, 상관성 검정, 코사인 유사도와 같은 규칙 효용성의 통계적 검증을 활용해서 타당한 규칙만을 학습하고 축적된 연관 규칙들을 영작문 오류를 자동으로 탐지하는 실험에 활용하였다. 연구 결과로 형태?통사적 문법 오류를 정확하게 탐지함을 알 수 있다. Since manual error detection of morpho-syntactic errors of English writing requires lots of time and resources, automation of error detection is essential in both Computer-Assisted Language Learning and English learning studies. This approach aims at automatic detection of morpho-syntactic errors of English writing using association rule mining, which needs three steps of procedures. As the first step, we generate association rules based on the refined data. Second, we statistically verify the generated rules. Third, we testify the verified rules on the test data. Previous studies have focused on either word errors based on the language models using large corpora, or the systems very specific to the complex grammatical theories. Meanwhile, this study uses relatively small amount of data. We used the Apriori algorithm for the rule mining task. Since rules generated by the algorithm can contains lots of noise to be reduced, we apply statistical machine learning methods using correlation coefficient and cosine similarity. This process sifts valid mal-rules for the automatic detection tasks from lots of noise.

윤곽 특성을 이용한 방울 크기 검출 방법

김동성(Dongsung Kim) 한국정보과학회 2012 정보과학회논문지 : 소프트웨어 및 응용 Vol.39 No.2

방울(blob) 또는 관심 점(Interest point)의 검출은 컴퓨터 비전과 의료 영상에서 가장 필수적인 모듈 중에 하나이다. 크기(scale)에 둔감하게 방울을 검출 하는 것은 영상 인식, 영상 정합, 그리고 로봇의 위치 추정 등에 사용되어서 많은 연구가 최근까지 이루어지고 있다. 기존 연구 들은 가장 안정적이라는 Normalized Laplacian of Gaussian(NLoG) 방법, 이를 능률적으로 근사화한 Lowe의 Scale Invariant Feature Transform(SIFT), SIFT보다 더 능률적이고 강인하다고 알려진 Speeded Up Robust Features(SURF) 방법, 그리고 가장 최근에 개발된 가장 능률적인 Oriented FAST and Rotated BRIEF(ORB) 등이 근사화를 통해서 능률적인 방울의 검출에 초점을 맞춰서 개발되어서 크기의 정확한 검출은 희생되었다. 하지만 컴퓨터 비전의 많은 영역, 의료 영상진단, 그리고 생체 영상 등에서는 방울의 정확한 크기를 검출하는 것이 중요한 요소가 된다. 따라서 본 논문에서는 능률적이면서 크기 검출을 정확하게 할 수 있는 방울 크기 검출 방법을 제안한다. 제안 하는 방법은 방울을 동심원들로 표현하고 그의 윤곽(profile) 특징을 이용하여 크기를 검출 한다. 제안된 방법은 다양한 크기의 방울들에서 정확하게 그 크기를 추출하고, 영상의 가장자리나 인접한 방울들에서도 강인하게 크기를 검출 할 수 있다. 제안된 방법과 기존 연구 중 대표적인 방법인 SIFT, SURF, 그리고 ORB 방법들에서 사용되는 방울검출 방법들과 비교해서 그 성능의 우수성을 검증했다. Blob detection, or interest point detection, is one of the most essential processes in computer vision and medical imaging. Scale invariant blob detection has been studied intensively because of its wide applications to image recognition, image registration, and robot localization. Previous research, including the most stable Normalized Laplacian of Gaussian (NLoG), Lowe's Scale Invariant Feature Transform (SIFT) approximating NLoG efficently, Speeded Up Robust Features (SURF) outperforming SIFT in terms of speed and robustness, and the recently developed and the most efficient Oriented FAST and Rotated BRIEF (ORB), has focused on improving efficiency with approximation while sacrificing accurate scale detection. However, accurate scale detection is an important aspect in many computer vision applications, medical imaging, and bioimaging. Thus, this paper proposes an efficient and accurate blob detection method. The proposed method models a blob as a grouping of concentric rings and detects a blob scale using a profile of the rings. The proposed method can detect a scale accurately for various scaled blobs, robustly even in the fringe of an image, and precisely in the case such that blobs are located adjacently. In terms of accuracy and robustness, the proposed method outperformed the most renowned blob detection methods used in SIFT, SURF, and ORB.

우리 나라 연안역 생태계의 현황 및 경관생태학적 접근

김동성(Kim, Dongsung),강태욱(Kang, Teawook) 대한토목학회 2016 대한토목학회 학술대회 Vol.2016 No.10

도시형자기부상열차실용화사업의 리스크관리현황

김동성(Dongsung Kim),박성환(Seongwhan Park),백수현(Suhyun Back),정진철(Jincheol Jung),조흥제(Hungje Cho) 한국철도학회 2009 한국철도학회 학술발표대회논문집 Vol.2009 No.11월

KIMM(Korea Institute of Machinery and Materials ) and Hyundai ROTEM have been leading development of the low to medium speed urban transit maglev for the past 20 years. The result of this long term national project is UTM-01 ( Urban Transit Maglev -01 ) in 1998 and UTM-02 in 2006 and the 6.1 km long double track maglev commercialization project in Inchon international airport from 2006 to 2012. In this paper the status of the maglev development in Korea is reported. Design changes from UTM-01 system to that of commercialization project and risk management activity are described.

HTTP Proxy 를 사용한 Cookie 무결성 공격 탐지

김동성(Dongsung Kim),최형기(Hyoung-Kee Choi) 한국통신학회 2017 한국통신학회 학술대회논문집 Vol.2017 No.1

타이젠 용 데스크톱 버스 (D-Bus) 권한 우회 취약점 분석 및 자동 탐지

김동성(Dongsung Kim),최형기(Hyoung-Kee Choi) 한국정보보호학회 2020 정보보호학회논문지 Vol.30 No.6

스마트워치로 대표되는 웨어러블 기기들은 시스템 내에서 민감한 개인정보를 처리하고 저장하기 때문에 높은 보안 기능이 요구된다. 타이젠 운영체제는 애플리케이션에서 특별한 권한을 요구하는 서비스에 접근 시 시스템 데스크톱 버스(D-Bus)를 통하여 요청하는데, 시스템은 해당 애플리케이션의 권한을 검증하여 서비스 접근 허용 여부를 결정한다. 본 논문에서는 타이젠 웨어러블 운영체제의 권한 정책과 접근 제어에 취약한 서비스들을 검출하기 위해 데스크톱 버스 분석 자동화 도구를 소개한다. 자동화 도구는 타이젠 시스템 내 다양한 서비스들에서 권한 검증을 우회할 수 있는 다수의 취약한 호출 메소드들을 발견하였다. 상용 애플리케이션을 제작하여 무선랜 위치 추적, 푸시알림 수집 등 최소 5개의 취약점에 대한 시연을 하였다. Wearable devices, such as a smart watch and a wrist band, store owner’s private information in the devices so that security in a high level is required. Applications developed by third parties in Tizen request for an access to designated services through the desktop bus (D-Bus). The D-Bus verifies application’s privileges to grant the request for an access. We developed a fuzzing tool, so-called DAN (the D-bus ANalyzer), to detect errors in implementations for privilege verifications and access controls within Tizen"s system services. The DAN has found a number of vulnerable services which granted accesses to unauthorized applications. We built a proof-of-concept application based on those findings to demonstrate a bypass in the privilege examination.

수퍼포인트-고해상도신경망; HRNet을 이용한 관심점 검출방법

김동성(Dongsung Kim) 한국정보과학회 2021 정보과학회논문지 Vol.48 No.2

관심자(interest point) 검출방법은 컴퓨터 비젼에서 영상 매칭과 영상 인식에서 기본적으로 사용되는 방법으로 SIFT와 ORB 등이 많이 사용되어 왔다. 관심자는 실제값(ground truth)을 얻는 것이 어렵기 때문에 합성 코너점을 이용한 관심자 의사 실제값을 사용해서 딥 러닝 모델을 학습한 SuperPoint가 개발되어서 컴퓨터 비젼의 고전적인 방법들과 유사한 성능을 보여줬다. 본 논문에서는 관심자 검출에서 가장 중요한 요소인 반복성(repeatability)을 개선하기 위해서 SuperPoint 의 특징 추출에 사용되는 컨볼루션 신경망(Convolutional Neural Network)을 다른 해상도의 활성화 지도들이 상호 보완적인 High Resolution Network(HRN)로 사용하고 관심자 검출 부분을 수정한 SuperPoint-HRN을 개발했다. 제안된 방법을 HPatches 데이터에서 평가하여 SuperPoint 방법보다 관심점의 반복성과 위치 정확도에서 큰 개선을 얻었다. Interest point detector is a fundamental method in computer vision for image matching and image recognition. SIFT, ORB, etc. have been used in many computer vision applications. As acquiring ground truth of interest points is difficult, SuperPoint has been devised to make pseudo ground truth using synthetic corners in training the model. The SuperPoint produced competitive performance to leading conventional computer vision interest point detectors. This paper proposes SuperPoint-High Resolution Network (HRN) to improve repeatability that is one of the most important features in an interest point detector by substituting HRN exchanging information among different resolution activation maps for the shared encoder implemented with a convolutional neural network and by modifying the detector head to accommodate high-resolution activation maps. The proposed method demonstrated immense improvements in HPatches data over the SuperPoint in terms of repeatability and localization errors of interest points.