기계학습: 대용량/패널자료와 학습분석학 자료 분석으로의 활용

유진은 ( Jin Eun Yoo ) 한국교육공학회 2019 교육공학연구 Vol.35 No.S

컴퓨터공학을 비롯한 여러 학문에서 주목을 받고 있는 기계학습 기법은 전자상거래, 유전체학, 자연어 분석, 의료영상처리, 자율주행자동차 등의 다양한 분야에 성공적으로 응용되고 있다. 반면, 기계학습을 이용한 교육 연구는 상대적으로 많지 않으며, 기계학습 자체에 대한 교육 분야 연구자들의 이해 또한 높지 않다. 본 연구는 기계학습의 정의로부터 시작하여 주요 개념인 추론과 예측, 과적합, 편향-분산 상충 관계, 교차검증, 지도학습과 비지도학습 등을 설명하며 기계학습을 전반적으로 개관하였다. 이어서 2019년 현재 교육분야에서 기계학습 기법을 쓴 연구와 학습분석학 자료를 활용한 연구를 정리·분석함으로써, 교육 분야 연구자들의 기계학습에 대한 이해도를 높이고 교육 연구에서 기계학습의 저변을 넓히고자 하였다. 분석 결과, 기계학습 기법 중 지도학습 기법인 벌점회귀모형과 랜덤포레스트가 다양한 교육 대용량/패널 자료 분석에 활용되었으며 비지도학습의 경우 온라인 텍스트 자료 분석 위주로 실시된 것을 확인하였다. 학습분석학 자료의 경우 아직 기계학습 기법이 충분히 활용되지 못한 것으로 보인다. 마지막으로 기계학습을 활용하는 교육 연구의 향후 과제를 교육 대용량/패널자료의 특징과 연계하여 고찰하고, 학습분석학자료 분석과 관련한 기계학습 기법의 활용 방안을 논하였다. Mainly developed in computer engineering/science, machine learning not only has been gaining popularity in academics, but also has been successfully applied to various fields of life including online retail business, genomics/health care, natural language processing, and self-driving cars. Nonetheless, there have been only a handful of machine learning studies in education, and accordingly educational researchers are not well-informed about machine learning. Starting with an overview of machine learning including its definition and key concepts such as prediction and overfitting, this article reviewed machine learning studies in education, which will help improve understanding of and propagate applications of machine learning techniques in the educational research community. Specifically, penalized regression and random forests have been employed to analyze large-scale/panel data as supervised learning, and text mining with LDA (Latent Dirichlet Allocation) has been frequently used as unsupervised learning in the field of education. Applying machine learning techniques to learning analytics data appears to need much improvement. Lastly, future research topics are discussed, particularly for researchers using large-scale/ panel data and learning analytics data.

기계번역 활용 한국어 쓰기 수업에서 나타난 학습자 인식과 번역문의 특징

박수진 한국교양교육학회 2023 교양교육연구 Vol.17 No.3

This study examined how Korean learners perceive machine translation in Korean writing class, what the characteristics of machine-translated texts are, and what patterns appear depending on the level of Korean proficiency. Based on these results, this study aimed to suggest how machine translation in Korean writing class would help both of instructors and students. According to a survey of 77 Korean learners, 96% use machine translation and about 90% find it convenient. For beginners, most used machine translation when translating their native language into Korean, while intermediate and advanced learners used machine translation when translating Korean into their native language. Machine translation was mainly used for learning written language. In the second survey of same population, more than 98% of learners recognized that machine translation was convenient but inaccurate, and 97% required that there would be activities to use machine translation which could also provide feedback during class time. In sum, advanced level learners reviewed and modified machine-translated results more carefully than beginners and intermediate level learners, while beginners reviewed and modified less carefully than intermediate and advanced level learners. Thus based on this study, the teaching and learning methods for using machine translation in the writing class were presented as ‘1) finding problems and correcting one’s own language knowledge through self-correction after using machine translation, 2) discovering the differences between one’s mother tongue and Korean through back-translation activities, 3) discovering and using ways to reduce machine translation errors, where 4) the instructor should guide learners to discover cultural elements and provide explicit feedback., discovering various translations according to translation purpose and intention through cooperative activities.’ 이 연구에서는 한국어 쓰기 교양 수업에서 한국어 학습자들이 기계번역에 대해 어떻게 인식하는지, 기계번역을 활용하여 생성한 번역문의 특징은 어떠한지, 한국어 수준에 따라 어떤 양상이 나타나는지에 대해 살펴보았다. 그리고 이를 바탕으로 기계번역 활용 한국어 쓰기 수업의 교수⋅학습 방안을 제시하였다. 한국어 학습자 77명의 설문 조사 결과, 96%가 번역기를 사용하고 있고 90% 정도가 번역기 사용이편리하다고 하였다. 초급 학습자의 경우, 대다수가 모국어를 한국어로 번역할 때 기계번역을 사용하는 반면에 중급, 고급 수준의 학습자들은 한국어를 모국어로 번역할 때 기계번역을 사용하였다. 주로 문어 학습에 기계번역을 많이 사용하였다. 2차 설문 조사 결과, 98% 이상의 학습자들이 기계번역사용은 편리하나 부정확한 것으로 인식하였고 97%의 학습자들이 수업 시간에 기계번역을 사용하고 피드백하는 활동이 있기를 희망하였다. 초급 수준의 학습자보다 중급 학습자가, 그리고 중급보다 고급학습자가 기계번역 결과물을 더 세밀하게 검토하고 수정하는 것을 알 수 있었다. 초급 학습자들은 자기 수정 빈도가 가장 적게 나타났으며 기계번역 결과를 그대로 수용하는 경향이 강했으며 수정 시 문체에 집중하는 것을 알 수 있었다. 중급 학습자는 자기 수정의 성공률과 실패율이 고급 수준의 학습자와 큰 차이가 나타나지 않았으나 고급 수준의 학습자들은 기계번역 산출물의 대부분을 수정하였고 문장을 재구성하여 의미를 상세히 나타내려고 하였다. 이를 바탕으로 기계번역 활용 수업의 교수⋅학습 방안을 ‘1) 기계번역 활용 후 자기 수정을 통해 문제점을 찾고 자신의 언어지식 수정하기, 2) 역번역활동을 통해 학습자 스스로 모국어와 한국어의 차이 발견하기, 3) 기계번역 오류를 줄이는 방법을 발견하고 사용하기, 이때 4) 교수자는 특히 문화적 요소를 학습자들이 발견하도록 유도하고 명시적 피드백하기, 5) 협력 활동을 통해 번역 목적, 의도에 따른 다양한 번역문 발견하기’로 제시하였다.

학부 러시아어 전공 학습자의 기계번역 사용 양상과 인식

한현희 한국노어노문학회 2023 노어노문학 Vol.35 No.1

본 연구는 러시아어 학습자의 기계번역 사용 양상 및 인식 파악을 목표로 한다. 이를 위해 국내 대학 러시아어 전공 학부생 121명을 대상으로 설문조사를 실시하였고 분석 결과는 다음과 같다. 1) 러시아어 학습자는 기계번역에 대한 의존도가 높다. 2) 러시아어 학습자는 품질상의 이유로 구글번역을 선호하며, 주로 한국어에서 러시아어 방향을 이용한다. 3) 러시아어 학습자는 주로 어휘 및 표현 검색, 문장구조 파악, 내용 보충 순의 목적으로 기계번역을 이용한다. 4) 러시아어 학습자의 기계번역 신뢰도는 5점 기준으로 3.17, 만족도는 3.07로 나타나 평균 이상을 보인다. 5) 러시아어 학습자는 기계번역 사용이 러시아어 실력 향상에 도움이 되며, 기계번역 덕분에 러시아어가 더 쉽게 느껴진다고 여길 뿐만 아니라, 독해 및 작문에 효과적일 것이라고 판단하여 학습 도구로서 기계번역의 효용성을 높이 평가한다. 6) 러시아어 학습자는 전공 수업에서 기계번역의 사용이 필요하고 바람직할 뿐만 아니라 기계번역에 관한 교육이 필요하다고 여겨 교육 도구로서 기계번역의 효용성 또한 높이 평가한다. 7) 러시아어 학습자는 기계번역에 대한 의존성, 품질 검증 불가능, 전공자의 역할 위협 등에 대해 우려한다. 8) 러시아어 학습자는 올바른 기계번역 사용을 위해 이용 시기, 목적, 프리에디팅 및 포스트에디팅, 교정 등 교사의 가이드라인을 필요로 한다. 9) 러시아어 수준이 높을수록 기계번역 덕분에 러시아어가 더 쉽게 느껴지는 것으로 나타나, 학습 도구로서 기계번역의 긍정적 효과를 인정하고 수용하는 정도가 높은 것으로 확인된다. 10) 기계번역을 많이 활용하는 학습자일수록 기계번역에 대한 신뢰도 및 만족도가 높이 나타나며, 기계번역 덕분에 흥미, 난이도 저감, 도움 정도가 높게 나타난다. 아울러 전공 수업 시 기계번역 사용의 필요성 및 타당성에 대해서도 긍정적인 태도를 보여 학습 및 교육 도구로 인지하고 수용하는 정도가 높은 것으로 확인된다. 이상의 분석 결과를 종합해 볼 때 기계번역 기반의 러시아어 전공 수업 커리큘럼 개발이 필요하다.

사용자 건강 상태알림 서비스의 상황인지를 위한 기계학습 모델의 학습 데이터 생성 방법

문종혁,최종선,최재영 한국정보처리학회 2020 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.9 No.1

In the context-aware system, rule-based AI technology has been used in the abstraction process for getting context information. However, the rules are complicated by the diversification of user requirements for the service and also data usage is increased. Therefore, there are some technical limitations to maintain rule-based models and to process unstructured data. To overcome these limitations, many studies have applied machine learning techniques to Context-aware systems. In order to utilize this machine learning-based model in the context-aware system, a management process of periodically injecting training data is required. In the previous study on the machine learning based context awareness system, a series of management processes such as the generation and provision of learning data for operating several machine learning models were considered, but the method was limited to the applied system. In this paper, we propose a training data generating method of a machine learning model to extend the machine learning based context-aware system. The proposed method define the training data generating model that can reflect the requirements of the machine learning models and generate the training data for each machine learning model. In the experiment, the training data generating model is defined based on the training data generating schema of the cardiac status analysis model for older in health status notification service, and the training data is generated by applying the model defined in the real environment of the software. In addition, it shows the process of comparing the accuracy by learning the training data generated in the machine learning model, and applied to verify the validity of the generated learning data. 다양한 분야에서 활용되는 상황인지 시스템은 상황정보를 획득하기 위한 추상화 과정에서 규칙 기반의 인공기능 기술이 기존에 사용되었다. 그러나 서비스에 대한 사용자의 요구사항이 다양해지고 사용되는 데이터의 증대로 규칙이 복잡해지면서 규칙 기반 모델의 유지보수와 비정형 데이터를 처리하는데 어려움이 있다. 이러한 한계점을 극복하기 위해 많은 연구들에서는 상황인지 시스템에 기계학습 기술을 적용하였으며, 이러한 기계학습 기반의 모델을 상황인지 시스템에 사용하기 위해서는 주기적으로 학습 데이터를 제공해야 한다. 이에 기계학습 기반 상황인지 시스템에 대한 선행연구에서는 여러 개의 기계학습 모델을 적용하기 위한 학습 데이터 생성, 제공 등의 과정을 보였으나 제한된 종류의 기계학습 모델만을 적용 가능하여 확장성이 고려되어야 한다. 본 논문은 기계학습 기반의 상황인지 시스템의 확장성을 고려한 기계학습 모델의 학습 데이터 생성 방법을 제안한다. 제안하는 방법은 시스템의 확장성을 고려하여 기계학습 모델의 요구사항을 반영할 수 있는 학습 데이터 생성 모델을 정의하고 학습 데이터 생성 모듈을 바탕으로 각각의 기계학습 모델의 학습 데이터를 생성하는 것이다. 시스템의 확장성의 검증을 위해 실험에서는 노인의 건강 상태 알림 서비스를 위한 심박상태 분석 모델을 대상으로 한 학습데이터 생성 스키마를 기반으로 학습데이터 생성 모델을 정의하고 실환경에서 정의된 모델을 S/W에 적용하여 학습데이터를 생성한다. 또한 생성된 학습데이터의 유효성을 검증하기 위해 사용되는 기계학습 모델에 생성한 학습데이터를 학습시켜 정확도를 비교하는 과정을 보인다.

한국어 학습자의 기계번역 활용 실태 연구

공태수(Kong Tae Soo),백재파(Baek Jae Pa) 학습자중심교과교육학회 2021 학습자중심교과교육연구 Vol.21 No.5

본 연구는 기계번역 활용 한국어 교육 방안 마련을 위하여 한국어 학습자의 기계번역 사용 실태 및 기대를 살펴보는 데 목적이 있다. 이를 위해 2020년 10월 26일 D대학 한국어 교육 과정을 이수하고 있는 초급 및 중급 학습자 216명을 대상으로 설문조사를 실시했다. 조사 결과 학습자들 대다수는 기계번역을 사용하고 있으며, 자주 사용하는 것으로 나타났다. 또한 학습자들은 기계번역을 문어 학습에 많이 활용하고 있었으며 주로 사전 용도로 사용하고 있는 것으로 나타났다. 학습자들은 정확한 결과물을 얻기 위한 노력을 많이 기울이고 있지 않았고, 결과물에 대한 만족도가 크게 높지는 않았다. 나아가 학습자들은 기계번역 활용 한국어 교육이 효과가 있을 것으로 기대하고 있었으며, 특히 쓰기 및 읽기, 어휘 및 문법 학습에 긍정적 효과가 있을 것으로 기대한다고 나타났다. 그리고 이러한 결과를 학습자 변인에 따라 분석하고 이를 바탕으로 기계번역 활용 한국어 교육에 주는 시사점을 구체적으로 논의하였다. The purpose of this study is to investigate the current status and expectations of Korean language learners regarding the use of machine translation for the establishment of methodology in Korean language education using machine translation. For this purpose, a survey was conducted on 216 learners of basic and intermediate levels taking Korean-language education courses at D University. The survey results showed that the majority of learners used machine translation, and their responses indicated that they often used machine translation in their learning. In addition, learners utilized machine translation for learning written language in many cases and mainly used it in the same way as referring to a dictionary. The learners did not put much additional effort toward obtaining accurate results from the use of machine learning, and the level of satisfaction with the output was not particularly high. Furthermore, learners expected that the use of machine translation would be effective for Korean language education, and they expect positive effects in writing and reading and in studies of vocabulary and grammar. Finally, these results were analyzed according to learner variables, and based on the analysis, the implications for the use of machine translation in Korean language education were discussed in detail.

데이터 증강을 통한 기계학습 능력 개선 방법 연구

김태우(Tae-woo Kim),신광성(Kwang-seong Shin) 한국정보통신학회 2021 한국정보통신학회 종합학술대회 논문집 Vol.25 No.1

기계학습을 위한 패턴인식을 위해서는 학습데이터의 양이 많을수록 그 성능이 향상된다. 하지만 일상에서 검출해내야 하는 패턴의 종류 및 정보가 항상 많은 양의 학습데이터를 확보할 수는 없다. 따라서 일반적인 기계학습을 위해 적은 데이터셋을 의미있게 부풀릴 필요가 있다. 본 연구에서는 기계학습을 수행할 수 있도록 데이터를 증강시키는 기법에 관해 연구한다. 적은 데이터셋을 이용하여 기계학습을 수행하는 대표적인 방법이 전이학습(transfer learning) 기법이다. 전이학습은 범용데이터셋으로 기본적인 학습을 수행한 후 목표데이터셋을 최종 단계에 대입함으로써 결과를 얻어내는 방법이다. 본 연구에서는 ImageNet과 같은 범용데이터셋으로 학습시킨 학습모델을 증강된 데이터를 이용하여 특징추출셋으로 사용하여 원하는 패턴에 대한 검출을 수행한다. For pattern recognition for machine learning, the larger the amount of learning data, the better its performance. However, it is not always possible to secure a large amount of learning data with the types and information of patterns that must be detected in daily life. Therefore, it is necessary to significantly inflate a small data set for general machine learning. In this study, we study techniques to augment data so that machine learning can be performed. A representative method of performing machine learning using a small data set is the transfer learning technique. Transfer learning is a method of obtaining a result by performing basic learning with a general-purpose data set and then substituting the target data set into the final stage. In this study, a learning model trained with a general-purpose data set such as ImageNet is used as a feature extraction set using augmented data to detect a desired pattern.

기계 학습 기법을 활용한 수해폐기물 발생량 예측 모형 개발

박만호 ( Man Ho Park ),김재영 ( Jae Young Kim ) 한국폐기물자원순환학회(구 한국폐기물학회) 2021 한국폐기물자원순환학회 춘계학술발표논문집 Vol.2021 No.-

수해 현장에서 다량으로 발생하는 수해폐기물은 재난 복구 작업을 지연시키며 2차 환경 오염을 유발할 수 있어 신속한 수거 및 처리가 필요하다. 지역 단위로 수해폐기물 발생량을 예측하는 것은 폐기물 수거 및 처리 업무에 필요한 자원을 배정하기 위해 중요하다. 선형 회귀 모형에 기반한 여러 수해폐기물 예측 방법론이 전통적으로 검토되어 왔으나 수해폐기물 발생이 비선형적 특성을 가질 수 있음을 고려하여 새로운 형태의 비선형 모형을 수해폐기물 예측 모형 개발에 도입할 필요가 있다. 본 연구에서는 기계 학습 기법을 이용한 수해폐기물 회귀모형 개발을 시도하였고 기계학습 모형의 예측 성능을 평가하였다. 2008년부터 2017년까지 국내 수해폐기물 발생 사례 90건 중 72건을 모형 학습용 자료로, 18건을 학습된 모형의 성능을 평가하기 위한 자료로 활용하여 수해폐기물 발생이 기계학습 기법을 통해 학습 가능한 문제인지 살피고, 학습하지 않은 사례에 대해 일반화가 가능한지를 살펴보았다. 기계학습 모형의 설계 인자인 하이퍼 파라미터는 keras tuner를 활용하여 최적화하였다. 입력 변수로는 수해 유형 및 피해 관련 데이터 8종류, 지역 특성 관련 자료 10종류, 강우 및 바람 등 기상 관련 자료 4종류로 총 22가지가 활용되었다. 학습 자료와 평가 자료를 분할할 때 여러 가지 경우의 수가 존재할 수 있어 자료 분할 및 학습을 총 20번 각각 시행하였다. 그 결과, 기계학습 모형은 수해폐기물 발생량을 학습 자료에 대해 r²= 0.58 ± 0.06 수준으로 잘 예측하였으나 평가 자료에 대해서는 r² = 0.33 ± 0.18 수준으로 예측 성능에 한계가 있는 것으로 드러났다. 이를 정리하면, 기계 학습 방법은 현 수준의 수해폐기물 발생량 자료로부터 경향성을 학습할 수는 있지만 아직 학습 자료 외의 사건까지 일반화하기에는 조금 부족함이 있어 보인다. 추가적인 자료 확보 등을 통해 학습 모형을 더욱 개선할 필요가 있다.

개인정보가 보호되는 동형암호기반 금융데이터분석

천정희,어윤희,김재윤 한국금융정보학회 2018 금융정보연구 Vol.7 No.1

Recently, as machine learning research has been developed, big data analysis gets the limelight. This is because of the increased network connectivity which makes it possible to collect vast amounts of high-quality data as the ingredients of machine learning. Data including sensitive privacy from multiple institutes should be merged and utilized for effective machine learning, but the process can cause a critical problem of private data leakage. This work proposes ‘Homomorphic Machine Learning’ as an information technology solution for a contradiction problem between preserving privacy and making full use of data, which performs machine learning with encrypted data without decryption. Homomorphic encryption is cutting-edge cryptographic technology which enables any operations on computers with encrypted data. It is secure against quantum computer attack. In the situation of data analysis with sensitive private data using homomorphic encryption, machine learning can be performed with no worry of privacy leakage or data loss. Specifically, this work introduces concepts of homomorphic encryption and machine learning with minimal mathematical description for understanding homomorphic machine learning. Also, based on recent works, we investigate possibility of commercialization by analyzing effectiveness of homomorphic encryption which is major obstacle for commercialization. Credit rating requires analysis of private data. As major application, this work shows process of calculating credit rating from encrypted private data without danger of private data leakage. 최근 기계학습(machine learning) 기술의 발전으로 빅데이터 분석이 각광을 받고 있다. 네트워크 연결성의증대로 방대한 양의 데이터의 수집이 가능해지면서 기계학습 기술에 기반이 되는 양질의 빅데이터 수집이용이해진 까닭이다. 기계학습이 효과적이려면 이종기관에서 수집된 데이터들을 민감한 개인정보를 포함하여병합하고 활용하여야 하는데 이 과정에서 개인정보유출의 문제가 심각하게 대두되고 있다. 본고에서는 개인정보보호와 빅데이터 활용이라는 상충된 목표를 달성할 수 있는 정보기술적 해법으로 암호화된데이터상에서 복호화 없이 기계학습을 수행하는 동형기계학습(homomorphic machine learning) 기술을 소개한다. 동형암호(homomorphic encryption)는 평문을 암호화한 상태에서도 복호화 없이 컴퓨터가 수행하는 모든계산이 가능한 암호기술로서 특히 양자컴퓨터 시대에도 안전한 최신암호기술이다. 동형암호기술을 적용하면민감한 개인정보를 포함한 데이터분석에서도 개인정보 유출이나 데이터손실 없이 기계학습을 수행할 수 있다. 구체적으로는 동형기계학습의 포괄적 이해를 위해 동형암호와 기계학습 기술을 최소한의 수학적 묘사로 개념적으로 소개하도록 한다. 또한 최근 연구결과들을 토대로 실용화에 가장 큰 걸림돌로 여겨지고 있는 동형기계학습의효율성을 분석하여 실용화 가능성을 타진해본다. 또한 민감한 개인정보를 기반으로 한 데이터분석이 필요한대표적 사례로 신용정보계산에 이를 적용하여 암호화된 개인정보를 기반으로 개인정보 유출의 위험 없이신용점수를 계산하는 과정을 제시한다.

기계학습 기법을 활용한 플립러닝 강좌의 LMS 로그파일 분석 사례 연구

유진은(Jin Eun Yoo) 한국열린교육학회 2020 열린교육연구 Vol.28 No.5

COVID-19 사태로 원격 수업은 이미 전세계적인 현상이 되며 온라인 자료를 활용한 학습분석학 연구의 중요성이 한층 더 강조되고 있다. 이러한 시대에 기계학습 기법을 활용하여 LMS (learning management system) 로그파일과 같은 빅데이터를 분석함으로써 학습자의 성공을 위한 예측모형을 구축할 필요가 있다. 온라인 학습에서 특히 자기조절학습이 중시되며 총 로그인 횟수 또는 평균 접속 시간과 같은 집계 변수(aggregate variable)로 모형에 활용되어 왔는데, 실제 학습시점에서의 자기조절학습 관련 변수를 측정하고 모형화할 필요가 있다. 본 연구의 목적은 플립러닝으로 이루어진 대학원 ‘기초통계’ 수업에서 학습자의 강의동영상 시청 양상을 파악하고, 기계학습 기법을 활용하여 학업성취도를 예측하는 변수를 탐색하는 것이었다. LMS 로그파일로부터 수업 전후 동영상 시청 빈도를 추출하고 학습자 배경 변수와 병합한 후 100개 설명변수를 활용하여 학업성취도 예측모형을 구축하였다. 본 연구는 기계학습 기법 중 벌점회귀모형으로 분류되는 Enet(elastic net)을 활용함으로써 상대적으로 해석하기 쉬운 예측모형을 도출하였다. 기존 연구 방식으로는 중간고사 또는 적어도 쪽지시험과 같은 평가 후에야 학습자의 수준을 가늠할 수 있었던 반면, 본 연구는 평가 자료 없이도 빠르게는 2~3주차부터 성취도를 예측하는 변수를 파악할 수 있었다. 사전학습 과제였던 조별 질문 생성이 학습자들의 사전학습을 효과적으로 촉진하였다는 것 또한 확인할 수 있었다. 단, 학습자의 배경지식이 깊지 않고 내용 자체가 어려운 강좌의 경우 무작정 강의동영상을 많이 보라고 학습자들을 독려하는 것이 적절하지 않을 수 있다. 대학원 수준 통계와 같은 상대적으로 어려운 강좌에서 플립러닝을 효과적으로 적용할 수 있는 방안 및 다양한 배경변인 및 학습 관련 변인을 수집하고 모형에서 활용하는 방안 등을 후속 연구과제로 논하였다. The Learning Management System (LMS) provides big data for analysis with machine learning techniques to create prediction models for student success. In particular, self-regulated learning has been emphasized in online learning, and measured as login frequencies or login time. However, aggregate variables such as total login frequencies or average login time have been typically utilized, mainly due to analytical limitations of conventional techniques. More detailed indicators of self-regulated learning such as students’ watching frequencies of online lectures before and after each class need to be measured and modeled to predict students’ academic success via machine learning. This study aimed at exploring important variables for the prediction model as well as capturing students’ watching behaviors of online lectures. Students’ watching frequencies were coded using LMS log data from a graduate-level flipped classroom (FC). Combined with students’ background information, the final data for analysis consisted of 100 predictors in a course on introductory statistics. Enet (penalized regression) was employed among machine learning techniques mainly due to its interpretability. Without a quiz or an exam, the frequencies of video watching were important variables to predict students’ academic achievement as early as the first 2~3 weeks of the course. However, merely watching the instructional videos repeatedly did not contribute to students’ academic success. Further studies are warranted on designing effective FC with heavily loaded courses covering unfamiliar content as well as collecting and modeling other important study-related or background information variables relevant to students’ academic success in FC.

회계이익예측을 위한 기계학습 성과 비교

정우준 한국세무학회 2019 세무와 회계저널 Vol.20 No.6

Many predict that the fourth industrial revolution will be triggered by the emergence of big data and machine learning(or artificial intelligence). In this context, big data is often likened to crude oil and machine learning is likened to the crude oil processing technology, and the concept of data science has also emerged, referring to scientific methodologies or processes that extract useful information for decision-making. In order to cope with such a trend, even in the field of accounting, researchers are struggling to introduce big data and artificial intelligence, but there are not many studies yet. In particular, it is difficult to find studies related to them in Korea. There have been enough studies that accounting earnings have the information contents that makes a difference in accounting information users’ decision making as a fundamental variable that determines the firm’s value. However, many studies have not been conducted that relate to the development of a predictive accounting earnings forecasting model. In this study, the accounting earnings forecasting model developed in the previous study was reinterpreted in the context of machine learning, and compared its performance with the predictive(machine learning) models known to represent further higher predictive performance to examine the possibility of introducing machine learning techniques in forecasting accounting earnings. To achieve the objective of this study, all 152 financial ratios for closing corporations in December were extracted and utilized from 2009 to 2018 among KOSPI companies belonging to the manufacturing sector provided by TS2000 of the Korea Listed Companies Association. This study reinterpret the findings of Ou and Penman(1989) that used the logistic model basically in the context of machine learning, and the predictability of these techniques was compared by adding the most commonly used models such as tree model, random forest model, and boosting method. As a result of this studies, the predictability difference between the models are statistically significant in overall, and the boosting technique with the highest predictive performance has about 10% higher predictive power than tree model that has lowest predictive power. These results are meaningful in that it is possible to provide more accurate accounting earnings forecast information using machine learning techniques, and it is expected this research to be the basis for the study using machine learning in various accounting research fields other than accounting earnings forecasting. 빅데이터와 기계학습 또는 인공지능의 대두로 4차 산업혁명이 촉발될 것으로 예견되고 있다. 이런 맥락에서 빅데이터는 원유로, 기계학습 등은 이 원유를 가공하는 기술로 비유되기도 하며, 의사결정에 유용한 정보를 추출하는 과학적 방법론 또는 프로세스를 지칭하는 데이터 과학이라는 개념도 등장하였다. 이와 같은 흐름에 대응하고자 회계학계에서도 빅데이터와 인공지능 등의 도입에 고심하고 있으나 아직 많은 연구가 이루어지지는 않은 것으로 파악된다. 특히, 국내에서는 이와 관련된 연구는 찾아보기 어려운 것이 현실이다. 회계이익이 기업가치를 결정하는 근본 변수로써 회계정보이용자의 의사결정에 차이를 가져오는 정보력을 가진다는 연구는 충분히 이루어졌으나 예측 성능이 좋은 회계이익예측 모형의 개발과 관련된 연구는 많이 이루어지지 않은 것으로 판단된다. 본 연구에서는 기존에 개발된 회계이익예측 모형을 기계학습 맥락에서 재해석하고, 추가로 보다 높은 예측 성능을 나타낸다고 알려져 있는 예측 모형들과 그 성과를 비교하여 회계이익예측에 기계학습 기법의 도입 가능성을 검토하였다. 본 연구의 목적을 달성하기 위해 제조업에 속하는 KOSPI 상장 기업 중 12월 결산 법인에 대한 재무비율을 추출하여 활용하였다. 로지스틱 모형에 기반한 Ou and Penman(1989)의 연구 내용을 바탕으로 이를 기계학습 기법으로 재해석한 모형을 기준으로 하고, 기계학습에 가장 일반적으로 사용되고 있는 나무 모형, 랜덤포레스트 모형, 부스팅 기법을 추가하여 이들의 예측성과를 비교하였다. 연구의 결과, 모형들간 예측성과 차이가 전반적으로 통계적 유의성을 가지며, 가장 높은 예측 성능을 나타낸 부스팅 기법을 이용한 경우 가장 낮은 예측력을 보이는 나무 모형에 비하여 약 10% 정도 더 높은 예측력을 갖는 것으로 나타났다. 이와 같은 결과는 보다 정확한 회계이익예측 정보를 기계학습 기법을 활용하여 제공할 수 있다는 의의가 있으며, 회계이익예측 이외의 다양한 분야에서도 기계학습을 활용한 연구의 토대가 되기를 기대한다.