한국어의 어순 구조를 고려한 Two-Path 언어모델링

신중휘,박재현,이정태,임해창,Shin, Joong-Hwi,Park, Jae-Hyun,Lee, Jung-Tae,Rim, Hae-Chang 한국음향학회 2008 韓國音響學會誌 Vol.27 No.8

The n-gram model is appropriate for languages, such as English, in which the word-order is grammatically rigid. However, it is not suitable for Korean in which the word-order is relatively free. Previous work proposed a twoply HMM that reflected the characteristics of Korean but failed to reflect word-order structures among words. In this paper, we define a new segment unit which combines two words in order to reflect the characteristic of word-order among adjacent words that appear in verbal morphemes. Moreover, we propose a two-path language model that estimates probabilities depending on the context based on the proposed segment unit. Experimental results show that the proposed two-path language model yields 25.68% perplexity improvement compared to the previous Korean language models and reduces 94.03% perplexity for the prediction of verbal morphemes where words are combined. n-gram 모델은 영어와 같이 어순이 문법적으로 제약을 받는 언어에 적합하다. 그러나 어순이 비교적 자유로운 한국어에는 적합하지 않다. 기존 연구는 어절 간 어순의 고려가 어려운 한국어의 특성을 반영한 twoply HMM을 제안했으나, 인접 어절 간 어순 구조를 반영하지 못하였다. 본 논문에서는 용언형태소 사이에 나타나는 인접 어절 간에 어순 특성을 반영하기 위해 두 어절을 결합하는 세그먼트 단위를 정의하고, 제안한 세그먼트 단위에서 문맥에 따라 확률을 달리 추정하는 two-path 언어모델을 제안한다. 그 결과 기존 한국어 언어모델에 비해 제안하는 two-path 언어모델은 기존 연구보다 25.68% 혼잡도를 줄였으며, 어절 간에 결합이 일어나는 경계인 용언형태소에서는 94.03%의 혼잡도를 줄였다.

기계번역 기술의 이해와 발전

신중휘 한국프랑스어문교육학회 2021 한국프랑스어문교육학회 학술대회자료집 Vol.2021 No.-

다중비교 인과포레스트를 활용한 대학입학전형에 따른 대학생활 성과 분석

신중휘(Junghwi Shin),박현정(Hyun-Jeong Park),백수진(Sujin Baeg) 한국교육평가학회 2024 교육평가연구 Vol.37 No.1

이 연구의 목적은 각 대학입학전형이 각 대학에서 성공적으로 학업을 수행할 수 있는 학생을 선발하는 기능을 얼마나 잘 수행하고 있는지 평가하는 것이다. 이에 따라, 이 연구는 한국교육종단연구 2013 조사 자료 8차년도(’20년)~9차년도(’21년) 자료(N=2,011)를 활용하여 대학입학전형(학생부 종합, 학생부 교과, 수능 위주)에 따른 대학생활 성과(소속감, 적응도, 대학 재선택 의향, 전공 재선택 의향, 평점 평균)를 분석하였다. 또, 개인 및 배경 특성 변인, 대학 및 전공 특성 변인에 따라 각 대입전형의 효과가 이질적일 수 있다고 가정하여, 조건부평균처치효과(CATE)를 추정하는 머신러닝 기법인 다중비교 인과포레스트(Athey, Tibshirani, & Wager, 2019)를 활용하였다. 분석결과, 학생부 종합전형을 통한 입학생이 평균처치효과의 관점에서 가장 우수한 대학생활 성과를 보이고 있었다. 또한, 부모소득 및 부모학력, (개인 및 대학평균)고교 학업성취 수준이 대학생활 성과에 대한 이질적 처치효과를 예측하는 주요한 조건화 변인임을 알 수 있는데, 학생부 종합전형의 효과보다는 수능 위주 전형의 학생부 교과 전형 대비 효과가 주요 조건화 변인의 값에 따라 달라지는 양상이 두드러졌다. 이를 바탕으로 연구 결과 해석상의 주의점과 후속 연구 방향에 대해 제언하였다. Over the years, university admission types have primarily been the subject of social discussions on the dimension of fairness. However, considering the original purpose of university admissions system, it is also crucial to evaluate how well each type performs in selecting students who can successfully navigate academic life at each university. Accordingly, this study aimed to analyze the university life outcomes (sense of belonging, adaptability, intention to reselect the university, intention to reselect the major, GPA) according to different university admissions types: the admission officer(AO) system, high school grade-focused(HSG) selection system, and College Scholastic Ability Test-focused(CSAT) selection system, using the data from the Korea Education Longitudinal Study(KELS) 2013 collected in ’20~’21(N=2,011). Assuming the effects may vary according to the baseline characteristics, the study employs the Conditional Average Treatment Effects (CATE) perspective through the Multi-arm Causal Forest technique(Athey, Tibshirani, & Wager, 2019). The main findings are summarized as follows: First, on average, students admitted through AO system exhibit superior outcomes across all considered aspects of college life, with a notable emphasis on higher intentions to reselect both the university and major. Second, it appears that parental income and education, high school academic achievement levels and their university-level average were significant conditioning variables predicting heterogeneous treatment effects on college life outcomes. Last, the effect heterogeneity of CSAT system, depending on the values of major conditioning variables, was more prominent compared to that of AO system. Based on these findings, suggestions for interpreting the research results and directions for future studies were provided.

사교육 참여 여부 및 시간이 중학생의 학업스트레스에 미치는 영향

변상민(卞相?),신중휘(愼重輝),양준혁(梁峻赫) 서울대학교 교육연구소 2018 아시아교육연구 Vol.19 No.4

본 연구는 사교육 참여 여부 및 시간이 중학생의 학업스트레스에 미치는 영향을 밝히고자 하였다. 사전 공변인으로 인한 선택편의를 통제하여 변인 간 관계를 인과추론의 관점에서 분석하기 위해 경향점수 방법을 활용하였으며, 특히 사교육 참여모형과 사교육 시간모형에 각각 이분형 처치, 연속형 처치 경향점수 모형을 적용하였다. 분석에는 경기교육종단연구(GEPS)의 4차 및 5차년도 중학교 자료를 활용하였다. 주요 연구결과는 다음과 같다. 첫째, 사교육 참여 모형의 경우, 사전 공변인의 영향력을 통제한 이후에도 사교육에 참여하는 학생이 그렇지 않은 학생에 비해 학업스트레스를 더 많이 받는 것으로 나타났다. 둘째, 선택편의를 조정한 후에도 사교육에 더 많은 시간을 할애할수록 학업스트레스가 증가하는 것으로 나타났다. 셋째, 두 모형에서 모두 가중치를 통해 선택편의를 통제하자 사교육 참여 여부와 시간 표준화 효과 크기는 약 절반 정도로 감소하였다. 이러한 결과는 학업스트레스가 사교육과 청소년의 정서의 관계를 매개하는 주요 변인일 수 있음을 시사한다. 향후 정의적 영역의 관점에서 사교육의 영향에 관한 연구가 수행될 필요가 있으며 이 연구가 후속 연구의 밑바탕이 될 수 있을 것으로 기대된다. The purpose of this study is to analyze the effect of private tutoring participation and time on middle school students’ academic stress using the 4th and 5th data from GEPS(Gyeonggi Educational Panel Study). In order to estimate the relationship between variables in terms of causal inference, the propensity score method for reducing selection bias was used as inverse probability of treatment weighting(IPTW). We employed a binary treatment and a continuous treatment model for private tutoring participation and time, respectively. Firstly, participation in private tutoring was found to increase students’ academic stress. Secondly, the more time students spend in private tutoring, the more stress students tend to perceive. Thirdly, adjusting selection bias with weights, standardized effects were reduced by about half in both models. These findings imply that academic stress could be a major factor mediating the private tutoring and students’ negative emotionality. In addition, studies on private tutoring in terms of the affective domain need to be implemented. It is expected that this study provides foundation for follow-up studies.

한국 학생들의 학업탄력성 추세 분석 및 영향요인에 대한 랜덤포레스트 분석

박현정,신중휘 서울대학교 교육연구소 2022 아시아교육연구 Vol.23 No.3

최근 교육격차의 심화에 대한 우려가 반복적으로 제기되고 있다. 이에 따라, 이 연구는 교육격차의 상대적·절대적 측면에 대응될 수 있는 두 유형의 학업탄력성, 즉 국가적 학업탄력성과 핵심기술(Core Skills) 학업탄력성의 추세를 살펴보고, 그중 특히 주목할 필요가 있는 학업탄력성 유형을 중심으로 주요 영향요인을 도출하고자 하였다. 또한, 이 연구에서는 학업탄력성의 정의에 최근 중요성이 증대되는 ICT 역량 또한 고려하고자 하였다. PISA 2006~2018 자료를 통해 수행한 추세분석결과, 한국 학생들의 상대적 교육격차는 다소 일정하게 유지되고 있으나, 불리한 배경의 학생 중 사회에 성공적으로 진입하기 위한 역량 수준을 갖춘 비율은 상당 수준 하락하였다. 이에 따라, PISA 2018 자료를 통해 핵심기술 학업탄력성에 대한 영향요인 분석을 수행하였다. 사회경제적으로 불리한 학생들과 그렇지 않은 학생들 표본에서 핵심기술 달성을 예측하는 랜덤포레스트 모형을 각각 적용하고, 중요도 상위 변수 목록을 비교하였다. 그 결과, 학교에 대한 소속감 및 숙달동기 학교평균과 같은 학교수준 영향요인, 회복탄력성 및 성취목표지향성과 같은 학생수준 영향요인을 도출하였다. 이를 바탕으로 한국 교육의 질 제고와 형평성 확보 노력에 대하여 제언하였다.

다양한 언어적 자질을 고려한 발화간 유사도 측정 방법

이연수,신중휘,홍금원,송영인,이도길,임해창,Lee, Yeon-Su,Shin, Joong-Hwi,Hong, Gum-Won,Song, Young-In,Lee, Do-Gil,Rim, Hae-Chang 한국음향학회 2009 韓國音響學會誌 Vol.28 No.1

본 연구는 예제 기반 대화 시스템에서 응답을 결정하기 위한 핵심 요소 기술 중 하나인 발차간 유사도 측정 방법의 개선에 대해 논한다. 일반적인 문장간 유사도 측정과는 달리, 대화에서 발차간 유사도 측정은 단어 분포간 유사도 뿐만 아니라, 문형, 시제, 긍/부정, 양태등 대화 자연스러움을 결정하는 문장의 다양한 언어적 요소 역시 중요하게 고려되어야 한다. 그러나 기존 연구에서는 이에 대한 고려가 부족 했던 것이 사실이며, 따라서 본 연구에서는 개선 방안으로서 발화의 형태적 유사성 뿐 아니라 다양한 언어적 자질들을 분석하고 이를 유사도 측정에 반영하여 정확도를 향상시키는 새로운 유사도 측정 방법을 제안한다. 또한, 발차의 자질별 유사도를 고려함으로써, 한정된 수의 예제들의 활용도를 높일 수 있는 방법을 제안하였다. 실험 결과 제안하는 방법이 기존 방식에 비해 10%p 이상 정확도 성능 향상이 있었다. This paper presents an improved method measuring inter-utterance similarity in an example-based dialogue system, which searches the most similar utterance in a dialogue database to generate a response to a given user utterance. Unlike general inter-sentence similarity measures, the inter-utterance similarity measure for example-based dialogue system should consider not only word distribution but also various linguistic features, such as affirmation/negation, tense, modality, sentence type, which affects the natural conversation. However, previous approaches do not sufficiently reflect these features. This paper proposes a new utterance similarity measure by analyzing and reflecting various linguistic features to improve performance in accuracy. Also, by considering substitutability of the features, the proposed method can utilize limited number of examples. Experimental results show that the proposed method achieves 10%p improvement in accuracy compared to the previous method.

청소년기 학업 스트레스 종단적 변화유형 및 예측변인 분석: 성장혼합 모형과 SEM Tree 기법의 비교를 중심으로

백수진,박현정,신중휘 서울대학교 교육연구소 2023 아시아교육연구 Vol.24 No.4

한국 학생들은 국제적으로 우수한 학업성취를 보이는 것으로 잘 알려져 있다. 하지만, 학업성취를 강조하는 사회·문화적 환경에서 학업 스트레스가 높다는 지적도 반복적으로 제기되고 있다. 개인 및 환경 특성에 따라 학업 스트레스 수준이 달라질 수 있지만, 학업 스트레스를 종단적 변화 유형의 관점에서 바라본 연구는 상대적으로 제한적이다. 이러한 문제의식을 바탕으로, 이 연구에서는 청소년기 학업 스트레스의 종단적 변화유형을 분류하고, 이를 예측하는 변인을 분석하였다. 이를 위해 경기도교육연구원의 경기교육종단연구(GEPS) 4차년도(중1)부터 8차년도(고2)까지 데이터를 사용하여 성장혼합모형과 SEM Tree를 적용하였다. 분석 결과, 성장혼합모형과 SEM Tree 모두 4개의 변화유형 집단을 도출하였으나 분류된 집단마다 종단적 변화의 구체적인 양상은 상이하였다. 성장혼합모형 기반 변화유형 집단의 예측변인은 우울, 학업성취 압력, 학업적 자기효능감, 사교육 참여시간, 학업 성취도였으며, SEM Tree 기반 변화유형 집단의 예측변인은 학업성취 압력와 학업성취도였다. 두 분석 기법의 결과를 바탕으로 시사점을 도출하고, 후속 연구 방향에 대해 제언하였다. Korean students are well known for their excellent academic achievements internationally. However, it is repeatedly pointed out that Korean students have high academic stress due to the socio-cultural environment that emphasizes academic achievement. Although many previous studies have pointed out that academic stress may vary depending on individual and environmental characteristics, studies with the perspective of types of longitudinal changes in academic stress are relatively limited. Accordingly, this study classified longitudinal changes in adolescent academic stress and analyzed variables that predict it. To this end, the growth mixture model and SEM Tree were applied using data from the 4th to 8th years of the Gyeonggi Education Panel Study (GEPS). As a result of the analysis, four types of change groups were derived for both the growth mixture model and the SEM Tree, but the specific aspects of the longitudinal changes of the classified groups were different. The predictors of the growth mixture model-based change type group were depression, academic achievement pressure, academic self-efficacy, private education participation time, and academic achievement. In contrast, the predictors of the SEM Tree-based change type group were academic achievement pressure and academic achievement. The analysis results of the two analysis techniques were compared to derive implications and suggest directions for subsequent research.

고등학생의 수학 및 영어 성취도에 대한 방과후학교 참여의 성취수준별 효과 분석 : 지역과 학교 특성에 따른 차별적 효과를 중심으로

변상민(Sangmin Byeon),신중휘(Junghwi Shin) 서울대학교 교육종합연구원 2022 The SNU Journal of Education Research Vol.31 No.1

이 연구는 방과후학교 참여가 고등학생의 수학 및 영어 성취도에 미치는 성취수준별 효과를 분석하였으며, 동시에 이러한 효과가 지역 및 학교 특성에 따라 차별적으로 나타나는지 검증하였다. 이를 위해 국가수준 학업성취도 평가의 중학교 및 고등학교 연계자료를 활용한 다층모형을 설정하였다. 연구 결과, 첫째, 개인변수를 통제한 이후, 두 교과 모두 방과후학교 참여가 정적 효과를 보였다. 둘째, 지역에 따라서는 대도시일수록 방과후학교 참여의 효과가 크게 나타났다. 셋째, 읍면지역에서는 성취수준이 높을수록 방과후학교 참여가 정적 효과를 보였다. 넷째, ‘기초미달’ 학생들의 경우 소속학교의 방과후학교 참여율이 높을수록 방과후학교 참여의 효과가 배가되는 것으로 나타났다. 이러한 결과는 방과후학교 정책이 중소도시와 대도시에서는 ‘기초미달’ 집단에 대한 학업성취 향상이라는 목표를 일정 정도 달성하고 있음을 시사한다. 마지막으로, 방과후학교 참여율을 높이되 근본적으로 방과후학교 자체의 질을 높이기 위한 정책 및 단위 학교의 노력이 필요함을 제언하였다. This study analyzed achievement-level specific effect of the After-School Program(ASP) on high school students Math and English achievement and verified that the effect differed by region and school characteristics. To this end, a multilevel model was established using middle and high school data from the national-level academic achievement assessment. As a result, first, after controlling individual variables, ASPs showed positive effects in both subjects. Second, the effect was greater in large cities. Third, considering the region and achievement level simultaneously, the higher the achievement level in rural areas, the stronger positive effect the program showed. Fourth, in schools with high ASP participation rates, the program showed the positive effect for underachieved students. These results may imply that the ASP policy achieved its goal to some extent for the underachieved students in large cities. We suggest that further efforts in each school are required to increase the ASP participation rate and fundamentally improve the quality.

대화시스템의 로그를 이용한 대화예제의 자동 확충에 관한 연구

홍금원(Gumwon Hong),이정훈(Jeong-Hoon Lee),신중휘(Jung-Hwi Shin),이도길(Do-Gil Lee),임해창(Hae-Chang Rim) 한국HCI학회 2009 한국HCI학회 학술대회 Vol.2009 No.2

본 논문은 예제기반 대화시스템의 대화 로그를 분석하여 새로운 대화예제를 자동으로 확충하는 방법에 대해서 논한다. 전통적인 예제기반 대화 시스템에서는 사용자와 챗봇(chatbot)간의 대화예제를 수작업으로 구축 하기 때문에 많은 시간과 비용이 소요되는 단점을 가지고 있다. 대화 로그는 대화 시스템의 서비스가 지속되는 한 끊임없이 생성이 되며, 시간이 지날수록 풍부하고 다양한 대화예제를 획득할 수 있다는 장점을 갖는다. 본 논문은 대화로그로부터 자연스러운 발화쌍을 분류하고, 분류된 발화쌍을 대화예제로 추가하는 방법을 제안한다. 최대 엔트로피모형을 사용한 실험의 결과, 자연스러운 발화를 결정하기 위해서는 발화의 어휘, 품사, 양태와 같은 자질이 유용하게 사용될 수 있음을 관찰하였고, 수작업 구축에만 의존하던 대화예제가 대화 로그를 사용하여 자동으로 확충될 수 있음을 확인하였다. This paper studies an automatic expansion of dialogue examples using the logs of an example-based dialogue system. Conventional approaches to example-based dialogue system manually construct dialogue examples between humans and a Chatbot, which are labor intensive and time consuming. The proposed method automatically classifies natural utterance pairs and adds them into dialogue example database. Experimental results show that lexical, POS and modality features are useful for classifying natural utterance pairs, and prove that the dialogue examples can be automatically expanded using the logs of a dialogue system.

문자메시지의 특성을 고려한 한국어 모바일 스팸필터링 시스템

손대능(Sohn, Dae-Neung),이정태(Lee, Jung-Tae),이승욱(Lee, Seung-Wook),신중휘(Shin, Joong-Hwi),임해창(Rim, Hae-Chang) 한국산학기술학회 2010 한국산학기술학회논문지 Vol.11 No.7

본 논문에서는 휴대전화로 오는 짧은 문자메시지의 스타일을 반영하여 스팸 문자메시지를 검출해내는 한국 어 모바일 스팸필터링 시스템을 소개한다. 제안하는 시스템은 내용어 어휘들의 출현에만 기반을 두는 기존 방법과 달 리 제안하는 스타일 정보를 추가적으로 활용하여 스팸성 단어가 포함된 일반 문자메시지가 스팸으로 잘못 분류되는 치명적인 오류를 효과적으로 줄인다. 또한 띄어쓰기 및 철자 오류교정을 거쳐 문자메시지를 정규화 함으로써 스팸 분 류성능을 향상시킨다. 실제 한국어 문자메시지를 이용한 실험 결과를 통해 제안하는 시스템이 한국어 스팸 문자메시 지 검출에 효과적임을 보인다. This paper introduces a mobile spam filtering system that considers the style of short text messages sent to mobile phones for detecting spam. The proposed system not only relies on the occurrence of content words as previously suggested but additionally leverages the style information to reduce critical cases in which legitimate messages containing spam words are mis-classified as spam. Moreover, the accuracy of spam classification is improved by normalizing the messages through the correction of word spacing and spelling errors. Experiment results using real world Korean text messages show that the proposed system is effective for Korean mobile spam filtering.