미국의 작문평가

신선희 ( Seon Hi Shin ) 한국작문학회 2011 작문연구 Vol.0 No.13

본 연구는 평가에 대한 일반적인 특징 즉, 평가의 종류, 문항의 종류, 에세이문항의 구성, 평가대상 등을 간략히 설명한 후 미국의 다양한 작문평가를 소개하였다. 평가대상에 따라, 초·중등학생들이 보는 고부담 작문평가와 대학생 이상 성인들이 보는 작문평가로 구분하여 예시를 제시하였다. 전자의 예로써 캘리포니아 주, 조지아 주, 워싱턴 주의 작문시험을 각각 소개하였고, 성인대상 고부담 작문평가의 예로 TOEFL iBT작문시험을 소개하였다. 작문평가의 측정학적 속성인, 신뢰도, 타당도, 안정성에 대하여서는 세계적인 평가기관인 ETS의 연구문헌을 중심으로 설명하였다. 평가 선진국인 미국에서 검증된 엄격한 표준화과정을 벤치 마킹하여 작문평가의 측정학적 질을 확보할 것을 제언하였다. This study introduced a variety of writing tests in the US preceded by a brief explanation of measurement such as types of assessment, types of items, development of essays, target test-takers. In the introduction, writing tests were categorized into two kinds: K-12 high-stakes tests versus tests for college students or adults. The California Writing Standards Test, the Georgia High School Writing Test, and the Washington State English Language Proficiency Test were presented as examples of K-12 writing tests whereas TOEFL iBT was introduced as an example of high-stake tests for adult students. The psychometric properties of a writing test including reliability, validity, comparability of scores were addressed based on research papers and/or reports published mainly by ETS which is a globally-known testing institute. It was suggested that benchmarking rigorous standardized procedures already proven and currently used in testing field settings in the US would benefit writing tests in Korea.

작문 평가를 위한 잠재의미분석 방법론 탐색

신선희 ( Shin Seon-hi ) 한국작문학회 2021 작문연구 Vol.- No.48

본 연구에서는 텍스트마이닝과 정보검색 분야에서 그 기량을 인정받고 있는 인공지능-기반 잠재의미분석 방법인 LDA와 CTM을 한글로 쓰여진 문서들에 적용해 보고 그 기능을 임상적으로 검증해 보았다. 연구 결과, Gibbs sampling 추정 방식을 사용하는 LDA는 높은 정확도로 한글 말뭉치의 심층적인 의미구조를 찾아 유사한 의미구조를 가진 문서들을 동일한 주제군으로 분류할 수 있었다. 한편 본 연구는 확률적 잠재의미분석 방법들이 어떻게 국작문 평가를 위한 효과적인 분석 툴이 될 수 있는지에 대하여 논의하였다. LDA and CTM are artificial intelligence-powered latent semantic analysis methods that are recognized for their prowess in the fields of text mining and information retrieval. In this study, these methods were applied to documents written in Korean, and their functionality was tested empirically. The LDA with the Gibbs sampling approach for parameter estimation was useful for identifying the deep semantic structure of the Korean language corpus and for classifying documents with similar semantic structures into common topic clusters with very high accuracy. This paper discussed how these probabilistic latent semantic analysis models could be utilized as an effective tool for Korean writing assessment.

Examining Linking Item Diagnostic Tools against Noisy Data

Seon-Hi Shin(신선희) 한국교육평가학회 2011 교육평가연구 Vol.24 No.1

본 연구는 공통문항 비동등집단 자료수집 설계를 사용하고 라쉬모형을 이용한 동등화 과정에서 가교문항 검사도구들(예컨대, displacement, robust Z, correlation, b-plot)이 무선적으로 추측해서 써낸 학생들의 문항반응이 뒤섞여있는 분석 자료를 분석할 때 얼마나 정확히 변질된 가교문항을 찾아내는지를 조사하였다. 실제상황과 유사한 분석 자료를 만들기 위하여 미국의 국어시험(English language arts test) 자료를 통해 문항의 모수치와 학생의 능력점수의 모집분포 (population distribution)를 얻어 시뮬레이션 연구를 수행하였다. 연구결과, 조사된 검사도구들 중 상관이 시험의 두 시행 사이에 특성이 변해버린 가교문항들의 존재를 탐지하는데 일관되게 중요한 역할을 하였다. 문항수준에서 사용하는 다른 검사도구들은 한정된 조건하에서만 만족스러운 수행을 보였다. 앞으로의 연구는 이 검사도구들이 다른 종류의 시험구조 (test format), 문항반응 모형, 혹은 모수치추정 방식과 함께 사용되었을 때 어떻게 기능하는지 조사할 필요가 있다. The current study examined the robustness of linking item screening tools such as displacement, robust Z, correlation, and b-plot against random guessing responses during Rasch-based equating under a common-item nonequivalent-groups data collection design. For the sake of resemblance of actual data situations, a Monte Carlo study obtained item parameters from the operational data for an externally-mandated achievement test in English language arts in the U.S. In addition, the probability distribution of true ability was estimated by adopting a nonparametric approach. The findings of the current study showed the critical role of the correlation between the fixed and estimated item difficulties of the anchor set in screening drift items regardless of the existence of random guessing responses in the analysis data. The diagnostic statistics at the anchor item level performed satisfactorily in limited conditions. Further research is needed to address the performance of the screening statistics under investigation in this study in conjunction with different types or strategies of test format, IRT model, and item parameter estimation.

서울특별시교육청의 학부모교육 정책과 학부모와 교사의 인식 연구

신선희(Shin, Seon-Hi),강인수(Kang, Insoo),조호제(Cho, Hoje),한정혜(Han, Jeong-Hey) 한국학부모학회 2020 학부모연구 Vol.7 No.2

본 연구는 2019년 서울특별시교육청 학부모교육 현황을 파악하고, 현행 정책에 대한 서울특별시교육청 소속 초·중·고 학부모와 교사의 인식을 체계적으로 조사하여 학부모교육 내실화를 위한 시사점을 제공하고자 하였다. 모집단의 실제를 추정해 볼 수 있는 무선표집방식으로 실시한 설문조사를 통하여 양적·질적자료를 수집하였으며 질적자료의 경우, 의미 있는 자유응답 내용들의 범주별 퍼센트를 산출하였다. 양적자료의 경우, 기술통계량 산출 외에도 Kruskal-Wallis 검정법에 의한 통계적 유의도 검정을 실시하였고 비모수 검정법에 적합한 효과크기인 에타자승을 산출하였다. 또한, 정책의 우선순위를 파악하고자 보정된 보리치 지표를 산출하였다. 현황조사의 결과, 정책 추진 기관들 간 역할과 업무 분장 그리고 컨트롤타워를 중심으로 한 효율적인 협업체계로의 운영시스템 개선이 필요했다. 설문조사의 결과, 현행 정책의 필요성에 대하여, 3차원(학교·가정·사회)에서 학부모 역량 강화를 위하여 제안된 교육 내용들에 대하여, 제안된 학부모교육 발전 방안들에 대하여 학부모의 지지는 높은 편이었다. 현행 정책 중 [전환기 교육]과 [온라인 교육]에 대한 요구도가 최상위였다. This study examines the Seoul Metropolitan Office of Education s parent education policies in 2019 and investigated the perceptions of parents and teachers from primary and secondary schools regarding the current policies. A random sampling survey design was used. The qualitative data was categorized into themes and frequencies were obtained. For the quantitative data, Kruscal-Wallis tests were conducted for statistical significance and nonparametric effect-size eta-squares were obtained. An adjusted Borich index was computed to prioritize current policies. The study suggests that the operation system be transformed into a more coherently collaborative one with a control tower centered on and having a clear division of roles and duties among the policy enforcement agencies. Parents support was relatively high for the necessity of the current policies, for the educational contents proposed to enhance parents’ competency in the three dimensions (school, home, society), and for the proposed ideas to improve the city’s parent education. Among the current policies, the demand for [Transition education] and [Online education] programs were the highest.

다수준 맥락변인이 학업성취도에 영향에 미치는 효과 추이 분석

반재천(Jae-Chun Ban),신선희(Seon-Hi Shin) 한국교육평가학회 2011 교육평가연구 Vol.24 No.3

The study investigated the trend of the impact of multilevel contextual variables on mathematics and English achievement for students in regular high schools using 2009 NAEA data. In addition, 2003-2008 NAEA data were analyzed to see if the effects of the variables differed by achievement levels. Lastly, the relationships of the contextual variables from the 2009 survey with mathematics and English achievement were explored. The findings of the study showed that overall after-school activities had a negative association with student performance in the test, and that parent involvement in school educational activities and learning-related activities after school had a positive impact on student achievement. The time spent in watching EBS programs was positively correlated with student achievement only in 2009. Overall, the effects of some of these variables were different across achievement levels. The majority of the new items administered in the 2009 survey turned out significant. 본 연구는 2003년-2009년 국가수준 학업성취도 평가에서 지속적으로 수집된 다수준의 맥락변수가 일반계 고등학교의 수학과 영어 학업성취도에 미치는 영향의 추이를 조사하였다. 또한 2003-2008년 국가수준 학업성취도 평가의 자료를 사용하여 맥락변수들의 학업성취도에 미치는 영향을 전체집단, 보통이상 집단, 기초이하 집단으로 나누어 분석하였다. 2009년 국가수준 학업성취도 평가의 설문지 문항은 자료의 특성상 따로 분석하여, 맥락변수들이 학업성취도에 유의한 영향을 미치는지 살펴보았다. 분석결과, 방과 후 여가활동은 학업성취도와 대체로 부정적인 연관성을, 학부모의 학교교육활동 참여 정도와 방과후 학습활동은 긍정적인 연관성을 지속적으로 보여주었다. 다만, EBS교육방송 청취정도는 2009년에만 긍정적인 상관을 보였다. 또한 일부 맥락변수는 학생의 성취수준에 따라 학업성취도에 미치는 효과에 차이가 있었다.

편도체 중심핵의 가역적 손상이 공포의 습득과 표현에 미치는 영향

신선희,김기석,김현택 한국심리학회 한국심리학회지 생물 및 생리 Vol.4 No.1

지난 수년간 여러 보고들은 편도체가 무조건공포 및 조건공포에 관여함을 시사해 왔는며 근래에 들어서는 이 구조물을 하부핵군으로 구분하여 기능적으로 특정화하려는 노력이 시도되고 있다. 편도체 중심핵은 이들 하부핵군들 중 여러 가지 공포반응을 지배하는 뇌간 영역들에 가장 광범위한 투사를 하기 때문에 공포의 표현에 관여할 것이라는 견해가 지배적이다. 그러나 공포의 습득에서 편도체 중심핵의 역할에 대해서는 상반된 주장들이 있다. 따라서 본 연구는 공포나 불안을 측정하는 여러 동물모형중에서 상승된 경악반응 절차를 사용하여, 편도체 중심핵의 가역적 손상이 공포의 습득과 표현에 어떠한 영향을 미치는지 살펴보고 이를 통해 공포학습에서 편도체 중심핵의 역할을 알아보고자 하였다. 공포의 습득장면과 표현장면을 분리하여 연구하기 위해 국소마취제 리도카인이 사용되었다. 실험집단으로는 리도카인의 미세 주입 시기를 훈련 직전과 검사 직전으로 구분한, 리도카인-식염수 집단, 식염수-리도카인집단, 식염수-식염수집단, 리도카인-리도카인집단이 사용되었다. 실험결과, 훈련전이나 혹은 검사전에 리도카인을 투여받은 피험동물들은 경악반응의 상승을 거의 보이지 않았다. 그러나 이같은 결과를 상황의존적 인출실패 때문이라고 볼 수 없다. 왜냐하면 리도카인-리도카인 집단 역시 상승된 경악반응을 보이지 않았기 때문이다. 따라서 본 연구의 결과는 편도체 중심핵이 공포의 표현뿐만아니라 공포의 습득에도 중대하게 관여함을 시사한다. For the past years there have been not a few reports that suggested the amygdala is responsible for conditioned fear as well as for unconditioned fear. In recent years the attempts have been made to divide the amygdala into several sub-structures and to specify each of them in view of its function. And it is generally accepted that among the sub-divisions the central amygdala takes part in the expression of fear because it projects its fibers most expensively to the brainstem areas which control a variety of fear responses. But with respect to the acquisition of fear, the role of the central amygdala is of much controversy. The present study is therefore to investigate what effects the reversible lesions of the central amygdaloid nucleus have on the acquisition and the expression of fear, using the fear-potentiated startle paradigm as an animal model for measuring fear or anxiety, and accordingly to identify the role of the centra amygdala in fear conditioning. To separate conditioning trial from test trial, the local anesthetic lidocaine was used, and so the experiment consisted of four groups on the basis of lidocaine micro-injected right before the conditioning trial or just before the test trial: lidocaine-saline group, saline-lidocaine group, saline-saline group, and lidocaine-lidocaine group. As a result, the animals which had been lidocaine-injected either before the conditioning trial or before the test trial, showed little increase in the startle responses. But the result cannot be due to the state dependent retrieval failure since the lidocaine-lidocaine group showed no fear-potentiated startle responses either. Thus, the result of the study strongly suggests that the central amygdala is involved not only in the expression of fear but also in the acquisition of fear.

공포로 상승된 경악반응에서의 편도체 노어에피네플린의 역할

한정수,신선희,김기석 한국심리학회 한국심리학회지 생물 및 생리 Vol.4 No.1

편도체가 공포나 불안을 담당하는 신경구조물임을 밝힌 많은 연구가 있다. 본 연구에서는 상승된 경악반응을 이용해, 편도체의 어떤 전달물질이 공포의 표현에 관여하는 지를 밝히기 위해 노어에피네플린만 선택적으로 감소시키는 DSP-4(30㎍/2.5㎕)를 조건화 후에 편도체에 주입하였다. 그리고 요힘빈에 의한 불안이나 공포의 증가가 편도체의 노어에피네플린 감소 후에도 나타나는지를 밝히기 위해, 경악반응을 측정하기 전에 체순환적으로 요힘빈(1.25㎎/㎏)을 주입하였다. 조건화 후에 DSP-4만을 주입받은 동물과 조건화 후에 DSP-4을 주입받고 나서 일주일 후에, 경악반응을 측정하기 전에 요힘빈을 체순환적으로 주입받은 동물은 상승된 경악반응을 보이지 않았다. 이 결과로 편도체의 노어에피네플린이 상승된 경악반응이 나타나기 위해서 필요하고, 요힘빈에 의한 상승된 경악반응의 촉진효과는 편도체에 노어에피네플린을 증가시킴으로써 나타났다고 할 수 있다. In many studies, amygdala is considered to be the neural structure that is involved in fear or anxiety, in human and mammals. This paper, using fear-potentiated startle responses as a measure of fear, was to see whether noradrenergic receptors in the amygdala are involved in the expression of fear Rats were implanted with bilateral cannulae aimed at the amygdala. After the conditioning, DSP-4(30㎍/㎕) was injected to the amygdala, DSP-4 selectively produces the degeneration of the noradrenergic receptors only. In addition, we tried to find out whether or not yohimbine, which is known to increase fear and/or anxiety, can produce the potentiated startle responses even after the degeneration of noradrenergicr receptors in the amygdala. For this, before test, yohimbine(1.25㎎/㎏) was injected systemically. Results showed that animals injected with DSP-4 did not show the potentiated startle responses, and neither did the aniamls with DSP-4 plus yohimbine before test. It may thus be concluded that the no epinephine in the amygdala is necessary for the expression of fear.