국내 교수설계자 역량개발을 위한 교육요구 분석

엄미리 한국직업능력개발원 2009 직업능력개발연구 Vol.12 No.1

The purpose of this study was to analyze educational needs of instructional designers for competency development and investigate a basic data of educational program that can help competency development of instructional designers. The data was collected by using the e-mail with questionnaire developed by researcher and 104 cases were analyzed finally. Collected data was analyzed using the SPSS 12.0 for Windows statistical package. The educational needs of instructional designers were calculated by using the Borich‘s formula. Each question conducted a frequency analysis to catch hold of instructional designers’ authentic needs for competency development. Through this study derives the followings: First, Total rank of educational needs for instructional designers, second, each area(Professional Foundations, Planning & Analysis, Design & Development, Implementation and Management, Evaluation) rank of educational needs for instructional designers, third, authentic needs for competency development program. The results of this study reflected authentic needs of instructional designers will be used a basic data to establish the curriculum and educational system for instructional designers‘ competency development. 본 연구의 목적은 e-learning 전문인력 중 다양한 역할을 수행하고 있는 교수설계자들을 대상으로 그들의 역량개발에 도움을 줄 수 있는 교육프로그램 개발의 기초자료를 마련하고 역량중요도와 역량수준을 통해 교육요구도를 분석하는 것이다. 총 104부의 설문지를 최종 분석에 사용하였으며, 수집된 자료는 SPSS 12.0통계 프로그램을 활용하여 분석하였다. 교수설계자들의 역량개발을 위한 교육프로그램에 대한 실제적 요구를 파악하기 위해 각 항목별로 빈도분석을 실시하였고, 교수설계자들의 역량중요도와 역량수준 응답 결과를 Borich의 공식에 적용하여 교육요구도를 산출하였다. 교수설계자들이 인식하고 있는 영역별(기초역량, 기획 및 분석, 설계 및 개발, 활용 및 관리, 평가) 교육요구도 순위, 교육요구도 통합순위, 교육프로그램에 대한 실제적 요구에 대한 결과를 얻었다. 교수설계자들의 실제적인 요구가 반영된 연구결과는 교수설계자들의 역량개발을 위한 교육과정 및 교육체계를 구축하는 데 기초자료로 활용될 수 있을 것이다.

일반 교원의 진로지도 및 상담 직무영역에서의 핵심역량 도출에 관한 연구

엄미리,권정언 한국직업능력개발원 2017 직업능력개발연구 Vol.20 No.2

학생의 창의적 진로개발 역량을 기르기 위해 진로전담교사의 배치, 중학교 자유학기제의 전면 시행, 학교급별 진로교육 성취기준 재․개정, 진로교육법 제정 등을 통해 학교 진로교육의 기반을 다지며 활성화에 노력해왔다. 그러나 학생의 진로교육(지도)에 있어 담임교사의 중요성이 강조되고 상담과 같은 맞춤형 서비스에 대한 요구가 높아지는 가운데, 학생과 상호작용하는 일반 교원의 진로교육 역량 강화는 그 필요성이 더욱 높다. 본 연구는 진로지도 및 상담 직무영역에서 일반 교원의 핵심역량을 밝혀 진로교육의 내실화, 교원연수 및 진로지도(상담) 자료 개발에 준거로 활용하기 위해 시작하였다. 문헌연구, 우수성과자(교사) 심층면담, 전문가 타당화 조사, 교사 역량우선순위 분석 등의 역량모델링을 거쳐 7대 역량군, 15개 역량을 도출하였다. 연구결과, 특히 직업정보의 탐색․수집․축적․가공 역량은 전 학교급에서 선정될 만큼 우선순위가 높았고, 교과 외 지식이나 학교 밖 세상에 대한 관심과 포용력, 학생 진로 관련 정보의 정기적 공유를 통한 학부모 진로상담 역량과 학생 맞춤형 학습법 제시로 진로개발을 지원하는 역량도 초․중․고에서 공통적으로 강조되었다. 이는 학생마다의 진로개척을 위해 일반 교원이 직업세계와 사회 전반의 변화 추세를 살피고 학생뿐만 아니라 학부모와의 상담 수행이 강화되어야 함을 실증적으로 규명한 것이다. The purpose of this study is to identify core competencies of teachers in the areas of career guidance and counseling and to use the results as a reference for developing data for strengthening career education and teacher training. Through literature study, in-depth interview with competent teachers, validation survey of experts, and competency modeling, including the analysis of teacher competency priorities, this study developed seven competency clusters and fifteen competencies. The results of the study are as follows: competencies of search, collection, accumulation, and processing of vocational information were so high priorities as to be selected by all levels of schools. Other commonly emphasized competencies at all primary and secondary schools included interest in and reception of the extra- curricular knowledge and affairs of the world outside the school, consulting of parents on students’ career through regular sharing of students’ career information, and supporting career development through student-centered personalized learning. This study empirically proved that teachers should explore changes in the occupational world and trends in society overall to improve their counseling performance.

교수와 학생 인식 분석을 통한 대학 온라인 강의 지원 방안 탐색

엄미리,이효진,최고은,전미현,현민영 (사)한국대학교육협의회 2020 고등교육 Vol.3 No.2

This study aimed to explore practical ways to provide supports for online class operations by analyzing the perceptions of university instructors and students on online classes in K University spring semester 2020. A questionnaire for this study has been developed by having related studies organized and its content validity examined by experts. We conducted an online survey using Google Survey application consisting of 25 questions for the instructors and 23 questions for the students respectively and collected 1,366 responses from 214 instructors and 1,152 students. For data analysis, we examined the current situations of university online classes using descriptive statistics and the differences between instructors and students’ perceptions on online classes using independent t-test and chi-square test. The results of this study showed that university instructors and students perceived the aspects of online classes differently in overall satisfaction, class management, university support, system environments and preferred types of online classes. This result implied that we need to support the environments for effective online classes not only in the aspects of physical and technical support but in the process of designing and implementing classes as well. This study may not be able to generalize the results and the implications of K University online class situations but it will provide detailed reference data for establishing university online class management policies and guidelines. 본 연구의 목적은 2020-1학기 온라인 강의 운영 실태 및 온라인 강의에 대한 교수와 학생의 인식 분석을 통해 실제적인 온라인 강의 지원 방안을 모색하는 것이다. 연구수행을 위해 선행연구를 참고하고 전문가 내용타당도 검증을 마친 최종 설문지를 바탕으로 K대학 교수(25개 문항)와 학생(23개 문항)을 대상으로 임의표집방법을 통해 온라인 설문조사(Google Survey)를 실시하였다. 기간 내 응답한 교수 214명과 학생(대학원생 포함) 1,152명, 총 1,366명을 최종 분석대상으로 선정하였고, 결과분석을 위해 온라인 강의 환경에 대한 실태 파악은 기술통계량을, 온라인 강의에 대한 교수와 학생 간 인식 차이 분석은 독립표본 t-검정과 카이제곱 검정을 활용하였다. 연구결과에서 전반적인 온라인 강의에 대한 만족도, 수업 운영, 학교지원, 시스템 환경, 선호 강의형태 측면의 만족도에서 교수와 학생의 인식 간에 차이가 있는 것으로 나타났으며, 이러한 인식 차이를 통해 온라인 학습 환경에 대한 물리적, 기술적 지원은 물론 수업설계 및 운영 과정에서도 실제적인 지원과 안내가 필요함을 확인하였다. K대학의 온라인 강의 운영 상황을 일반화할 수는 없지만 본 결과는 대학의 온라인 강의 운영 및 지원 방안, 규정 등을 마련하는데 근거 자료로 활용될 수 있을 것이다.

공학교육에서 하브루타 수업방식의 효과 분석

엄미리,이영인 중소기업융합학회 2020 융합정보논문지 Vol.10 No.1

본 연구의 목적은 공대 대학수업에 하브루타 방식을 적용하여 실제적으로 학습자의 역량에 변화가 있는지를 탐색하는 것으로, 대학수업에서의 효과적 운영을 위한 기초자료를 제공하고자 한다. <대학물리및실험2>를 수강하는 105명의 학습자들을 대상으로 하였고, 선행연구들을 탐색하여 하브루타 수업에서의 학습자 역량으로 학습준비도능 력, 학업적 자기효능감, 의사소통능력을 선정하고 연구도구를 활용하여 실험을 진행하였다. 연구는 하브루타 수업적용 을 위한 수업설계, 실험설계, 사전검사, 실험처치, 사후검사 순으로 진행하고 SPSS 21.0 for window를 활용하여 사 전-사후 학습자 역량 변화를 비교・분석하였다. 첫째, 학습준비도능력은 사전-사후검사를 비교한 결과 통계적으로 유의미한 차이가 있으며, 특히 하위역량 중 학습에 대한 애착, 학습기회에 대한 개방성, 학습에 대한 주도성/독립성에 서 긍정적인 역량 변화가 있는 것으로 나타났다. 둘째, 학업적 자기효능감은 사전-사후검사를 비교한 결과 통계적으로 유의미한 차이가 없는 것으로 나타났다. 셋째, 의사소통능력은 사전-사후검사를 비교한 결과 통계적으로 유의미한 차 이가 있으며, 특히 하위역량 중 주도적 의사소통에서 긍정적인 역량 변화가 있는 것으로 나타났다. 도출된 연구결과는 교수자 중심의 교육에서 탈피하여 공대 수업에 학생중심의 하브루타 방식을 적용하여 효과를 탐색한 것으로, 공대 수업이나 대학수업에 하브루타를 적용하고 싶은 교수자나 수업설계자들에게 좋은 지침 및 기초자료가 될 수 있을 것으로 기대된다. This study aimed to explore the change of engineering students' competencies through the havruta class. In the havruta class, engineering students' competencies were compared with pre-test and post-test. The research tool was developed by selecting learning readiness, academic self-efficacy, and communication ability as the learner's competence in the havruta class. Finally, 105 data were analyzed with SPSS 21.0 for windows. First, there was a statistically significant difference in learning readiness. Second, there was no statistically significant difference in academic self-efficacy. Third, there was a statistically significant difference in communication ability. It was found that there was a positive change of competencies in learning readiness ability and communication ability in the havruta class. Although the findings are difficult to generalize to all majors, these results will be a useful basis for instructors who want to apply the havruta class.

반응성 교수 교사교육이 교사의 주도행동과 발달지체 유아의 중심축 행동에 미치는 영향

엄미리,조윤경 한국유아특수교육학회 2013 유아특수교육연구 Vol.13 No.1

It is very important in overall human development to interact child with adult in sensitively and reactively during the preschool period. The importance of the interaction with child and teacher are getting attention. In the case of developmental delayed children, they need more high quality interaction as they have difficulties in interacting with others by lack of sociability and reciprocity. This study is intended to find out the teacher training effects of Responsive Teaching(RT) on children’ pivot behaviors by introducing the RT strategies to teachers and giving feedbacks to make them interact sensitively and reactively with developmental delayed children based on the RT. The participants of this study were diagnosed developmental delayed problem by formal diagnosis center and each teacher participants are their own teachers. The experimental design was multiple probe baseline design across subjects. Data collecting were done by 10 seconds partial interval recording. The results of this study are as followed. First, the rate of using teachers’ directed behaviors was decreased and maintained after the end of intervention. Second, the rate of pivot behaviors(eye contact, voluntary utterance, initiation behaviors in the social interactions) of developmental delayed preschoolers were increased by teacher training of RT and the increased behaviors rate were maintained after the end of intervention. This study implicated that application of RT methods to the class as well as the one-to-one relationship with parents is possible and only RT training on teachers without direct teaching to child could bring out positive changes of developmental delayed preschoolers. 유아기에 성인과 유아의 민감하고 반응적인 질 높은 상호작용은 매우 중요하다. 특히 발달이 지체되는 유아의 경우에는 사회성과 상호성의 결함으로 인해 상호작용에 어려움을 겪어 교사와의 질 높은 상호작용이 더욱 필요하다. 본 연구는 교사가 발달지체 유아와 민감하고 반응적인 상호작용을 할 수 있도록 반응성 교수에 대한 교사교육을 실시한 후 교사의 주도행동과 유아의 중심축 행동에 미치는 영향에 대해 관찰하였다. 대상자간 중다 간헐 기초선 설계를 적용하였으며, 자료 수집은 10초 부분 간격 기록법을 사용하였다. 연구결과, 반응성 교수에 대한 교사교육은 교사의 주도행동을 감소시키고, 이러한 교사의 변화는 발달지체 유아의 중심축 행동 발생률을 향상시키고 유지시키는 것으로 나타났다. 본 연구의 결과를 토대로 반응성 교수를 부모와의 일대일이 아닌 교사와 유아와의 학급에서도 적용할 수 있다는 사실과 유아에 대한 직접 중재를 실시하지 않고 교사교육만으로도 발달지체 유아행동의 긍정적인 변화를 가져올 수 있다는 점에 대한 시사점을 강조하였다.

국내외 MOOC 특성과 학습경험 비교에 관한 사례연구

엄미리,안세원,이예리,이다운 대학교육개발센터협의회 2022 대학 교수-학습 연구 Vol.15 No.4

본 연구는 국내 MOOC에 대한 질적 개선 및 해외 MOOC 플랫폼으로의 진입·성장을 위한 초석 연구로서, 국내외 MOOC 특성을 비교하고, 수강 과정에서 느낀 학습자의 학습경험에 대해 내용분석을 하였다. 연구수행을 위해 모니터링단을 모집·선정하여 인문계열 유사내용을 다루는 국내 MOOC 2개 강좌와 해외 MOOC 2개 강좌를 동시에 수강하며 주차별 모니터링 활동보고서를 매주 정기적으로 작성하게 하였다. 연구결과 도출을 위해 모니터링 활동보고서의 내용을 분석하는 것은 물론 분석한 내용의 재확인 및 구체적인 의견을 파악하고자 구조화 및 비구조화 인터뷰를 실시하였다. 학습자가 느낀 학습경험을 통해 국내외 MOOC에 대한 다양한 측면에서의 공통점과 차이점을 탐색하였고, 국내 MOOC의 활성화 및 글로벌화를 위한 시사점을 도출하였다.

‘좋은 수업’에 대한 현직교사와 예비교사의 인식 연구 : 지양해야 할 수업 형태와 관련하여

엄미리,김명랑,장선영,박인우 안암교육학회 2009 한국교육학연구 Vol.15 No.1

What is good instruction? The term "instruction" means the essential activity of school education, a precondition for good school, and the starting point of reforming school education. The purpose of this study is to investigate the meaning of “good instruction” by examining the difference of perception between in-service teachers and pre-service teachers who encompass the viewpoint of both teacher and student using open-ended questionnaires asking the type of instruction that they have to avoid and the undesirable instruction. This study was carried out with 150 teachers who were working in the schools and 160 students who were in college of education to be teacher in the future. Collected data was analyzed using the QSR Nvivo qualitative program. The findings of this study indicates the followings: First, the most undesirable class cited by in-service teachers was the class that applies uniform instructional strategy, followed by class based on directions instruction, unsystematic class, class characterized by lack of teaching competency, class that emphasizes test scores and competition, class that are not interactive enough, class that does not consider the level of students, class in which students are not respected, class that have poor educational environment, and the class in which little support is provided. Second, the most undesirable class cited by pre-service teachers was the class that applies uniform instructional strategy, followed by unsystematic class, class characterized by lack of teaching competency, class based on directions instruction, class in which students are not respected, class that emphasizes test scores and competition, class that does not consider the level of students, class that are not interactive enough, class that have poor educational environment, and the class in which little support is provided. Third, this study examined the difference of perception between in-service teachers and pre-service teachers toward the undesirable class that they have to avoid. In terms of the integrated rank that is common among in-service teachers and pre-service teachers, the most undesirable class that they have to avoid was the class that applies uniform instructional strategy, unsystematic class, class based on directions instruction, and class characterized by lack of teaching competency. The findings of this study may be used as a basis for in-service teachers to reflect on their professionalism of instruction that they provide and examine the attitude of students toward instruction, while providing a practical guideline for pre-service teachers to design and ensure systematic instruction in the future. 좋은 수업이란 무엇인가?‘좋은’이라는 용어가 갖는 상대성, 복합성, 상황성 등으로 인해 좋은 수업에 대해 정의하기란 쉽지 않을 것이다.‘수업’은 학교교육의 핵심적인 활동이며‘좋은’ 학교 만들기의 전제이자, 학교교육 개혁의 출발점이 된다. 본 연구에서는‘좋은 수업’의 반대급부로‘지양해야 할 수업 형태’에 대한 개방형 질문지를 바탕으로 현직교사 150명, 교사와 학생의 중간 입장에 있는 예비교사 160명의 인식 차이를 통해 좋은 수업의 의미를 도출해 보고자 연구를 진행하였다. 자료분석을 위해 Nvivo 8.0을 사용하였으며, 연구결과를 살펴보면 다음과 같다: 첫째, 현직교사가 인식하는‘지양해야 할 수업 형태’는 단일수업기법적용, 지시적 수업, 비체계적인 수업진행, 교수역량부족, 성적 및 경쟁 중시 수업, 상호작용 부족, 학생수준 비고려, 비인격적 행위, 환경 열악 및 지원 부족 순으로 나타났다. 둘째, 예비교사가 인식하는‘지양해야 할 수업 형태’는 단일수업기법적용, 비체계적인 수업진행, 교수역량부족, 지시적 수업, 비인격적 행위, 성적 및 경쟁 중시 수업, 학생수준 비고려, 상호작용 부족, 환경 열악 및 지원 부족 순으로 나타났다. 셋째,‘지양해야 할 수업 형태’에 대해 현직교사와 예비교사의 인식에는 큰 차이가 없었으며, 현직교사와 예비교사의 통합 빈도 순위는 단일수업기법적용, 비체계적인 수업진행, 지시적 수업, 교수역량부족으로 나타났다. 본 연구결과는 현직교사에게는 자신의 수업 전문성을 되짚어보고 학생에 대해 그리고 수업에 대한 태도를 반추해 보는 준거로, 예비교사는 앞으로 체계적인 수업을 설계하고 좋은 수업을 이끌어갈 수 있는 실제적인 지침으로 활용될 수 있을 것이다.

역량 인식을 통한 대학생 학습지원 프로그램의 교육요구도 탐색

엄미리,최원주,송윤희 중소기업융합학회 2018 융합정보논문지 Vol.8 No.3

본 연구의 목적은 학습자 역량을 선별, 그 역량에 대한 중요도-수행도 인식 차이를 알아보고, 교육요구도를 분석하 여 학습지원 프로그램의 방향성을 제고하고자 함이다. 설문도구를 활용하여 온라인 방식(이메일 발송)과 오프라인 방식(서 면 설문)을 병행하여 수합된 159부를 최종 분석에 사용하였다. 기술통계, 대응표본 t-검정(paired t-test), Borich 공식을 활 용한 교육요구도 분석을 실시하였다. 연구결과, 1) 3개 영역, 10개 역량별 역량 중요도와 역량 수행도 인식 차이에 있어 모두 유의미한 결과를 확인하였고, 2) Borich 공식을 활용하여 10개 역량별 전체 교육요구도를 살펴본 결과, ‘전공분야 지식’이 1순위, ‘창의성’이 2순위, ‘문제해결력’이 3순위, ‘글로벌 역량’이 4순위, ‘테크놀로지 역량’이 5순위 등의 순으로 나타났다. 본 연구결과는 대학생 학습지원 프로그램을 기획․설계하는 측면에서 고려해야 할 학습자의 역량과 교육요구도에 따른 주제의 우선순위를 결정하고, 실행․평가하는 측면에서 프로그램 효과성을 판단하는데 실제적 준거로 활용될 수 있을 것으로 기대한다. The purpose of this study is to explore the educational needs of learning supporting program on the students` perception of current competencies and important competencies. The data was collected by using the online type (e-mail survey) and the offline type (printed survey) with survey instrument developed by researcher. Survey instrument was composed of 3 categories and 10 competencies. Collected data was analyzed using the SPSS 21.0 for Windows statistical package. And 159 cases were analyzed finally. The paired t-test was conducted to analyze the difference between importance-performance of students’ competencies. The educational needs of learning supporting program were calculated by using the Borich’s formula. The findings were as follows: The first, 3 categories and 10 competencies were significant difference exists statistically. The second, The high ranks of the educational needs of learning supporting program were ‘Major field knowledge’, followed by ‘Creativity’, ‘Problem solving ability’, ‘Global capability’, ‘Technology capability’ in sequence. The results of this study reflected the authentic needs of students will be used a basic data to establish the curriculum for learning supporting program.

교육실습 전.후 예비교사의 역량변화 연구

엄미리,엄준용 한국교원교육학회 2009 한국교원교육연구 Vol.26 No.3

본 연구는 예비교사의 교원양성 프로그램의 활성화와 질적 향상을 위해 교육실습과 교사역량의 중요성을 인식하고, 예비교사들의 역량개발에 도움을 줄 수 있는 교육실습 운영 및 프로그램 개선 방안을 모색해보는데 그 목적이 있다. 이를 위하여 본 연구에서는 교육실습 전ㆍ후, 예비교사들의 역량중요도 수준과 역량 수준 간 차이를 분석하고 논의하였다. 연구를 위한 설문도구는 선행연구를 통하여 교사직무유형과 역량항목을 선정?수정하였고, 최종 선정된 항목들은 역량중요도 수준, 현재역량 수준으로 나누어 각각 Likert 5점 척도를 사용하여 예비교사들의 역량변화를 측정하는데 활용하였다. 설문지는 총 136부가 수집되었으며, 수집된 자료는 대응표본 t-test를 통하여 분석되었다. 이 연구를 통한 시사점은 다음과 같다. 첫째, 예비교사들을 대상으로 교육적 요구분석을 실시하여 교육실습 프로그램의 개선에 도움을 줄 수 있는 기초 자료를 마련해야 한다. 둘째, 예비교사들의 역량을 개발, 강화하기 위해 실제적인 교수 기회와 경험들을 제공할 수 있는 제도와 교육실습프로그램이 연계되어야 할 것이다. 셋째, 교사 직무분석을 바탕으로 필요한 역량을 규정하고, 기초 역량 및 핵심 역량으로 좀 더 세분화하여 제시할 필요가 있다. 넷째, 관찰, 면담, 반성저널쓰기 등 다양한 연구방법론을 활용하여 좀 더 세부적으로 역량변화를 확인할 수 있어야 한다.

테크놀로지 내용교수지식(TPACK) 역량에 대한 예비교사의 인식 분석

엄미리,신원석,한인숙 한국교원교육학회 2011 한국교원교육연구 Vol.28 No.4

본 연구는 테크놀러지 내용교수지식(TPACK) 역량에 대한 예비교사들의 인식을 분석해 봄으로써 예비교사들의 역량개발에 도움을 줄 수 있는 교육프로그램과 교육과정 개선에 기여하고자 하였다. 이를 위해서 TPACK 설문지를 번안하여 사용하였으며, 분석에 적합하지 않은 6부를 제외하고 총 87부의 설문지를 최종 분석에 사용하였다. 테크놀러지 내용교수지식(TPACK) 역량에 대한 예비교사들의 역량중요도과 역량실행도를 분석하고 유의미한 차이가 있는지 분석하기 위해 항목별로 대응표본 t-검정(paired t-test)을 실시하였고, 자료분석 틀로 중요도-실행도 분석(Importance-Performance Analysis: IPA)을 활용하였다. 테크놀러지 내용교수지식(TPACK) 역량의 각 영역(7개)과 세부영역(28개)에 대한 예비교사들의 역량중요도와 역량실행도 간 인식에 유의미한 차이가 있는지 분석한 결과, 유의수준 .05에서 7개 영역, 26개 항목에서 유의미한 차이가 있는 것으로 나타났다. 중요도-실행도 분석에 따른 TPACK 역량에 대한 각 영역별 역량중요도와 역량실행도 간 인식 차이를 분석한 결과, 중요도는 높고 실행도는 낮은 영역으로 ‘노력집중’해야 하는 4사분면에는 ‘PK’ 1개 영역, 세부영역은 ‘CK03’, ‘PK03’, ‘PK04’, ‘PK07’, ‘TPK07’ 5개 항목으로 나타났다. The purpose of this study was to provide implications for competency development of pre-service teachers and to find suggestions for improvement in pre-service teacher programs, by analyzing the differences of pre-service teachers' perception of the Technology, Pedagogy, and Content Knowledge (TPACK). To conduct this study, TPACK survey instrument was translated into Korean. Data from 87 participants were used for the final analysis after eliminating six that were incomplete. The paired t-test was conducted to analyze the differences between importance-performance of pre-service teachers’ perception of Technology, Pedagogy, and Content Knowledge (TPACK), and an analytical framework was used for the Importance-Performance Analysis (IPA). The result of paired t-test revealed that seven categories and 28 sub-categories induced pre-service teachers' different perception with the significance level of .05. Also, the IPA analysis showed that there was one category (PK) and five sub-categories (CK03, PK03, PK04, PK07, TPK07) that had high importance and low performance, and needed more endeavor and concentration.