Analysis of Reward Functions in Deep Reinforcement Learning for Continuous State Space Control

MinKu Kang(강민구),Kee-Eung Kim(김기응) Korean Institute of Information Scientists and Eng 2020 정보과학회논문지 Vol.47 No.1

Deep Reinforcement Learning (DRL), which uses deep neural networks for the approximation of the value function and the policy, in continuous state-space control tasks has recently shown promising results. However, the use of deep neural networks as function approximators has often resulted in intractable analyses of DRL algorithms mainly due to their non-convexities and thus a lack of theoretical guarantee such as asymptotic global convergence of the learning algorithm. Considering the fact that the reward function in reinforcement learning is one of the key entities that determines the overall characteristics of the learning agents, we focused on a smaller but an important aspect of the analysis, investigating the structure of widely used reward functions in DRL tasks and their possible effects on the learning algorithm. The proposed analysis may facilitate identification of appropriate reward functions in DRL tasks, which has often been conducted via trial and error.

SURF 특징점 추출 알고리즘을 이용한 얼굴인식 연구

강민구(Minku Kang),추원국(Wonkook Choo),문승빈(Seungbin Moon) 大韓電子工學會 2011 電子工學會論文誌-CI (Computer and Information) Vol.48 No.3

본 논문에서는 대표적인 특징점 추출 알고리즘인 SURF (Speeded Up Robust Features)를 이용한 얼굴 인식 방법을 소개한다. 일반적으로, SURF를 이용한 물체 인식은 특징점 추출 및 정합만을 수행하지만, 본 논문에서 제안하는 SURF를 이용한 얼굴 인식 방법은 특징점 추출 및 정합뿐만 아니라 얼굴 영상 회전 및 특징점 검증을 추가로 수행한다. 얼굴 영상 회전은 특징점의 수를 증가시키기 위해 수행되며, 특징점 검증은 정확하게 정합된 특징점들을 찾기 위해 수행된다. 비록 본 논문에서 제안한 SURF를 이용한 얼굴 인식 방법은 PCA를 이용한 방법보다 연산 시간이 더 요구되었지만, 인식률은 보다 더 높았다. 이러한 실험 결과를 통해, 특징점 추출 알고리즘도 얼굴 인식에 적용할 수 있음을 확인할 수 있었다. This paper proposes a SURF (Speeded Up Robust Features) based face recognition method which is one of typical interest point extraction algorithms. In general, SURF based object recognition is performed in interest point extraction and matching. In this paper, although, proposed method is employed not only in interest point extraction and matching, but also in face image rotation and interest point verification. image rotation is performed to increase the number of interest points and interest point verification is performed to find interest points which were matched correctly. Although proposed SURF based face recognition method requires more computation time than PCA based one, it shows better recognition rate than PCA algorithm. Through this experimental result, I confirmed that interest point extraction algorithm also can be adopted in face recognition.

힐링을 위한 인터랙션 디스플레이 시스템 제안

강민구(Minku Kang),김민호(Minho Kim),이지한(Jihan Lee),황신희(Shinhee Hwang),신창범(Changbeom Shin) 한국HCI학회 2013 한국HCI학회 학술대회 Vol.2013 No.1

바쁘고 힘든 현대인들에게 힐링이 선풍적인 인기를 끌고 있다. TV 프로그램부터 에세이까지 다양한 분야에서 그 인기가 대단하다. 다양한 국적의 사람들의 요구사항을 파악해서 ‘힐링’과 ‘기부’라는 키워드를 도출해내었다. 본 연구는 힐링이 라는 현대의 트렌드 이슈를 바탕으로 하여 모바일 디바이스와 연동 가능한 힐링 인터랙션 디스플레이 시스템을 제안한다. 힐링을 목적으로 하고 기부를 보조적인 개념으로 설정한 뒤 장소의 요소를 추가하였다. 사용자들에게 특별한 인터랙션이 가능한 장소로 거주지 근접의 공원형 오픈 스페이스를 선택하였다. 장소에 맞는 모듈형 디스플레이를 설치한 뒤 모바일 디바이스와 연동하여 사용자로 하여금 그 시간 그 장소에서만 체험할 수 있는 독특한 경험을 하게한다. 단순히 사용자와 인터랙션에 그치는 것이 아니라 후원받는 기업과 디스플레이를 사용하는 사용자들이 유무형의 수익과 경험을 얻을 수 있도록 기부의 요소를 추가하였다. 그로 인해 기업은 광고를 통한 수익과 기부를 통한 기업이미지 개선을 사용자는 디스플레이가 있는 장소에 감으로 써 기부를 했다는 긍정적 경험을 이루어내게 된다. "Healing" has instantly become popular among busy and tired people of today. It popularity is extremely high in various fields ranging from TV programs to essays. Based on the current issue of "healing", we propose an interactive healing display system that can be connected with mobile devices. Because of the properties of installed exhibits, we choose a park-like open space near residences for their installation. After modular devices appropriate to the place are installed, they are connected to mobile devices to enable users to have unique experiences pertaining to that particular time and place. To add to interaction with users, we have included the element of donation so that sponsored companies and users of the displays may acquire profits and experiences both tangible and abstract. This results in companies benefiting from advertisement and improving their corporate image through donation, and in users perceiving positively that they have donated by approaching the displays.

다중 에이전트-태스크간 임무 할당을 위한 혼합 정수 선형 계획법

강민구(MinKu Kang),김기응(Kee-Eung Kim) 대한기계학회 2019 대한기계학회 춘추학술대회 Vol.2019 No.11

국내 약학대학 학생들의 표준화 환자를 활용한 복약상담 교육 및 OSCE에 대한 인식

박태은,강민구,Park, Tae Eun,Kang, Minku 한국임상약학회 2022 한국임상약학회지 Vol.32 No.1

Background: Woosuk University College of Pharmacy delivered patient counseling education and administered Objective Structured Clinical Examination (OSCE) by utilizing standardized patients (SP) in Introductory Pharmacy Practice course. Surveys were conducted to examine students' perception of SP and its impact on experiential education. Methods: Students learned patient counseling by didactic lecture and role-play, followed by hands-on practice with SP. Then, patient counseling skills were assessed during OSCE by utilizing SP. The first survey was conducted immediately after OSCE, and the second survey after the completion of Pharmacy Practice Experiences (PPEs). Results: According to the surveys, majority of the students agreed that utilizing SP was effective in building confidence for conducting patient counseling, reflecting on strengths and weaknesses of communication skills, and preparing for PPEs. It was particularly more effective than role-play in simulating patient counseling in a real pharmacy and reflecting on oneself. Also, OSCE was an appropriate method to assess patient counseling skills and utilizing SP for this purpose was well-suited. Conclusion: Although it is very new in South Korea, other developed countries are already widely utilizing SP, and its importance and necessity have been proven by several studies. Therefore, Korean colleges of pharmacy should begin discussing how to utilize SP to improve students' communications skills and implementing OSCE to evaluate those skills.

국내 제약기업의 연구개발비 및 마케팅 비용이 기업성과에 미치는 영향 연구

정재은(Jae Eun Jung),강민구(Minku Kang),방준석(Joon Seok Bang) 대한약학회 2019 약학회지 Vol.63 No.4

Abstract The purpose of this study was to investigate the effect of R&D investment and marketing expenses on the performance of the Korean pharmaceutical companies. The top-ranked forty companies in Korea were selected and the 6-year-long data were analyzed to obtain the correlations among R&D intensity, marketing expenses, growth rate, operating profitability. In addition, the differences between innovative and non-innovative pharmaceutical companies were also examined. Both the amount and the ratio of R&D investment over sales activities were significantly higher in the innovative pharmaceutical companies compared with the non-innovative pharmaceutical companies. In these competitive circumstances, R&D investment is indispensable for the sustainable growth in pharmaceutical companies. In conclusion, Korean pharmaceutical companies as well as government bodies should focus on more intensive and strategic R&D activities to increase the capabilities for developing innovative new products and future prosperity.

심부전 환자에서 엠파글리플로진의 유효성 및 안전성 검토

이하늘(Ha Neul Lee),강민구(Minku Kang),박태은(Tae Eun Park) 대한약학회 2022 약학회지 Vol.66 No.4

The United States (US) Food and Drug Administration (FDA) approved empagliflozin, which is a sodiumglucose cotransporter 2 (SGLT2) inhibitor used for type 2 diabetes, for the treatment of heart failure (HF) with reduced ejection fraction (HFrEF) in 2021. Earlier this year, empagliflozin became the only SGLT2 inhibitor approved for the treatment of HF with preserved ejection fraction (HFpEF) as well. These approvals were based on the studies that showed empagliflozin reducing hospitalization for HF and cardiovascular mortality. Based on these new findings, SGLT2 inhibitors, including empagliflozin, have been recently added to the heart failure treatment guidelines in the US and Europe. Although empagliflozin is approved for adults with HFrEF in South Korea, treatment guidelines for chronic heart failure have not been updated to include this drug and other SGLT2 inhibitors, yet. Therefore, the purpose of this review is to examine the studies on the efficacy and safety of empagliflozin in heart failure and its current place in clinical practice.

노말라이즈 컷을 활용한 효과적인 이미지 검색

백종태(Jongtae Baek),강민구(Minku Kang),이우기(Wookey Lee),이화기(Hwaki Lee) 한국정보과학회 2011 한국정보과학회 학술발표논문집 Vol.38 No.2C

기술의 발달에 따라 정보 검색은 기존 텍스트 기반의 단순 단어 검색뿐만 아니라 단어의 의미를 파악하는 시멘틱 검색 속성을 이용하는 엔티티 검색 스마트 폰의 발달로 최근 대두되고 있는 음성검색 등의 여러 형태의 검색 기법을 사용할 수 있게 되었다. 하지만 이러한 검색 기법들은 나름대로의 질의어를 입력해서 그것을 토대로 연관된 정보를 보여주는 기법이며 이러한 기법들은 언어화 하기 힘든 이미지를 질의어로 선정하는 경우에는 이용하기 어렵다는 단점을 가진다. 이러한 문제점을 해결하기 위하여 이미지를 그래프 형태로 변환 한 후 노말라이즈 컷(Normalized Cut)을 이용하여 그래프 검색을 진행하는 기법을 제안한다. 노말라이즈 컷이란 이미지의 색 명암 질감 등의 정보를 수치화 하여 유사한 값을 가진 노드(픽셀)들을 연결하고 통합하여 유사성이 떨어지는 노드사이의 연결 정보는 삭제해서 독립시키는 기법으로 그래프 개념을 활용하여 이미지 내의 객체 정보를 분할하는 것에 활용되는 방법이다. 본 논문에서는 노말라이즈 컷을 이용하여 이미지를 그래프로 변환하고 그래프 검색 기법들을 이용해서 비교하여 정보를 언어화 할 수 없는 이미지에 대한 효과적인 검색이 가능함을 보이고 실험으로 입증했다.

수지정수장 고도정수처리시설 오존주입설비의 수치해석

서유림(Yurim Seo),고종욱(Jongwook Ko),강민구(Minku Kang),고성호(Sungho Ko) 한국유체기계학회 2013 한국유체기계학회 학술대회 논문집 Vol.2013 No.11

외계 환경 대응 전기추진체

문창근(Changkeun Moon),강창훈(Changhoon Kang),강민구(Minku Kang),김선은(Suneun Kim) 한국항공우주학회 2023 한국항공우주학회 학술발표회 논문집 Vol.2023 No.6