http://chineseinput.net/에서 pinyin(병음)방식으로 중국어를 변환할 수 있습니다.
변환된 중국어를 복사하여 사용하시면 됩니다.
도시 화재 대응을 위한 Multi Objective 강화학습 모델 설계
여상호,이승준,오상윤 한국차세대컴퓨팅학회 2021 한국차세대컴퓨팅학회 학술대회 Vol.2021 No.05
도시 내에서 발생한 화재와 같은 재난은 도시 내 광범위한 지역에서 다수의 인명, 경제적 피해를 야기한다. 이러한 피해를 최소화하기 위하여 강화학습을 활용한 효과적인 재난 대응 팀의 배치 방안이 주로 연구되었으나, 기존 방안은 재난 대응팀의 관할 지역의 크기가 증가될 때 효과적인 재난 대응을 기대하기 어렵다. 따라서, 본 연구팀은 대규모의 재난 상황에서 기존 강화학습 기반 대응팀 배치 방식의 문제를 해결하기 위해 상충되는 목표들 간의 가중치를 조절하는 새로운 강화학습 기법과 각 대응 목표들의 정의를 화재 재난 상황을 기반으로 설계하고 제안한다.
도시 화재 시뮬레이션에서의 효과적인 화재 대응을 위한 강화학습 적용 솔루션의 설계 및 구현
여상호 ( Sangho Yeo ),오상윤 ( Sangyoon Oh ) 한국정보처리학회 2021 한국정보처리학회 학술대회논문집 Vol.28 No.2
도시의 인구 밀집도가 증가함에 따라 도시의 단위 면적당 건물 밀집도 역시 증가하고 있으며, 이에 도시 화재는 대규모 화재로 발전할 가능성이 높다. 도시 내 대규모 화재로 인한 인명 및 경제적인 피해를 최소화하기 위해 시뮬레이션 기반의 화재 대응 방안들이 널리 연구되고 있으며, 최근에는 시뮬레이션에서 효과적인 화재 대응 방안을 탐색하기 위해 강화학습 기술을 활용하는 연구들이 소개되고 있다. 그러나, 시뮬레이션의 규모가 커지는 경우, 상태 정보 및 화재 대응을 위한 행위 공간의 크기가 증가함으로 인해 강화학습의 복잡도가 증가하며, 이에 따라 학습 확장성이 저하되는 문제가 발생한다. 본 논문에서는 시뮬레이션 규모 증가 시 강화학습의 학습 확장성을 유지하기 위해, 화재 상황 정보와 재난 대응을 위한 행위 공간을 변환하는 기법을 제안한다. 실험 결과를 통해 기존에 강화학습 모델의 학습이 어려웠던 대규모 도시 재난 시뮬레이션에서 본 기법을 적용한 강화학습 모델은 학습 수행이 가능하였으며, 화재 피해가 없는 상황의 적합도를 100%로 하고, 이것 대비 99.2%의 화재 대응 적합도를 달성했다.
학습 성능 향상을 위한 차원 축소 기법 기반 재난 시뮬레이션 강화학습 환경 구성 및 활용
여상호 ( Sangho Yeo ),이승준 ( Seungjun Lee ),오상윤 ( Sangyoon Oh ) 한국정보처리학회 2021 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.10 No.7
강화학습은 학습을 통해 최적의 행동정책을 탐색하는 기법으로써, 재난 상황에서 효과적인 인명 구조 및 재난 대응 문제 해결을 위해 많이 활용되고 있다. 그러나, 기존 재난 대응을 위한 강화학습 기법은 상대적으로 단순한 그리드, 그래프와 같은 환경 혹은 자체 개발한 강화학습 환경을 통해 평가를 수행함에 따라 그 실용성이 충분히 검증되지 않았다. 본 논문에서는 강화학습 기법을 실세계 환경에서 사용하기 위해 기존 개발된 재난 시뮬레이션 환경의 복잡한 프로퍼티를 활용하는 강화학습 환경 구성과 활용 결과를 제시하고자 한다. 본 제안 강화학습 환경의 구성을 위하여 재난 시뮬레이션과 강화학습 에이전트 간 강화학습 커뮤니케이션 채널 및 인터페이스를 구축하였으며, 시뮬레이션 환경이 제공하는 고차원의 프로퍼티 정보의 활용을 위해 비-이미지 피쳐 벡터(non-image feature vector)에 이미지 변환방식을 적용하였다. 실험을 통해 본 제안 방식이 건물 화재 피해도를 기준으로 한 평가에서 기존 방식 대비 가장 낮은 건물 화재 피해를 기록한 것을 확인하였다. Reinforcement learning(RL) is the method to find an optimal policy through training. and it is one of popular methods for solving lifesaving and disaster response problems effectively. However, the conventional reinforcement learning method for disaster response utilizes either simple environment such as. grid and graph or a self-developed environment that are hard to verify the practical effectiveness. In this paper, we propose the design of a disaster response RL environment which utilizes the detailed property information of the disaster simulation in order to utilize the reinforcement learning method in the real world. For the RL environment, we design and build the reinforcement learning communication as well as the interface between the RL agent and the disaster simulation. Also, we apply the dimension reduction method for converting non-image feature vectors into image format which is effectively utilized with convolution layer to utilize the high-dimensional and detailed property of the disaster simulation. To verify the effectiveness of our proposed method, we conducted empirical evaluations and it shows that our proposed method outperformed conventional methods in the building fire damage.
Edge AI 의 추론 과정을 위한 계층적 작업 분할 배치 기법
이승준,여상호,오상윤 한국차세대컴퓨팅학회 2021 한국차세대컴퓨팅학회 학술대회 Vol.2021 No.05
머신러닝 모델을 엣지 디바이스에 안정적으로 배포하기 위해서 기존 클라우드 기반의 머신 러닝 모델 배포는 높은 지연 시간으로 인해 머신 러닝 서비스의 질을 떨어트리는 문제를 야기한다. 또한, 추론을 위한 입력 데이터의 전송 과정은 개인 정보의 유출을 야기한다. 이러한 문제를 해결하기 위해서 개인 정보 유출 및 통신 부하 문제를 해결할 수 있는 엣지 서버 및 엣지 디바이스를 활용한 추론 과정의 정의가 요구된다. 본 연구팀은 효과적인 추론 과정의 정의를 위해 기존 분산 딥러닝의 모델 및 데이터 병렬화 파이프라인 기법에 기반하는 단일 추론 모델에 대한 엣지 서버-디바이스 간 모델 분할 기법 및 엣지에서 요청되는 독립된 다중 작업들에 대한 효과적인 스케쥴링 기법을 제안한다.
분산 브로커의 가용성 향상을 위한 메시지 레플리카 액티브-액티브 구조 기법
서경희,여상호,오상윤,Seo, Kyeonghee,Yeo, Sangho,Oh, Sangyoon 한국정보처리학회 2018 정보처리학회논문지. 컴퓨터 및 통신시스템 Vol.7 No.6
A loosely coupled message broker system is a popular method for integrating distributed software components. Especially, a distributed broker structure with multiple brokers with active-standby or active-active message replicas are used to enhance availability as well as message processing performance. However, there are problems in both active-standby and active-active replica structure. The active-standby has relatively low processing performance and The active-active structure requires a high synchronization overhead. In this paper, we propose an active-active structure of replicas to increase the availability of the brokers without compromising its high fault-tolerancy. In the proposed structure, standby replicas process the requests of the active replicas so that load balancing is achieved without additional brokers, while the distributed coordinators are used for the synchronization process to decrease the overhead. We formulated the overhead incurred when synchronizing messages among replicas, and the formulation was used to support the experiment results. From the experiment, we observed that replicas of the active-active structure show better performance than the active stand-by structure with increasing number of users. 다양한 분산 소프트웨어 컴포넌트들의 정보 교환을 위해 비동기, 다대다 메시지 교환이 가능한 브로커 구조가 보편적으로 사용되고 있다. 특별히 많은 사용자 및 메시지를 지원하기 위해 높은 확장성의 분산 메시지 브로커가 제안되었다. 브로커의 가용성 및 장애 극복 능력을 향상시키기 위해 메시지 레플리카를 사용하여 액티브-스탠바이 혹은 액티브-액티브 구조를 사용하게 된다. 그러나, 액티브-스탠바이의 경우 낮은 가용성의 문제, 그리고 액티브-액티브의 경우 동기화 오버헤드가 전체 성능을 낮추는 문제를 가진다. 본 논문에서는 장애 상황의 극복이 가능하면서도 분산 메시지 브로커의 가용성을 향상시키기 위해 메시지 레플리카를 액티브-액티브 구조로 구성하여 분산 브로커의 요청 부하를 분산시키는 기법을 제안하였다. 스탠바이 레플리카들이 액티브 레플리카로부터 요청을 전달받아 나누어 처리함으로써 브로커를 구성하는 노드 수의 증가 없이 요청 부하를 분산시킬 수 있었다. 이때 메시지 동기화 과정은 분산 코디네이터를 이용, 분산 락을 구현함으로써 모든 액티브 레플리카들이 한 때에 동기화를 진행하도록 하였고 각 액티브 레플리가 동기화를 할 때보다 추가적인 오버헤드를 적게 하였다. 본 제안의 성능을 평가하기 위해 제안 기법과 기존의 액티브-스탠바이 기법을 기반으로 브로커 프로토타입을 구현하고 메시지의 생산, 소비 및 전체 생산-소비 구간 처리 성능을 측정 비교하였고, 분산 락으로 인한 오버헤드 수식을 제시하였다. 실험 결과에서 본 제안 기법이 더 높은 확장성과 메시지 처리성능을 보임을 확인하였다.