학습패치 크기와 ConvNeXt 적용이 CycleGAN 기반 위성영상 모의 정확도에 미치는 영향

원태연,조수민,어양담 한국측량학회 2022 한국측량학회지 Vol.40 No.3

A method of restoring the occluded area was proposed by referring to images taken with the same types of sensors on high-resolution optical satellite images through deep learning. For the natural continuity of the simulated image with the occlusion region and the surrounding image while maintaining the pixel distribution of the original image as much as possible in the patch segmentation image, CycleGAN (Cycle Generative Adversarial Network) method with ConvNeXt block applied was used to analyze three experimental regions. In addition, We compared the experimental results of a training patch size of 512*512 pixels and a 1024*1024 pixel size that was doubled. As a result of experimenting with three regions with different characteristics,the ConvNeXt CycleGAN methodology showed an improved R² value compared to the existing CycleGAN-applied image and histogram matching image. For the experiment by patch size used for training, an R² value of about 0.98 was generated for a patch of 1024*1024 pixels. Furthermore, As a result of comparing the pixel distribution for each image band, the simulation result trained with a large patch size showed a more similar histogram distribution to the original image. Therefore, by using ConvNeXt CycleGAN, which is more advanced than the image applied with the existing CycleGAN method and the histogram-matching image, it is possible to derive simulation results similar to the original image and perform a successful simulation. 본 연구에서는 딥러닝을 통해 고해상도 광학 위성영상에 동종센서로 촬영한 영상을 참조하여 폐색 영역을 복원하는 방법을 제안하였다. 패치 단위로 분할된 영상에서 원본 영상의 화소 분포를 최대한 유지하며 폐색 영역을 모의한 영상과 주변 영상의 자연스러운 연속성을 위해 ConvNeXt 블록을 적용한 CycleGAN (Cycle Generative Adversarial Network) 방법을 사용하여 실험을 진행하였고 이를 3개의 실험지역에 대해 분석하였다. 또한, 학습 패치 크기를 512*512화소로 하는 경우와 2배 확장한 1024*1024화소 크기의 적용 결과도 비교하였다. 서로 특징이 다른 3개의 지역에 대하여 실험한 결과, ConvNeXt CycleGAN 방법론이 기존의 CycleGAN을 적용한 영상, Histogram matching 영상과 비교하여 개선된 R² 값을 보여줌을 확인하였다. 학습에 사용되는 패치 크기별 실험의 경우 1024*1024화소의 패치를 사용한 결과, 약 0.98의 R²값이 산출되었으며 영상밴드별 화소 분포를 비교한 결과에서도 큰 패치 크기로 학습한 모의 결과가 원본 영상과 더 유사한 히스토그램 분포를 나타내었다. 이를 통해, 기존의 CycleGAN을 적용한 영상 및 Histogram matching 영상보다 발전된 ConvNeXt CycleGAN을 사용할 때 원본 영상과 유사한 모의 결과를 도출할 수 있었고, 성공적인 모의를 수행할 수 있음을 확인하였다.

CycleGAN 기반 영상 모의를 적용한 건물지역 변화탐지 분석

조수민,원태연,어양담,이승우 한국측량학회 2022 한국측량학회지 Vol.40 No.4

The change detection in remote sensing results in errors due to the camera's optical factors, seasonal factors,and land cover characteristics. The inclination of the building in the image was simulated according to thecamera angle using the Cycle Generative Adversarial Network method, and the simulated image was used tocontribute to the improvement of change detection accuracy. Based on CycleGAN, the inclination of the buildingwas similarly simulated to the building in the other image based on the image of one of the two periods, and theerror of the original image and the inclination of the building was compared and analyzed. The experimentaldata were taken at different times at different angles, and Kompsat-3A high-resolution satellite imagesincluding urban areas with dense buildings were used. As a result of the experiment, the number of incorrectdetection pixels per building in the two images for the building area in the image was shown to be reduced byapproximately 7 times from 12,632 in the original image and 1,730 in the CycleGAN-based simulation image. Therefore, it was confirmed that the proposed method can reduce detection errors due to the inclination of thebuilding. 원격탐사 영상의 변화탐지는 카메라의 광학적 요인, 계절적 요인, 토지피복 특성에 의해 오류가 발생한다. 본 연구에서는 CycleGAN (Cycle Generative Adversarial Network) 방법을 사용하여 촬영 각도에 따른 영상 내 건물기울기를 모의 조정하였고, 이렇게 모의한 영상을 변화탐지에 활용하여 탐지 정확도 향상에 기여하도록 하였다. CycleGAN 기반으로 두 개 시기 영상 중 한 시기 영상을 기준으로 건물의 기울기를 다른 한 영상 내 건물에 유사하게 모의하였고 원 영상과 건물 기울기에 대한 오류를 비교 분석하였다. 실험자료로는 서로 다른 시기에 다른 각도로 촬영되었고, 건물이 밀집한 도시지역을 포함한 Kompsat—3A 고해상도 위성영상을 사용하였다. 실험 결과, 영상내 건물 영역에 대하여 두 영상의 건물에 의한 오탐지 화소 수가 원 영상에서는 12,632개, CycleGAN 기반 모의 영상에서는 1,730개로 약 7배 감소하는 것으로 나타났다. 따라서, 제안 방법이 건물 기울기로 인한 탐지오류를 감소시킬 수 있음을 확인하였다.

Bi-LSTM 기반 CycleGAN을 활용한 음악 해석 생성 모델

고경민(Kyeong-min Ko),박종화(Jong-hwa Park) 한국정보통신학회 2023 한국정보통신학회 종합학술대회 논문집 Vol.27 No.1

다음 전자음악 시장은 점점 커지고 있으나 컴퓨터를 이용한 연주와 사람의 연주 사이 간격은 좁혀지지 않고 있다. 따라서 본 연구에서 AI를 통해 음악 해석을 생성함으로써 이 간격을 줄이고자 했다. 이를 위해 CycleGAN을 구조체로 사용하고 그 배누구조는 음악 데이터를 처리할 수 있도록 Bi-LSTM과 TimeDistributed layer를 활용해 모델을 설계하고 학습시켰다. 하지만 CycleGAN의 불안정한 학습 과정으로 인해 결과물에서 과적합이 발생했다. 향후 연구에서는 내부 구조와 손실함수 등을 변경하여 모드 붕괴를 해결할 수 있을 것이다. 또한 연주자의 정보에 해당하는 태어난 시대나 음악 양식을 직접적으로 활용한다면 보다 발전된 결과물을 얻을 수 있으리라 기대한다. The electronic music market is growing, but the gap between computer performance and human performance has not narrowed. Therefore, in this study, we tried to reduce this gap by generating music interpretation through AI. To this end, CycleGAN was used as a structure, and its internal structure was designed and learned using Bi-LSTM and TimeDistributed layer to process music data. However, due to the unstable learning process of CycleGAN, overfitting occurred in the results. In future studies, mode collapse can be solved by changing the internal structure and loss function. In addition, it is expected that more advanced results will be obtained by directly utilizing the era of birth or music style corresponding to the performers information.

Generating 3D texture models of vessel pipes using 2D texture transferred by object recognition

Min-Ji Kim,Kyung-Ho Lee,Young-Soo Han,Jaejoon Lee,Byungwook Nam 한국CDE학회 2021 Journal of computational design and engineering Vol.8 No.1

Research and development of smart vessels has progressed significantly in recent years, and ships have become high-value technology-intensive resources. These ships entail high production costs and long-life cycles. Thus, modernized technical design, professional training, and aggressive maintenance are important factors in the efficient management of ships. With the continuing digital revolution, the industrial shipbuilding applicability of augmented reality (AR) and virtual reality (VR) technologies as well as related 3D system modeling and processes has increased. However, resolving the differences between AR/VR and real-world models remains burdensome. This problem is particularly evident when mapping various texture characteristics to virtual objects. To mitigate the burden and improve the performance of such technologies, it is necessary to directly define various texture characteristics or to express them using expensive equipment. The use of deep-learning-based CycleGAN, however, has gained attention as a method of learning and automatically mapping real-object textures. Thus, we seek to use CycleGAN to improve the immersive capacities of AR/VR models and to reduce production costs for shipbuilding. However, when applying CycleGAN’s textures to pipe structures, the performance is insufficient for direct application to industrial piping networks. Therefore, this study investigates an improved CycleGAN algorithm that can be specifically applied to the shipbuilding industry by combining a modified object-recognition algorithm with a double normalization method. Thus, we demonstrate that basic knowledge on the production of AR industrial pipe models can be applied to virtual models through machine learning to deliver low-cost and high-quality textures. Our results provide an on-ramp for future CycleGAN studies related to the shipbuilding industry.

CycleGAN 과 DFDNET 을 이용한 고해상도 몽타주 생성

김석민,황영배 한국차세대컴퓨팅학회 2022 한국차세대컴퓨팅학회 학술대회 Vol.2022 No.05

CycleGAN은 쌍이 없는 사진 기반의 학습을 통해서 서로 다른 도메인 간의 변환이 가능한 딥러닝 네트워크로써 다양한 어플리케이션에 적용할 수 있지만, 아티팩트가 남아있는 경우가 많고, 고화질의 이미지를 생성하기가 어렵다. 본 연구에서는 CycleGAN 기반의 몽타주 생성 기법을 제안하며, 아티팩트 제거와 업샘플링의 역할을 하기 위해 DFDNET을 적용함으로써 기존 연구에서의 단점을 개선하였다. 제안한 방법은 몽타주 생성 모델에서 기존 CycleGAN만 사용했을 때보다 더 좋은 품질을 얻을 수 있었고, 몽타주 생성 연구에 있어 DFDNET을 통한 화질 개선 및 고해상도 생성 네트워크가 몽타주를 생성하는데 도움을 줄 수 있음을 확인하였다.

CycleGAN-Based Depth Completion for Autonomous Vehicles자율주행차량을 위한 CycleGAN 기반 Depth Completion 기법

응 웬민찌,유명식 한국통신학회 2022 韓國通信學會論文誌 Vol.47 No.5

Depth completion is a challenging task supporting the purpose of scene understanding and environment perception in an autonomous vehicle. The existing method considered multiple modals input such as RGB images and depth LIDAR images to utilize the complementary characteristics of those two sensors. However, traditional autoencoder approaches have shown limitations in representing the data in low dimensional space. Moreover, depth discontinuity also happened when fusing the camera image and LIDAR image due to the light sensitivity in the RGB image. In our study, we are adapting CycleGAN focusing on learning the distribution of the data rather than the pixel density to reconstruct the depth into dense one. We also consider the semantic segmentation as additional input to mitigate the depth discontinuity problem. Our framework is trained and evaluated on the KITTI benchmark with synchronized data capturing various road scenery. The experimental results prove the proposed framework to be competitive performance and efficient in depth completion task.

CycleGAN을 이용한 편향 테이블 데이터 (Imbalanced Table Data) 오버샘플링 (Oversampling) 문제 해결 방안에 대한 연구 : 금융사기를 중심으로

노정담,최병구 한국경영정보학회 2019 한국경영정보학회 학술대회논문집 Vol.2019 No.11

현대 사회는 사람의 행동 하나가 데이터가 되며 이는 곧 엄청난 데이터의 흐름을 만든다. 20년 전 인터넷 속 전체 데이터의 양이 현대 사회속에서는 1초마다 저장된다. 이러한 추세는 앞으로 더욱 더 심화될 것이며 이러한 빅데이터를 활용하기에 따라서 엄청난 이점을 줄 수 있을 것으로 판단된다. 이러한 데이터의 분석을 위해서는 편향되지 않은 데이터가 필요한데 대부분의 빅데이터는 한쪽으로 편향인 불균형 상태며 이는 분석의 정확도를 떨어뜨리는 원인 중 하나이다. 또한 2종 오류의 비용이 큰 분야에서는 불균형 데이터를 사용한 분석을 믿을 수 없는 실정이기 때문에 이러한 문제점을 해결하는 것은 매우 중요하다. 정형 데이터 분야에서는 이러한 문제점을 해결하기 위해서 전통적인 통계 기법 방식의 오버샘플링이 발전해왔고 비정형 데이터에서는 딥러닝의 발전과 더불어 발전한 생성 모델이 불균형 문제의 해결책으로 떠올랐다. 본 연구에서는 비정형 데이터에서 오버샘플링을 하기 위해 자주 사용하는 생성 모델 중 CycleGAN을 정형 데이터에 맞게 변형시킬 것이다. 또한 GMM을 이용해 혼합 분포를 각각의 단일 분포로 분해하여 CycleGAN이 데이터의 특징을 더 잘 학습하게 만들 것이며 CycleGAN에 Classifier를 추가하여 좀 더 현실적인 데이터를 만드는 오버샘플링 기법을 만들고자 한다. 본 논문에서 제안하고자하는 오버샘플링 기법을 실험하기 위해 실제 금융사기에 관한 데이터를 PCA로 변조하여 개인정보를 가린 불균형 데이터를 사용할 것이다.

Multi Cycle Consistent Adversarial Networks for Multi Attribute Image to Image Translation

조석희(Seok Hee Jo),조규철(Kyu Cheol Cho) 한국컴퓨터정보학회 2020 韓國컴퓨터情報學會論文誌 Vol.25 No.9

이미지-이미지 변환은 입력 이미지를 통해서 목적 이미지를 만들어내는 기술로 최근 비지도 학습 구조인 GAN을 활용하여 더 실제와 같은 이미지를 만들어내는 높은 성과를 보였다. 이에 따라 GAN을 활용한 이미지-이미지 변환 연구는 다양하게 진행되고 있다. 이때 일반적으로 이미지-이미지 변환은 하나의 속성 변환을 목표한다. 그러나 실제 생활에서 사용되고 얻을 수 있는 자료들은 한 가지 특징으로 설명하기 힘든 다양한 특징으로 이루어진다. 그래서 다양한 속성을 활용하기 위하여 속성별로 이미지 생성 과정을 나누어 학습할 수 있도록 하는 다중 속성 변화를 목표로 한다면 더 이미지-이미지 변환의 역할을 잘 수행할 수 있을 것이다. 본 논문에서는 GAN을 활용한 이미지-이미지 변환 구조 중 높은 성과를 보인 CycleGAN을 활용해 이중 속성 변환 구조인 Multi CycleGAN을 제안한다. 이 구조는 입력 도메인을 두 가지의 속성에 대하여 학습하기 위하여 3개의 도메인이 양방향 학습을 진행하는 이중 변환 구조를 구현하였다. 새로운 구조를 통해 생성된 이미지와 기존 이미지-이미지 변환 구조들을 통해 생성된 이미지를 비교할 수 있도록 실험을 진행하였다. 실험 결과 새로운 구조를 통한 이미지는 입력 도메인의 속성을 유지하며 목표한 속성이 적용되는 높은 성능을 보였다. 이 구조를 활용한다면 앞으로 더 다양한 이미지를 생성하는 일이 가능지기 때문에 더 다양한 분야에서의 이미지 생성의 활용을 기대할 수 있다. Image-image translation is a technology that creates a target image through input images, and has recently shown high performance in creating a more realistic image by utilizing GAN, which is a non-map learning structure. Therefore, there are various studies on image-to-image translation using GAN. At this point, most image-to-image translations basically target one attribute translation. But the data used and obtainable in real life consist of a variety of features that are hard to explain with one feature. Therefore, if you aim to change multiple attributes that can divide the image creation process by attributes to take advantage of the various attributes, you will be able to play a better role in image-to-image translation. In this paper, we propose Multi CycleGAN, a dual attribute transformation structure, by utilizing CycleGAN, which showed high performance among image-image translation structures using GAN. This structure implements a dual transformation structure in which three domains conduct two-way learning to learn about the two properties of an input domain. Experiments have shown that images through the new structure maintain the properties of the input area and show high performance with the target properties applied. Using this structure, it is possible to create more diverse images in the future, so we can expect to utilize image generation in more diverse areas.

CycleGAN을 이용한 야간 상황 물체 검출 알고리즘

조상흠,이용,나재민,김영빈,박민우,이상환,황원준 한국멀티미디어학회 2019 멀티미디어학회논문지 Vol.22 No.1

Recently, image-based object detection has made great progress with the introduction of Convolutional Neural Network (CNN). Many trials such as Region-based CNN, Fast R-CNN, and Faster R-CNN, have been proposed for achieving better performance in object detection. YOLO has showed the best performance under consideration of both accuracy and computational complexity. However, these data- driven detection methods including YOLO have the fundamental problem is that they can not guarantee the good performance without a large number of training database. In this paper, we propose a data sampling method using CycleGAN to solve this problem, which can convert styles while retaining the characteristics of a given input image. We will generate the insufficient data samples for training more robust object detection without efforts of collecting more database. We make extensive experimental results using the day-time and night-time road images and we validate the proposed method can improve the object detection accuracy of the night-time without training night-time object databases, because we converts the day-time training images into the synthesized night-time images and we train the detection model with the real day-time images and the synthesized night-time images.

CycleGAN을 활용한 화재감지기 배치 자동화

최준희(Jun-hee Choi),조현숙(Hyun-Sug Cho) 한국정보기술학회 2022 Proceedings of KIIT Conference Vol.2022 No.6

화재감지기는 자동화재탐지설비 및 시각경보장치의 화재안전기준(NFSC203)에 따라 감지기를 배치해야한다. 화재감지기가 설치되어야하는 경계구역은 감지기의 종류, 실내 면적, 부착높이 등에 따라 범위가 달라진다. 주거용 평면도를 입력 데이터로 활용하였고, 각 경계구역별로 영역을 나누어 CycleGAN으로 적절한 위치에 화재감지기가 배치되도록 도면을 학습하여 화재감지기를 자동으로 배치하였다. 경계구역이 사각형 구조가 아닌 다양한 형태를 가졌을 경우에도 적합한 위치에 배치가 가능하였다. 또한 본 연구에 있었던 한계점을 극복하고, 감지기 배치의 입출력 간소화 및 고도화에 대한 향후 연구를 수행할 예정이다. Fire detectors should be located in accordance with the fire safety standards of automatic fire detection equipment and visual alarm systems(NFSC203). The range of the boundary area where the fire detector should be installed varies depending on the type of detector, the indoor area, and the attachment height. The residential floor plan was used as input data, and the area was divided for each boundary area, and the fire detectors were automatically placed by learning the drawings so that the fire detectors were placed in the appropriate locations through CycleGAN. Even if the boundary area had various shapes rather than a rectangular structure, it was possible to place it in an appropriate location. In addition, we plan to overcome the limitations of this study and conduct future research on simplification and advancement of input and output of detector arrangement.