다중 시계열 패턴인식을 이용한 반도체 생산장치의 지능형 감시시스템

이중재,권오범,김계영,Lee, Joong-Jae,Kwon, O-Bum,Kim, Gye-Young 한국정보처리학회 2004 정보처리학회논문지D Vol.11 No.3

본 논문에서는 다중 시계열 패턴인식 사용하여 생산장치의 상태자료부터 공정결과를 예측하여 정상 또는 비정상을 판정하는 지능형 감시시스템에 관하여 기술한다. 제안하는 감시스템은 초기화, 학습 그리고 인식의 세 단계로 구성된다. 초기화 단계에서는 감시대상의 생산장치가 가지는 인사들 각각의 가중치와 각 인자들이 가지는 시계열 자료 중에서 학습과 인식에 유효단계를 설정한다. 학습단계에서는 LBG알고리즘을 사용하여 이 생산장치에 의하여 생성되고 수집된 패턴들을 군집화 한다. 각 패턴은 시계열 형태의 자료와 처리 완료 후 계측기에 의하여 측정된 ACI로 구성된다. 인식단계에서는 DTW를 사용하여 실시간으로 입력된 패턴과 군집화된 패턴들 사이의 대응을 수행하여 가장 잘 정합되는 패턴을 찾는다. 다음은 이 패턴이 가지는 ACI, 차 그리고 가중치들의 조합으로 예측된 ACI 값을 산출한다. 최종적으로 예측된 ACI가 정상으로 수용할 수 있는 값 범위에 없는지 여부를 결정한다. 제안하는 시스템의 성능평가를 위하여 식각장치로부터 획득된 자료를 대상으로 실험하였다. 실험결과에서는 학습횟수가 증가함에 따라 예측 ACI값과 실측ACI값 사이의 오차가 현저히 감소함을 볼 수 있다 This paper describes an intelligent real-time monitoring system of a semiconductor processing equipment, which determines normal or not for a wafer in processing, using multiple time-series pattern recognition. The proposed system consists of three phases, initialization, learning and real-time prediction. The initialization phase sets the weights and tile effective steps for all parameters of a monitoring equipment. The learning phase clusters time series patterns, which are producted and fathered for processing wafers by the equipment, using LBG algorithm. Each pattern has an ACI which is measured by a tester at the end of a process The real-time prediction phase corresponds a time series entered by real-time with the clustered patterns using Dynamic Time Warping, and finds the best matched pattern. Then it calculates a predicted ACI from a combination of the ACI, the difference and the weights. Finally it determines Spec in or out for the wafer. The proposed system is tested on the data acquired from etching device. The results show that the error between the estimated ACI and the actual measurement ACI is remarkably reduced according to the number of learning increases.

부분적 폐색에 강건한 활동적 퓨전 모델

이중재,이근수,김계영,Lee Joong-Jae,Lee Geun-Soo,Kim Gye-Young 한국정보처리학회 2006 정보처리학회논문지B Vol.13 No.1

이동 물체 추적에 있어서 배경과 이동 물체의 동적인 변화는 폐색이라는 문제를 발생시키는 중요한 원인이다. 그리고 이러한 폐색이 발생하는 환경에서는 이동 물체 추적의 정확도가 현저하게 감소한다 따라서 본 논문에서는 배경 또는 다른 물체에 의해 발생하는 부분적 폐색에 강건한 활동적 퓨전 모델을 제안한다. 활동적 퓨전 모델은 이동 물체의 경계선 특징을 기반으로 하는 전통적인 기존의 스네이크 모델과 경계선 내부의 영역 특징을 고려하는 영역 기반 스네이크 모델로 구성된다. 이것은 먼저 이동 물체에 발생하는 부분적 폐색의 종류를 윤곽선 폐색과 영역폐색으로 구분한 뒤 폐색이 발생하는 위치와 폐색량에 따라서 각 모델의 신뢰도를 조절함으로써 부분적 폐색문제를 극복한다. 실험 결과에서는 부분적으로 폐색이 발생하는 환경에서 기본 방법들이 이동물체 추적에 실패하는 반면에 제안하는 방법은 추적에 성공함을 보인다. The dynamic change of background and moving objects is an important factor which causes the problem of occlusion in tracking moving objects. The tracking accuracy is also remarkably decreased in the presence of occlusion. We therefore propose an active fusion model which is robust against partial occlusions that are occurred by background and other objects. The active fusion model is consisted of contour-based md region-based snake. The former is a conventional snake model using contour features of a moving object and the latter is a regional snake model which considers region features inside its boundary. First, this model classifies total occlusion into contour and region occlusion. And then it adjusts the confidence of each model based on calculating the location and amount of occlusion, so it can overcome the problem of occlusion. Experimental results show that the proposed method can successfully track a moving object but the previous methods fail to track it under partial occlusion.

퍼지 분류기법을 이용한 강건한 카메라 동작 추정

이중재,김계영,최형일,Lee, Joong-Jae,Kim, Gye-Young,Choi, Hyung-Il 한국정보처리학회 2006 정보처리학회논문지B Vol.13 No.7

본 논문에서는 두 영상간의 대응관계로부터 퍼지 분류기법을 이용한 강건한 카메라 동작 추정 방법을 제안한다. 제안한 방법에서는 이상치가 존재할 때 정확한 카메라 동작을 추정하기 위하여 대표적인 강건 예측기법인 RANSAC 알고리즘을 사용한다. 그런데 RANSAC은 사전에 결정되는 이상치의 비율에 따라 정확도가 좌우되는 샘플링 문제점을 가지고 있다. 이러한 문제점을 개선하기 위해 샘플링 시에 퍼지 분류기법을 이용하여 전체 샘플을 좋은, 모호한, 나쁜 샘플로 분류한다. 그런 후에 좋은 데이터에 대해서만 샘플링을 수행함으로써 이상치 제거에 대한 정확도를 향상시킨다. 실험에서는 호모그래피 계산에 대한 성능을 비교함으로써 제안한 방법의 우수함을 보인다. In this paper, we propose a method for robustly estimating camera motion using fuzzy classification from the correspondences between two images. We use a RANSAC(Random Sample Consensus) algorithm to obtain accurate camera motion estimates in the presence of outliers. The drawback of RANSAC is that its performance depends on a prior knowledge of the outlier ratio. To resolve this problem the proposed method classifies samples into three classes(good sample set, bad sample set and vague sample set) using fuzzy classification. It then improves classification accuracy omitting outliers by iteratively sampling in only good sample set. The experimental results show that the proposed approach is very effective for computing a homography.

네트워크 환경에서의 몰입형 상호작용을 위한 딥러닝 기반 그룹 동기화 기법

이중재,Lee, Joong-Jae 한국정보처리학회 2022 정보처리학회논문지. 컴퓨터 및 통신시스템 Vol.11 No.10

본 논문에서는 네트워크 환경에서 원격사용자들의 몰입형 상호작용을 위한 딥러닝 기반의 그룹 동기화 기법을 제안한다. 그룹 동기화의 목적은 사용자의 몰입감을 높이기 위해서 모든 참여자가 동시에 상호작용이 가능하게 하는 것이다. 기존 방법은 시간 정확도를 향상을 위해 대부분 NTP(Network Time Protocol) 기반의 시간 동기화 방식에 초점이 맞추어져 있다. 동기화 서버에서는 미디어 재생 시간을 제어하기 위해 이동 평균 필터를 사용한다. 그 한 예로서, 지수 가중평균 방법은 입력 데이터의 변화가 크지 않으면 정확하게 재생 시간을 추종하고 예측하나 네트워크, 코덱, 시스템 상태의 급격한 변화가 있을 때는 안정화를 위해 더 많이 시간이 필요하다. 이런 문제점을 개선하기 위해서 데이터의 특성을 반영할 수 있는 딥러닝 기반의 그룹 동기화 기법인 DeepGroupSync를 제안한다. 제안한 딥러닝 모델은 시계열의 재생 지연 시간을 이용하여 최적의 재생 시간을 예측하는 두 개의 GRU(gated recurrent unit) 계층과 하나의 완전 연결 계층으로 구성된다. 실험에서는 기존의 지수 가중평균 기반 방법과 제안한 DeepGroupSync 방법에 대한 성능을 평가한다. 실험 결과로부터 예상하지 못한 급격한 네트워크 조건 변화에 대해서 제안한 방법이 기존 방법보다 더 강건함을 볼 수 있다. This paper presents a deep learning based group synchronization that supports networked immersive interactions between remote users. The goal of group synchronization is to enable all participants to synchronously interact with others for increasing user presence Most previous methods focus on NTP-based clock synchronization to enhance time accuracy. Moving average filters are used to control media playout time on the synchronization server. As an example, the exponentially weighted moving average(EWMA) would be able to track and estimate accurate playout time if the changes in input data are not significant. However it needs more time to be stable for any given change over time due to codec and system loads or fluctuations in network status. To tackle this problem, this work proposes the Deep Group Synchronization(DeepGroupSync), a group synchronization based on deep learning that models important features from the data. This model consists of two Gated Recurrent Unit(GRU) layers and one fully-connected layer, which predicts an optimal playout time by utilizing the sequential playout delays. The experiments are conducted with an existing method that uses the EWMA and the proposed method that uses the DeepGroupSync. The results show that the proposed method are more robust against unpredictable or rapid network condition changes than the existing method.

퍼지 RANSAC을 이용한 강건한 인수 예측

이중재(Joong-Jae Lee),장효종(Hyo-Jong Jang),김계영(Gye-Young Kim),최형일(Hyung-il Choi) 한국정보과학회 2006 정보과학회논문지 : 소프트웨어 및 응용 Vol.33 No.2

컴퓨터 비전 분야에서 다루는 많은 문제는 대부분 수학적 모델을 기반으로 하고 있으며 그 모델의 인수를 예측하는 방법을 사용하여 주어진 문제에 대한 최적의 해를 구한다. 그런데 입력 데이타 집합에 보통의 잡음에 비해 상대적으로 크기가 큰 이상치가 포함되어 있다면 이것은 부정확한 결과를 초래한다. 이러한 문제를 해결하기 위해 사용되는 대표적인 방법으로 강건한 예측기법인 RANSAC 알고리즘이 있다. 기존 RANSAC 알고리즘의 가장 큰 문제점은 이상치의 비율과 같은 데이타 분포에 대한 사전지식이 필요하다는 것이다. 본 논문에서는 이러한 문제점을 해결하기 위해 매 반복 수행시마다 퍼지분류 기법을 이용하여 전체 데이타를 좋은 샘플집합(good sample set)과 나쁜 샘플집합(bad sample set) 그리고 모호한 샘플집합(vague sample set)으로 분류한 뒤 좋은 샘플집합에서만 샘플링을 해나감으로써 이상치에 대한 제거율과 해의 정확도를 향상시키는 FRANSAC 알고리즘을 제안한다. 실험 결과에서는 제안한 알고리즘을 각각 선형회귀 문제와 호모그래피 계산 문제에 대해 적용했을 때의 성능을 보인다. Many problems in computer vision are mainly based on mathematical models. Their optimal solutions can be found by estimating the parameters of each model. However, provided an input data set is involved outliers which are relatively larger than normal noises, they lead to incorrect results. RANSAC is a representative robust algorithm which is used to resolve the problem. One major problem with RANSAC is that it needs priori knowledge(i.e. a percentage of outliers) of the distribution of data. To solve this problem, we propose a FRANSAC algorithm which improves the rejection rate of outliers and the accuracy of solutions. This is peformed by categorizing all data into good sample set, bad sample set and vague sample set using a fuzzy classification at each iteration and sampling in only good sample set. In the experimental results, we show that the performance of the proposed algorithm when it is applied to the linear regression and the calculation of a homography.

타원체형 모델 기반의 영상정렬 알고리즘을 이용한 얼굴 텍스쳐 생성

이중재(Joong Jae Lee),노명우(Myung Woo Noh),최형일(Hyung Il Choi) 한국정보과학회 2005 정보과학회논문지 : 소프트웨어 및 응용 Vol.32 No.1

본 논문에서는 얼굴 형태와 유사한 타원체형 모델의 가변적 블록크기를 기반으로 하는 영상정렬 알고리즘을 제안한다. 블록정합 수행 시 좌우 곡률만을 고려한 기존의 실린더형 원형모델 방법은 좌우영상에 대하여 정확한 정렬을 수행하지만 상하 영상에 대해서는 사람의 두상모양이나 턱 구조의 특징을 반영하지 않았기 때문에 정렬오류가 발생한다. 본 논문에서 제안한 알고리즘은 타원체형 얼굴 모델의 상하좌우의 곡률에 따라 가변적인 블록크기를 사용하는 블록정합 알고리즘으로서 영상의 상관관계를 이용하여 정확한 정렬을 할 수 있다. 그리고 정렬된 영상으로부터 얼굴 텍스쳐 영상을 생성하기 위하여 영상 모자익 기법을 사용한다. 이때 중첩된 영역에 따라 선형적인 가중치를 부여하여 영상을 스티칭하고 부분적으로 나타나는 고스트 효과를 제거함으로써 더 실감 있는 텍스쳐를 생성한다. In this paper, we propose an image registration algorithm based on variable-sized blocks of ellipsoidal prototype model which is similar in shape to human face. While matching blocks, the existing cylindrical prototype model which only takes into account left and right curvature can accomplish a correct alignment on left and right images. But, registration errors are produced from up and down images because the cylindrical prototype model not reflects characteristics of head shape and jaw structure of human. The proposed method is a block matching algorithm which uses variable-sized blocks with considering left-right and up-down curvature of ellipsoidal face model and can correctly align images by using the correlation between them. We then adapt image mosaic technique to generate a face texture from aligned images. For this purpose, we stitch them with assigning linear weights according to the overlapped region and remove ghost effects to make more realistic facial texture.

개선된 퍼지 C - means 기법을 이용한 타원추출 알고리즘

이중재(Joong-Jae Lee),김계영(Gye-Young Kim),최형일(Hyung-Il Choi) 한국정보과학회 2002 한국정보과학회 학술발표논문집 Vol.29 No.2Ⅱ

영상에서 타원을 추출하는 것은 얼굴 인식, 홍채 인식과 같은 컴퓨터 비전분야에서 인식할 영역을 찾는 방법으로 상당히 유용하게 사용된다. 본 논문에서는 기존의 퍼지C-means 기법의 초기의 클러스터 개수와 중심 값에 따라서 결과가 민감하다는 단점을 보완한 개선된 퍼지 C-means 기법을 타원 추출에 적용한다. 이것은 영상 분할(Segmentation)로부터 후보 초기 클러스터 개수 및 초기 클러스터 중심을 결정하는 방법으로서 본 논문에서는 이 기법으로 영상 클러스터링을 수행하여 타원 영역 추출에 필요한 타원 후보 영역의 최소 인접 사각형(Minimum Enclosed Rectangle)을 찾아낸다. 이렇게 찾아진 최소 인접 사각형에 대해서 면적에 맞는 포기 타원들을 영역 내에 설정한 뒤 적합도(fittness)검사를 기반으로 한 타원 검증을 실시하고 적합도가 높은 영역을 타원 영역으로 추출한다.

실린더형 원형모델의 가변적 블록크기를 기반으로 하는 영상정렬 알고리즘을 이용한 얼굴 텍스쳐 생성

이중재(Joong Jae Lee),최형일(Hyung Il Choi) 한국정보과학회 2001 정보과학회논문지 : 소프트웨어 및 응용 Vol.28 No.11

본 논문에서는 실감 있는 3차원 얼굴모델 생성에 필요한 얼굴 텍스쳐를 생성하기 위해 실린더형 원형모델의 가변적 블록크기를 기반으로 하는 영상정렬 알고리즘을 제안한다. 이 알고리즘은 실린더형3차원 모델에 대한 2차원 영상을 영상의 상관관계를 이용하는 블록 정합 알고리즘을 사용해서 정렬하는 방법으로서 블록 정합을 수행할 때 동일한 블록 크기를 사용하는 기존 방법과는 달리 모델의 곡률을 고려해 가변적인 크기의 블록을 사용한다. 그리고 영상 모자익 기법을 사용해서 정렬된 영상을 하나의 텍스쳐 영상으로 생성한다. 이때 중첩된 영역에 따라 선형적인 가중치를 부여하면서 크로스디졸브 기법을 이용해 영상을 스티칭한다. We propose an image alignment algorithm based on variable-sized blocks of cylindrical prototype model to generate a face texture for a realistic 3D face model. This is a block matching algorithm which aligns 2D images of a 3D cylindrical model using the correlation between them. While matching blocks, it does not use same sized blocks but variable sized blocks with considering a curvature of 3D model. And we make a texture of aligned images using a technique of image mosaic. For this purpose, we stitch them with assigning linear weights according to the overlapped region and using the cross-dissolve technique.

Dynamic Coarse - to - Fine Control Strategy를 이용한 계층적 블록정합 알고리즘

이중재(Joong-Jae Lee),장석우(Seok-Woo Jang),최형일(Hyung-Il Choi) 한국정보과학회 2000 한국정보과학회 학술발표논문집 Vol.27 No.1B

비디오 데이터가 포함하고 있는 카메라와 이동물체의 동작정보를 추출하기 위한 대표적인 방법으로 동작벡터 추출알고리즘이 있다. 본 논문에서는 영상 내에 밝기 값 분포가 균일한 영역이 존재할 때 부정확한 정합 결과를 보이는 기존 알고리즘의 문제점과 이를 개선할 수 있는 계층적 블록정합 알고리즘의 정합오류 전파가능성, 높은 시간복잡도 문제를 동시에 해결할 수 있는 블록정합 알고리즘을 제안한다. 제안하는 알고리즘은 Coarse-to-Fine방식의 탐색방법과 Dynamic Control Strategy를 결합한 것으로서 정합한 블록의 상황에 따라 탐색 레이어를 동적으로 변경 시키는 방법을 사용한다. 본 알고리즘은 크게 두 단계로 나뉘어 지는데 탐색 레이어를 결정하는 Control변경 결정 단계와 정합도 측정함수를 통해 블록에 대한 정합 정확도를 측정하는 단계로 구성이 된다.

시간적으로 증가하는 가중치 기반의 파노라마 영상 구성

이중재(Joong-Jae Lee),장석우(Seok-Woo Jang),최형일(Hyung-Il Choi) 한국정보과학회 1999 한국정보과학회 학술발표논문집 Vol.26 No.2Ⅱ

파노라마 영상은 카메라의 동작을 고려하여 시공간적으로 영상을 정렬한 영상으로서 효과적으로 비디오 데이터를 표현할 수 있는 방법이다. 그러나 기존의 파노라마 영상 구성 기법들은 영상을 정렬할 때 오버랩(overlap)되는 화소값들을 단순히 미디언 필터링하기 때문에 시간의 경과에 따른 밝기값의 동적인 변화를 수용하지 못한다. 따라서 본 논문에서는 이런 문제점을 해결하기 위해 시간적으로 증가하는 가중치를 사용하여 영상을 통합함으로써 최근의 영상 정보를 충분히 반영하는 파노라마 영상 구성 방법을 제안한다.