A CORBA-Based Collaborative Work Supported Medical Image Analysis and Visualization System

전준철,손재기,Chun, Jun-Chul,Son, Jae-Gi Korea Information Processing Society 2003 정보처리학회논문지D Vol.10 No.1

본 논문에서는 분산환경에서 사용자들에게 효과적인 접근성과 사용성을 제공하는 코바기반 협업 지일 의료영상 분석 덴 가시화 시스템을 소개한다. 개발된 시스템은 분산환경에서 의료영상 분활 및 모델링과 같은 의료영상 분석 및 처리 기능을 제공하며 아울러 의료영상 데이터의 효율적 관리 기능을 제공한다. 영상의 분류 및 특정 세포조직의 추출은 베이지안 방법과 활성 윤곽선 모델등 적용하여 수행되며, 획득된 영상의 특성정보는 의료영상의 실시간 3차원 모델링에 사용된다. 개발된 시스템은 브로드 케스팅과 동기화 메커니즘에 기반하여 시스템을 사용하는 다중 사용자들간의 협동작업을 지원한다. 본 시스템은 분산 프로그램을 지원하는 자바 및 코바에 의해 개발되었으며, 따라서 클라이언트는 분산 객체의 위치나 분산객체가 수행되는 운영체제에 관한 정보가 없이도 메소드 호출방법에 의해 서버 객체에 접근할 수 있다. In this paper, a CORBA-based collaborative medical image analysis and visualization system, which provides high accessibility and usability of the system for the users on distributed environment is introduced. The system allows us to manage datasets and manipulates medical images such as segmentation and volume visualization of computed geometry from biomedical images in distributed environments. Using Bayesian classification technique and an active contour model the system provides classification results of medical images or boundary information of specific tissue. Based on such information, the system can create real time 3D volume model from medical imagery. Moreover, the developed system supports collaborative work among multiple users using broadcasting and synchronization mechanisms. Since the system is developed using Java and CORBA, which provide distributed programming, the remote clients can access server objects via method invocation, without knowing where the distributed objects reside or what operating system it executes on.

에지와 컬러 정보를 결합한 안면 분할 기반의 손실 함수를 적용한 메이크업 변환

임소현,전준철,Lim, So-hyun,Chun, Jun-chul 한국인터넷정보학회 2022 인터넷정보학회논문지 Vol.23 No.4

메이크업은 사람의 외모를 개선하는 가장 보편적인 방법이다. 하지만 메이크업의 스타일이 매우 다양하기 때문에 한 개인이 본인에게 직접 메이크업을 하는 것에는 많은 시간적, 비용적 문제점이 존재한다. 이에 따라 메이크업 자동화에 대한 필요성이 증가하고 있다. 메이크업의 자동화를 위해 메이크업 변환(Makeup Transfer)가 연구되고 있다. 메이크업 변환은 메이크업이 없는 얼굴 영상에 메이크업 스타일을 적용시키는 분야이다. 메이크업 변환은 전통적인 영상 처리 기반의 방법과 딥러닝 기반의 방법으로 나눌 수 있다. 특히 딥러닝 기반의 방법에서는 적대적 생성 신경망을 기반으로 한 연구가 많이 수행되었다. 하지만 두 가지 방법 모두 결과 영상이 부자연스럽거나 메이크업 변환의 결과가 뚜렷하지 않고 번지거나 메이크업 스타일 얼굴 영상의 영향을 많이 받는다는 단점이 있다. 메이크업의 뚜렷한 경계를 표현하고 메이크업 스타일 얼굴 영상에서 받는 영향을 완화시키기 위해 본 연구에서는 메이크업 영역을 분할하고 HoG(Histogram of Gradient)를 사용해 손실 함수를 계산한다. HoG는 영상 내에 존재하는 에지의 크기와 방향성을 통해 영상의 특징을 추출하는 방법이다. 이를 통해 에지에 대해 강건한 학습을 수행하는 메이크업 변환에 대해 제안한다. 제안한 모델을 통해 생성된 영상과 베이스 모델로 사용하는 BeautyGAN을 통해 생성된 영상을 비교해 본 연구에서 제안한 모델의 성능이 더 뛰어남을 확인하고 추가로 제시할 수 있는 얼굴 정보에 대한 사용 방법을 향후 연구로 제시한다. Makeup is the most common way to improve a person's appearance. However, since makeup styles are very diverse, there are many time and cost problems for an individual to apply makeup directly to himself/herself.. Accordingly, the need for makeup automation is increasing. Makeup transfer is being studied for makeup automation. Makeup transfer is a field of applying makeup style to a face image without makeup. Makeup transfer can be divided into a traditional image processing-based method and a deep learning-based method. In particular, in deep learning-based methods, many studies based on Generative Adversarial Networks have been performed. However, both methods have disadvantages in that the resulting image is unnatural, the result of makeup conversion is not clear, and it is smeared or heavily influenced by the makeup style face image. In order to express the clear boundary of makeup and to alleviate the influence of makeup style facial images, this study divides the makeup area and calculates the loss function using HoG (Histogram of Gradient). HoG is a method of extracting image features through the size and directionality of edges present in the image. Through this, we propose a makeup transfer network that performs robust learning on edges.By comparing the image generated through the proposed model with the image generated through BeautyGAN used as the base model, it was confirmed that the performance of the model proposed in this study was superior, and the method of using facial information that can be additionally presented as a future study.

전자선 빔 치료 시 삼차원프린터를 이용하여 제작한 환자맞춤형 볼루스의 유용성 및 선량 정확도 평가

최우근,전준철,주상규,민병준,박수연,남희림,홍채선,김민규,구범용,임도훈,Choi, Woo Keun,Chun, Jun Chul,Ju, Sang Gyu,Min, Byung Jun,Park, Su Yeon,Nam, Hee Rim,Hong, Chae-Seon,Kim, MinKyu,Koo, Bum Yong,Lim, Do Hoon 한국의학물리학회 2016 의학물리 Vol.27 No.2

삼차원 프린터(3DP)를 이용하여 환자맞춤형 전자선 치료용 볼루스(patient specific customized bolus, PSCB)를 제작하는 절차를 고안하고 제안된 방법으로 제작한 PSCB의 선량 정확도를 평가했다. 치료계획장치에서 치료계획표적용적(PTV)에 적합한 전자선 빔과 조사면 크기를 선택하고 초기 선량계산을 수행했다. 계산된 선량분포를 기반으로 PSCB를 그리고 재계산을 수행했다. 수 차례 반복을 통해 최상의 PSCB를 설계하고 설계된 윤곽자료를 DICOMRT 프로토콜을 이용해 자체 제작한 변환프로그램으로 전송했다. PSCB의 윤곽자료는 자체 변환프로그램을 이용해 3DP에서 인식 가능한 파일(STL 포맷)로 변환한 후 3DP를 이용해 제작했다. PSCB의 유용성을 검증하기 위해 2명의 가상 환자(오목, 볼록 유형)를 생성했고 각각의 환자에 가상의 PTV와 정상장기(OAR)을 생성했다. 3D-PSCB 를 사용했을 때와 사용하지 않았을 때의 선량체적히스토그램(DVH)와 선량 특성을 비교했다. 3D-PSCB 제작의 정확도를 분석하기 위해 필름 선량측정을 통해 선량 정확도를 평가했다. 치료계획 결과와 필름을 이용한 선량분포를 중첩한 후 빔 중심축에서의 심부선량곡선을 구했고 감마분석(3% 선량 오차와 3 mm 거리오차)을 수행 했다. 2명의 가상환자 모두에서 PSCB를 사용한 경우 PTV 선량은 큰 차이를 보이지 않았다. PSCB를 사용할 경우 PSCB를 사용하지 않는 경우에 비해 OAR의 최대 선량, 최소선량, 평균선량은 각각 평균 9.7%, 36.6%, 28.3% 감소했다. 처방선량의 90% 선량($V_{90%}$)을 받는 OAR의 용적은 PSCB를 적용할 경우 약 99% 낮아졌다(14.40 vs $0.1cm^3$). 또한 처방선량의 80% 선량을 받는 OAR 체적도 PSCB를 사용할 경우 약 91% 줄었다(42.6 vs $3.7cm^3$). 감마분석 결과(3%, 3 mm) 오목 및 볼록 볼루스를 적용한 경우 각각 95%, 98% 통과율(pass rate)을 보였다. 3DP를 이용해 PSCB를 제작하는 절차를 정립하고 선량적 정확도를 평가해서 임상적용이 가능한 만족할 만한 결과를 얻었다. 3DP 기술의 빠른 발전에 힘입어 PSCB의 임상적용이 좀 더 쉬워지고 적용대상이 확장될 것으로 생각된다. We develop a manufacture procedure for the production of a patient specific customized bolus (PSCB) using a 3D printer (3DP). The dosimetric accuracy of the 3D-PSCB is evaluated for electron beam therapy. In order to cover the required planning target volume (PTV), we select the proper electron beam energy and the field size through initial dose calculation using a treatment planning system. The PSCB is delineated based on the initial dose distribution. The dose calculation is repeated after applying the PSCB. We iteratively fine-tune the PSCB shape until the plan quality is sufficient to meet the required clinical criteria. Then the contour data of the PSCB is transferred to an in-house conversion software through the DICOMRT protocol. This contour data is converted into the 3DP data format, STereoLithography data format and then printed using a 3DP. Two virtual patients, having concave and convex shapes, were generated with a virtual PTV and an organ at risk (OAR). Then, two corresponding electron treatment plans with and without a PSCB were generated to evaluate the dosimetric effect of the PSCB. The dosimetric characteristics and dose volume histograms for the PTV and OAR are compared in both plans. Film dosimetry is performed to verify the dosimetric accuracy of the 3D-PSCB. The calculated planar dose distribution is compared to that measured using film dosimetry taken from the beam central axis. We compare the percent depth dose curve and gamma analysis (the dose difference is 3%, and the distance to agreement is 3 mm) results. No significant difference in the PTV dose is observed in the plan with the PSCB compared to that without the PSCB. The maximum, minimum, and mean doses of the OAR in the plan with the PSCB were significantly reduced by 9.7%, 36.6%, and 28.3%, respectively, compared to those in the plan without the PSCB. By applying the PSCB, the OAR volumes receiving 90% and 80% of the prescribed dose were reduced from $14.40cm^3$ to $0.1cm^3$ and from $42.6cm^3$ to $3.7cm^3$, respectively, in comparison to that without using the PSCB. The gamma pass rates of the concave and convex plans were 95% and 98%, respectively. A new procedure of the fabrication of a PSCB is developed using a 3DP. We confirm the usefulness and dosimetric accuracy of the 3D-PSCB for the clinical use. Thus, rapidly advancing 3DP technology is able to ease and expand clinical implementation of the PSCB.

얼굴 모션 추정과 표정 복제에 의한 3차원 얼굴 애니메이션

권오륜,전준철,Kwon, Oh-Ryun,Chun, Jun-Chul 한국정보처리학회 2007 정보처리학회논문지B Vol.14 No.4

본 논문에서는 강건한 얼굴 포즈 추정과 실시간 표정제어가 가능한 비전 기반 3차원 얼굴 모델의 자동 표정 생성 방법 및 시스템을 제안한다. 기존의 비전 기반 3차원 얼굴 애니메이션에 관한 연구는 얼굴의 움직임을 나타내는 모션 추정을 반영하지 못하고 얼굴 표정 생성에 초점을 맞추고 있다. 그러나, 얼굴 포즈를 정확히 추정하여 반영하는 작업은 현실감 있는 얼굴 애니메이션을 위해서 중요한 이슈로 인식되고 있다. 본 연구 에서는 얼굴 포즈추정과 얼굴 표정제어가 동시에 가능한 통합 애니메이션 시스템을 제안 하였다. 제안된 얼굴 모델의 표정 생성 시스템은 크게 얼굴 검출, 얼굴 모션 추정, 표정 제어로 구성되어 있다. 얼굴 검출은 비모수적 HT 컬러 모델과 템플릿 매칭을 통해 수행된다. 검출된 얼굴 영역으로부터 얼굴 모션 추정과 얼굴 표정 제어를 수행한다. 얼굴 모션 추정을 위하여 3차원 실린더 모델을 검출된 얼굴 영역에 투영하고 광류(optical flow) 알고리즘을 이용하여 얼굴의 모션을 추정하며 추정된 결과를 3차원 얼굴 모델에 적용한다. 얼굴 모델의 표정을 생성하기 위해 특징점 기반의 얼굴 모델 표정 생성 방법을 적용한다. 얼굴의 구조적 정보와 템플릿 매칭을 이용하여 주요 얼굴 특징점을 검출하며 광류 알고리즘에 의하여 특징점을 추적한다. 추적된 특징점의 위치는 얼굴의 모션 정보와 표정 정보의 조합으로 이루어져있기 때문에 기하학적 변환을 이용하여 얼굴의 방향이 정면이었을 경우의 특징점의 변위인 애니메이션 매개변수(parameters)를 계산한다. 결국 얼굴 표정 복제는 두 개의 정합과정을 통해 수행된다. 애니메이션 매개변수 3차원 얼굴 모델의 주요 특징점(제어점)의 이동은 획득된 애니메이션 매개변수를 적용하여 수행하며, 정점 주위의 부가적 정점의 위치는 RBF(Radial Basis Function) 보간법을 통해 변형한다. 실험결과 본 논문에서 제안된 비전기반 애니메이션 시스템은 비디오 영상으로부터 강건한 얼굴 포즈 추정과 얼굴의 표정변화를 잘 반영하여 현실감 있는 애니메이션을 생성함을 입증할 수 있었다. This paper presents vision-based 3D facial expression animation technique and system which provide the robust 3D head pose estimation and real-time facial expression control. Many researches of 3D face animation have been done for the facial expression control itself rather than focusing on 3D head motion tracking. However, the head motion tracking is one of critical issues to be solved for developing realistic facial animation. In this research, we developed an integrated animation system that includes 3D head motion tracking and facial expression control at the same time. The proposed system consists of three major phases: face detection, 3D head motion tracking, and facial expression control. For face detection, with the non-parametric HT skin color model and template matching, we can detect the facial region efficiently from video frame. For 3D head motion tracking, we exploit the cylindrical head model that is projected to the initial head motion template. Given an initial reference template of the face image and the corresponding head motion, the cylindrical head model is created and the foil head motion is traced based on the optical flow method. For the facial expression cloning we utilize the feature-based method, The major facial feature points are detected by the geometry of information of the face with template matching and traced by optical flow. Since the locations of varying feature points are composed of head motion and facial expression information, the animation parameters which describe the variation of the facial features are acquired from geometrically transformed frontal head pose image. Finally, the facial expression cloning is done by two fitting process. The control points of the 3D model are varied applying the animation parameters to the face model, and the non-feature points around the control points are changed by use of Radial Basis Function(RBF). From the experiment, we can prove that the developed vision-based animation system can create realistic facial animation with robust head pose estimation and facial variation from input video image.

확장된 이차오차 척도를 이용한 개선된 메쉬 간략화

한태화,전준철,Han Tae-hwa,Chun Jun-chul 한국정보처리학회 2004 정보처리학회논문지 A Vol.11 No.5

최근 복잡한 3차원 모델의 활용 범위가 확대됨에 따라 메쉬 모델의 간략화에 관한 연구가 활발히 진행되고 있다. 본 논문에서는 기존의 모델 간략화 과정에서 널리 사용되는 모델의 정점에 대한 위치 정보에 근거한 기하 정보 기반의 간략화 방법에 모델의 속성 정보를 동시에 이용한 새로운 간략화 방법을 제시한다. 대부분의 3차원 메쉬 모델의 정보에는 기하 정보뿐만 아니라 모델의 색상, 질감, 그리고 곡률 등과 같은 속성 정보가 포함되며, 기존의 간략화 방법은 통상적으로 기하학적 정보나 속성 정보를 개별적으로 적용하여 메쉬를 간략화 한다. 본 논문에서 제시된 간략화 방법은 모델의 기하학 정보와 속성 정보를 동시에 적용하여 메쉬 간략화를 수행하였다. 특히 본 논문에서는 메쉬의 간략화에 상대적으로 수행 시간과 충실도에 장점을 지닌 이차 오차 척도(quadric error metric)를 확장하여 일반적인 기하학적 정보에 속성 정보를 추가하였다. 따라서, 제안된 메쉬 간략화 방법은 기하 정보기반으로 간략화를 수행하는 이차 오차 척도에 속성 정보가 추가된 간단한 이차식으로 확장하여 표현할 수 있다. 이는 기하 정보만을 이용하였을 때의 이차식의 공간 차수를 m=0으로 두었을 때 추가된 속성 정보의 특성에 따라 차수를 확장 함(m>0)으로서 계산이 가능하다. 실험 결과, 제안된 방법에 의한 모델의 간략화 결과를 원 모델과 비교 시 기하 정보만을 이용한 기존의 간략화 방법의 수행 결과에 비하여 모델의 전체적인 외형 등 특성 정보의 충실도가 높다는 것을 입증할 수 있었다. Recently, the studies for mesh simplification have been increased according to the application area of the complicate 3D mesh models has been expanded. This paper introduces a novel method for mesh simplification which uses the properties of the mesh model in addition to the geometric locations of the model. The information of the 3D mesh model Includes surface properties such as color, texture, and curvature information as well as geometic information of the model. The most of current simplification methods adopt such geometric information and surface properties individually for mesh simplification. However, the proposed simplification method combines the geometric information and solace properties and applies them to the simplification process simultaneously. In this paper, we exploit the extended geometry based quadric error metric(QEM) which relatively allows fast and accurate geometric simplification of mesh. Thus, the proposed mesh simplification utilizes the quadric error metric based on geometric information and the surface properties such as color, normal, and texture. The proposed mesh simplification method can be expressed as a simple quadric equation which expands the quadric error metric based on geometric information by adding surface properties such as color, normal, and texture. From the experimental results, the simplification of the mesh model based on the proposed method shows the high fidelity to original model in some respects such as global appearance rather than using current geometry based simplification.

컬러에지의 벡터적 결합을 이용한 e-카탈로그 영상 검색

황의선,박상근,전준철,Hwang, Yei-Seon,Park, Sang-Gun,Chun, Jun-Chul 한국정보처리학회 2002 정보처리학회논문지B Vol.9 No.5

영상의 에지정보를 이용한 내용기반 영상 검색 방법은 현재 MPEG-7(Moving Picture Experts Group) 에서 제안된 에지 서술자(edge descriptor)가 대표적인 방법이며, 이때 사용된 에지의 정보는 영상의 명암도에 따른 에지히스토그램을 이용하고 있다. 본 논문에서는 새로운 컬러 에지 추출 방법을 제시하고, 제안된 방법에 의해 컬러 에지히스토그램을 특징 값으로 하는 내용기반 영상검색 방법을 제시하였다. 아울러 제안된 방법에 기반하여 인터넷 쇼핑몰에서 사용되는 e-카탈로그 상품 영상 검색에 적용하였다. 성능평가를 위하여 기존 MPEG-7에서 제시된 에지히스토그램에 의한 영상검색 방법과 비교하여 보았으며 실험결과 제안된 방법이 검색에 있어서 우수함을 입증할 수 있었다. 컬러에지의 추출은 컬러 영상의 R,G,B 채널의 각 성분의 벡터적 결합방법과 에지 맵의 벡터 노름(norm) 특성화를 통하여 이루어진다. 결과적으로 내용기반 영상 검색은 생성된 최종 에지모델이 갖는 에지의 방향성을 이용한 컬러 에지히스토그램을 통하여 수행된다. The edge descriptor proposed by MPEG-7 standard is a representative approach for the contents-based image retrieval using the edge information. In the edge descriptor, the edge information is the edge histogram derived from a gray-level value image. This paper proposes a new method which extracts color edge information from color images and a new approach for the contents-based image retrieval based on the color edge histogram. The poposed method and technique are applied to image retrieval of the e-catalogue. For the evaluation, the results of image retrieval using the proposed approach are compared with those of image retrieval using the edge descriptor by MPEG-7 and the statistics shows the efficiency of the proposed method. The proposed color edge model is made by combining the R,G,B channel components vectorially and by characterizing the vector norm of the edge map. The color edge histogram using the direction of the color edge model is subsequently used for the contents-based image retrieval.

양선형 보간법을 이용한 텍스츄어 매핑

강형곤(Kang Hyoung-kon),전준철(Chun Jun-chul) 한국정보과학회 1999 한국정보과학회 학술발표논문집 Vol.26 No.1B

텍스츄어 매핑은 2차원 공간 또는 다중차원 공간의 텍스츄어를 3차원 공간 물체의 표면에 함수로써 매핑하는 방법이다. 텍스츄어 매핑에 있어 주요 관심사는 보간 방법과 안티엘리어싱의 문제이다. 보간은 선형 보간법, 최근접 화소 보간법, 양선형 보간법이 있다. 안티엘리어싱은 고주파 성분을 추출에 의한 제거 방법과 샘플링 방법 등이 있는데 샘플링 방법이 가장 사용되고 있다. 본 논문에서는 개선된 영상을 생성하는 양선형 보간법에 의해 2차원 텍스츄어 영상을 3차원 물체에 매핑시키는 방법과 그 실행 예를 보여준다.

얼굴 모델 특징 정보 검출을 위한 효율적인 변형 가능한 템플릿

민경필(Kyong Pil Min),전준철(Jun Chul Chun),박구락(Koo Rack Park) 한국HCI학회 2004 한국HCI학회 학술대회 Vol.2004 No.2

3D 모델과 Optical flow 를 이용한 실시간 얼굴 모션 추정

권오륜(Oh Ryun Kwon),전준철(Jun Chul Chun) 한국HCI학회 2006 한국HCI학회 학술대회 Vol.2006 No.2

신경망을 이용한 다채널 의료영상 분류의 최적화

민경필(Min Kyong-Pil),전준철(Chun Jun-Chul) 한국정보과학회 1997 한국정보과학회 학술발표논문집 Vol.24 No.2Ⅱ

영상을 이해하기 위해서는 영상을 구성하고 있는 데이터를 나누어주기 위한 영상분류과정을 거쳐야 한다. 여러 영상분류 방법가운데 최근 관심을 모으는 분야 중 하나는 인간의 뇌신경을 모방한 신경망을 이용한 분류방법이다. 본 논문에서는 홉필드망을 이용하여 의료영상중 하나인 자기공명영상을 분류하는 방법과 홉필드망의 단점인 수렴속도문제와 에너지함수가 항상 전역적 최소치로 수렴하는 것을 보장하지 못한다는 점을 해결하기 위한 방법을 제시한다. 단점을 해결하기 위해서 우선 과다한 클래스맵의 생성과, 처리속도의 향상을 위해 입력 값을 임의로 설정하는 대신 Agglomerative 군집화 알고리즘에의해 초기 값을 입력해주는 방법과, 지역적 최소치로 수렴하는 문제를 해결하기 위해서 Mean Field Annealing 알고리즘을 적용하였으며, 뇌에 대한 자기공명영상에 임의로 잡음을 생성하여 생성전과 생성후의 분류결과와 기존의 방법에 의한 분류결과를 비교하여 성능을 평가한다. 본 연구에서 제안된 방법은 자기공명영상처럼 다채널영상으로 이루어진 멀티스펙트럼영상이나 멀티밴드영상의 분류에도 유용하게 사용될 것이다.