(A) Featured Area-based Image Registration with Outlier Removal by K-Means Clustering

Mudasar Qadir 명지대학교 대학원 2015 국내석사

Image registration is necessary when images from multiple viewpoints need to be brought into common coordinate system. Image registration techniques can be classified as area-based methods and feature-based methods. In area-based methods, no features are selected and regularly tessellated areas are usually used for matching. In feature-based methods, features such as regions, lines, and prominent points are detected and used for matching. When image contains rich features, feature-based methods are preferred and when it does not, area-based methods are usually adopted. There are occasions where richness of features varies locally in the image. In this case, either area-based methods or feature-based methods alone may not generate successful results. In this paper, we propose a mixture of two methods termed as featured area-based method. In the proposed, we first tessellate the image into equal-sized areas, estimate richness of features of each area utilizing the edge direction histogram, choose only those areas with a certain level of richness, use them for matching, remove outliers, and perform registration. For image registration, we compared the proposed with well-known conventional methods such as Kanade-Lucas-Tomasi(KLT) method, speeded up robust features (SURF), and scale-invariant feature transform (SIFT), and showed that the proposed performs better than others. For outlier removal, we propose the K-means clustering and compare with random sample consensus (RANSAC) and showed that the proposed performed better. 여러 시점에서 취득한 영상을 하나의 공통된 좌표 계로 옮기기 위해서는 영상 registration 과정이 필요하다. 영상 registration 방법은 크게 영역기반 방법과 특징기반 방법으로 나눌 수 있다. 영역기반 방법에서는 특징이 사용되지 않고, 정합을 위해서 일정 크기로 나뉜 영역을 사용한다. 특징기반 방법에서는 영역, 선, 특징 점 등의 특징을 찾아내고 정합에 사용한다. 영상이 풍부한 특징을 가지고 있을 때는 특징기반 방법이 주로 사용되고 그렇지 못할 때는 주로 영역기반 방법이 채택된다. 영상에 따라서는 특징의 풍부 성이 영상 내 위치에 따라 달라지는 경우가 있다. 이 때에는 영역기반 혹은 특징기반 방법 하나만으로는 만족스러운 결과를 얻기 힘들다. 이 논문에서는 이를 해결하기 위해 영역기반과 특징기반을 혼합한 방법을 제안한다. 제안된 방법에서는 영상을 일정 크기의 영역으로 분할하고, 에지 방향 히스토그램을 이용하여 영역별 특징의 풍부 성을 측정하며, 일정 레벨 이상의 풍부 성을 가진 영역만을 선택하여 정합, outlier 제거와 registration에 사용한다. 영상 registration을 위해서 제안된 방법을 기존의 방법들인 Kanade-Lucas-Tomasi(KLT) 방법, speeded up robust features (SURF), scale-invariant feature transform (SIFT)와 비교하여 제안된 방법이 더 좋은 결과를 얻음을 보였다. Outlier 제거를 위해서는 K-means clustering 방법을 제안하였는데, 기존의 방법인 random sample consensus (RANSAC) 보다 더 나은 결과를 얻었다

TKR 수술에서의 영역 기반 3차원 영상정합 기술에 관한 연구

기재홍 연세대학교 대학원 2006 국내석사

2차원 의료 영상을 바탕으로 3차원 영상을 재구성하는 기술은 의사에게 수술시 필요한 다양한 정보를 제공하는 것을 가능하게 하고 있다. 과거의 의료 영상은 x-ray를 통해 획득된 2차원 영상이었기 때문에, 3차원의 공간적 특성을 인식하는데 많은 제한 사항이 있었다. 하지만 현재 개발되어 있는 CT, MRI, PET, Ultrasonic 등의 영상 장비는 의사에게 3차원 영상 정보의 제공을 가능하게 하고 있다. 그러나 이러한 3차원 영상 장비의 개발에도 불구하고, 이들 장비들은 수술 전과 후의 영상을 제공하기 때문에 수술 중에 필요한 환자의 수술 진행사항에 대한 정보를 제공하는 것에는 제한 점을 가지고 있었다.따라서 최근 개발되고 있는 의학 영상장비들은 Image Guided Surgery (IGS) 시스템의 개념이 다양하게 시도되고 있다. IGS는 지금까지 의사가 수술을 진행하는데 있어서 의사 개인의 수술 경험을 바탕으로 이루어진 수술 방식이 아닌 의학 영상의 안내를 통해 보다 정확하고 객관적인 수술을 가능하도록 하는 시스템을 개발하려는 시도라고 할 수 있다. 3차원 영상을 제공하는 영상 장비와 수술 중의 환부의 상태를 비교하기 위해서는 필수적으로 영상 정합(image registration) 기술이 요구된다. 지금까지 시도된 대부분의 IGS 시스템은 환자의 환부 주변에 부착된 참조 마커(fiducial marker)의 위치를 인식하여 영상 정합을 시도하는 방법이었다. 하지만 이러한 방식은 수술 전에 환자의 환부에 참조 마커를 고정 시켜야 하는 과정이 필요하고, 수술의 종류에 따라 참조 마커의 크기가 클 경우, 환자에게 침습적(invasive)이었다. 또한 대부분의 참조 마커는 금속 재질이기 때문에 CT와 같은 영상 장비를 통해 영상을 획득할 시, 예상되지 않는 노이즈를 생성 시킬 수 있었다. 그리고 수술 중에 이러한 마커는 환부 외부로 노출되어 있기 때문에 추가적인 상해를 입힐 수 있다는 단점이 있었다. 따라서 본 논문에서는 이러한 참조 마커 기반의 영상 정합 방식의 단점들을 극복할 수 있는 영역 기반의 3차원 영상 정합 방법을 적용하였다. 영역 기반의 3차원 영상 정합 방법은 의료 영상 장비로부터 얻어진 2차원 영상들을 바탕으로 재구성된 3차원 영상 모델의 기하학적 특징과 수술 중 환부로부터 획득된 일부의 샘플 포인트들을 바탕으로 3차원 영상 정합을 하는 방법이다. 본 연구에서는 3차원 정합 지점을 찾기 위한 방법으로 Iterative Closest Points (ICP) 알고리즘을 사용하였다. 또한 여기서 최적 포인트를 찾는 방법에 있어서 고속의 영상정합과 높은 정확도를 획득하기 위하여 쿼터니온(quaternion) 기반의 closed form solution을 사용하였다. 본 논문에서 적용한 ICP 알고리즘은 Total Knee Replacement (TKR) 수술에 적용하기 위하여 최적화 되었다. 따라서 본 논문에서는 TKR 수술에서 사용 가능 할 수 있도록 최소의 샘플 포인트들을 바탕으로 최상의 3차원 영상 정합을 얻기 위한 영역 기반의 3차원 영상 정합 방법을 제시하고 평가하였다. Development of 3D image technique from medical 2D images made it possible that a doctor could be offered various information for surgical operation. It was difficult that the 3D spatial analysis of disease when medical 2D images were acquired from X-ray.Recent invention of image modalities such as CT, MRI, PET, and Ultrasound enables image modalities to offer a doctor information of 3D image. However, these image modalities can not provide a surgeon with the information of surgical process for intra-operation.Therefore, Image Guided Surgery (IGS) system have variously tried in medical fields. IGS system is able to give a surgeon objective information of operation process like decision making and surgical planning. This information is displayed through 3D images which are acquired from image modalities like CT and MRI for pre-operation.The technique of image registration is necessary to construct IGS system. Image registration means that 3D model reconstructed from 2D slice images of patient and the object operated by a surgeon are matched on the common frame.Major techniques of registration in IGS system have been used by recognizing fiducial markers placed on the object. Techniques of image registration using fiducial markers are easy to make a system because this algorithm matches the position of fiducial marker on the object and the corresponding marker's position on 3D model.However, this method has been criticized due to its invasive protocol inserting fiducial markers in patient's bone. In addition, marker can generate noise data when 2D slice images are acquired by image modality because many markers are made of metal. Besides, additional trauma can happen due to projected markers on the object.Therefore, shape-based registration technique using geometric characteristics of the object has been invested to improve the limitation of fiducial marker based IGS system. However, shape-based registration technique needs more complex algorithm because sample data acquired from the object must be found the corresponding position on the 3D model by algorithm.Generally, Iterative Closest Points (ICP) algorithm has been used to match two objects. The ICP algorithm can make accurate matching when corresponding points are exact. In this study, we made the region-based 3D image registration algorithm to find exact corresponding point on the 3D image model. In addition, quaternion based rotation and translation transformation using closed form solution are applied to find the optimized cost function of transformation.We assumed that this algorithm were used in Total Knee Replacement (TKR) operation. Accordingly, we have developed region-based 3D registration technique based on anatomical landmarks on the object and this registration algorithm was evaluated in a femur model. It was found that region-based algorithm can improve the accuracy in 3D registration. We expect that this technique can efficiently improve the IGS system in the TKR operation.

Efficient Neural Representations for 3D Vision: Rendering, Reconstruction, and Registration

신지윤 서울대학교 대학원 2025 국내박사

This dissertation is structured around four main sections or chapters entitled: MRI Imputation based on Fused Index- and Intensity-Registration, NeRFlex: Flexible Neural Radiance Fields with Diffeomorphic Deformation, Learning Dual Hierarchical Representation for 3D Surface Reconstruction, and A Plug-In Curriculum Scheduler for Improved Deformable Medical Image Registration. The four chapters can be broadly divided into two main topics: neural fields in visual computing and medical imaging. Neural fields refer to domains that are fully or partially parameterized by neural networks. Visual computing, a branch of computer science, is dedicated to acquiring, analyzing, synthesizing, and interacting with visual data, encompassing areas such as computer vision, computer graphics, image processing, and visualization. Consequently, neural fields in visual computing involve implicit representations of 3D shapes, which include neural rendering and implicit surface representation. These topics are explored in detail in Chapters 2 and 3, respectively. Medical imaging faces several challenges when integrating AI, including high scanning costs, extended scanning times, and motion artifacts. Collectively, these issues contribute to a common obstacle: insufficient data. One widely studied approach to addressing this challenge is medical image registration - a process that computes non-linear transformations to align image pairs by maximizing specific similarity metrics between them. Medical image registration has diverse applications, such as synthesizing data for augmentation, identifying semantic segmentation labels for missing subcortical structures, generating registration templates, and aligning varying numbers of scans across different imaging sequences. The latter topic is discussed in Chapter 1, while methods to enhance the accuracy of image registration are covered in Chapter 4. 이 논문은 다음 네 가지 주요 섹션 또는 장으로 구성되어 있습니다: 1. 지표 및 강도 기반 정합을 융합한 MRI 보간, 2. NeRFlex: 미분동형 변형을 적용한 유연한 신경 방사 필드, 3. 3D 표면 재구성을 위한 이중 계층적 표현 학습, 4. 변형 가능 의료 영상 정합 향상을 위한 플러그인 커리큘럼 스케줄러. 네 개의 장은 크게 두 가지 주요 주제로 나눌 수 있습니다: 시각 컴퓨팅에서의 신경 필드와 의료 영상입니다. 신경 필드는 신경망에 의해 완전히 또는 부분적으로 매개변수화된 영역을 의미합니다. 시각 컴퓨팅은 시각 데이터를 획득, 분석, 합성 및 상호작용하는 데 초점을 맞춘 컴퓨터 과학의 한 분야로, 컴퓨터 비전, 컴퓨터 그래픽스, 이미지 처리, 시각화 등의 영역을 포함합니다. 따라서, 시각 컴퓨팅에서의 신경 필드는 3D 형태의 암묵적 표현을 포함하며, 여기에는 신경 렌더링과 암묵적 표면 표현이 포함됩니다. 이러한 주제는 각각 2장과 3장에서 자세히 다뤄집니다. 의료 이미징에서 AI를 통합할 때는 높은 스캔 비용, 긴 스캔 시간, 그리고 움직임으로 인한 아티팩트와 같은 여러 문제가 존재합니다. 이러한 문제들은 종합적으로 ``데이터 부족"이라는 공통적인 장애물을 형성합니다. 이 문제를 해결하기 위해 널리 연구된 접근법 중 하나는 의료 영상 정합으로, 특정 유사성 메트릭을 극대화하여 이미지 쌍을 정렬하기 위해 비선형 변환을 계산하는 과정입니다. 의료 영상 정합은 데이터 증강을 위한 데이터 생성, 부족한 피질하 구조에 대한 의미론적 세분화 레이블 식별, 정합 템플릿 생성, 그리고 다양한 영상 시퀀스에서 서로 다른 수의 스캔 정렬 등 다양한 응용 분야를 가지고 있습니다. 이 중 마지막 주제는 1장에서 논의되며, 이미지 정합의 정확성을 높이는 방법은 4장에서 다루고 있습니다.

Image Segmentation-Registration Cooperative Techniques Applied to Biomedicine and Remote Sensing

Okorie, Azubuike ProQuest Dissertations & Theses Delaware State Uni 2022 해외박사(DDOD)

The topic of this dissertation is the development of segmentation–registration and registration–segmentation cooperative techniques for applications in remote sensing and biomedical imaging domains. On one hand, image segmentation is the process of partitioning digital images into meaningful regions, while on the other hand, image registration which is the process of establishing a correspondence for the alignment of two images of the same scene portraying viewpoint, temporal or sensor variations. Image registration and segmentation are useful in many domains of application in computer vision and biomedicine. In biomedical applications, accurate region delineation is useful for tissue identification, tissue quantification and cell tracking. In addition, correct alignment of images may be critical for detection of tumors, changes in body tissues, the effect of aging on the bone structure, or diseases in the body. Hence aiding treatment planning, clinical diagnosis, and clinical trials. In satellite–remote sensing applications, segmentation may be used for target recogniction, and object detection, while a precise alignment of images may be important for target and change detection, urban planning, and many other applications. In the part of this work that relates to automated registration via segmentation, we propose a joint region feature set and a matching cost function for registration of remote sensing/satellite images exhibiting multi-sensor, multi-spectral, and multi-view characteristics. Our joint region descriptor is a combination of Fourier, intensity, and shape features. Our work first delineates the input and reference images into regions by segmentation. Next, it extract joint intensity and shape features from the regions. It computes region similarity measures for feature matching. Finally, it estimate the geometric transform by the maximum-likelihood sampling consensus (MLESAC) technique. Our results are promising, showing potentials for sub-pixel accuracy. In addition, our algorithm outperformed most state-of-the-art automated feature-based registration algorithms incorporating feature detection and extraction algorithms such as SURF-SURF, BRISK-SURF, HARRIS-FREAK, FAST-FREAK, minimum eigenvalue-FREAK, and KAZE-KAZE.Furthermore, this work proposes an unsupervised subspace learning-based disaster mapping (SLDM) technique using pre- and post-disaster satellite imagery. It first finds the geometric transformation for automatic image registration by matching regions represented by shape and intensity descriptors as described above. It produces piece-wise constant approximations of the two images using the delineated regions. It performs subspace learning in the joint regional space to produce a change map and identify the damaged regions by probabilistic subspace distances between test points and the subspace model.We tested our method on seven disaster datasets including four wildfire events, two flooding events and one tsunami/earthquake event. Comparative analysis of our method with state-of-the-art techniques, such as Gabor Two-Level Clustering (G-TLC), image differencing and differenced-spectiral indices (NDVI, NBR, and NDWI) indicate that the proposed SLDM framework and especially the multi-band variant SLDM-SF-MS-MB produced more accurate disaster maps than the compared method, overall. Quantitative and qualitative evaluations of the proposed SLDM method confirm its capacity for disaster mapping, and its applicability to different categories of disaster events. In the segmentation approach using deformable registration models, our work first introduces a statistical shape modeling technique for atlas generation and multi-atlas-based image segmentation (MAIS) techniques for the identification of soft and hard tissues in biomedical imaging data. To calculate the deformation fields, it employed multi-grid free-form deformation (FFD) models with B-splines, symmetric log-domain extension of diffeomorphic demons (SDD) or Symmetric Normalization (SyN) from the Advanced Normalization Tools (ANTs) library. It then applies majority voting, or Simultaneous Truth And Performance Level Estimation (STAPLE) for label fusion. It compared the results of our MAIS methodology for each deformable registration model and each label fusion method, using Dice similarity coefficient scores (DSC) against manually segmented tissue label maps. It applied MAIS methods: FFD-STPL, SDD-STPL, and SyN-STPL, to two datasets: 2D peripheral quantitative computed tomography (pQCT) scans in the lower leg and 3D thigh magnetic resonance images (MRIs), where STPL stands for simultaneous truth and performance level estimation or STAPLE. Our results are encouraging for both applications, even for pQCT scans with considerable quality degradations – such as motion artifacts, or when boundaries between tissues are ambiguous because of physiological reasons. SDD-STPL outperformed FFD-STPL and SyN-STPL on both datasets. Furthermore, our method applied the BM3D algorithm to enhance the statistical atlas generated for the 3D thigh MRI dataset, and generated silver truth with our MAIS model. Statistical enhancement using BM3D improved our MAIS result better than other image enhancement techniques, including Wiener filtering, unsharp-masking, histogram equalization and histogram matching.

GPU based multi-sensor image registration and fusion system

유승훈 Graduate School, Korea University 2010 국내박사

This thesis presents a straightforward system consisting of a registration and a fusion method over GPU, which generates good results at high speed, compared to non-GPU-based systems. GPU (Graphics Processing Unit) has surfaced as a high-quality platform for computer vision-based system. The power and flexibility of GPU provide an attractive platform for computationally demanding tasks with respect to specific graphics computations and general-purpose computations (which is also the target of general-purpose GPU, called GPGPU.). Many GPU-based implementations are actually much faster than comparable CPU implementations. Consequently, GPU has been used to help accelerate computations in various fields such as image processing, linear algebra, sorting, computational physics, and database queries Our GPU-accelerated system utilizes existing methods through converting the methods into the GPU-based platform. The proposed GPU-based image fusion system is made up of two main steps: image registration and fusion steps. Point pattern matching method is used to find a registering transformation estimated with the incremental parameters in a coarse-to-fine way and then pixel-level image fusion algorithms are used to fuse the results from the registration stage. Overall processes are summarized as follows. First, we extract edges and get them through the filter used in TNO (TNO is the national research establishment of the Netherlands.) fusion method, which is based on image information and frequency, and gives good performance in image fusion. Second, point matching is performed as follows. Feature points are selected from extracted edge points in the two images. Then, we count the number of matching pairs after varying the transformation parameters with respect to a predetermined quantity. This step is repeated several times and the parameters giving the maximum number of matching pairs are selected as the answer to the transformation. If the distance between matching pairs is less than a given value, the matching pairs are regarded as correct. Parameters with the maximum value of matched feature pairs set the mapping function parameters and image re-sampling and transformation are executed. To reduce computational complexity, the Gaussian pyramid approach is applied during registration. At each resolution level, the variation of the parameters is differently defined. In this way, mapping function parameters are found simultaneously with the feature correspondence and local error does not make an impact on the global estimation. Finally pixel-level image fusion algorithms are used to fuse the results from the registration stage. We classified conventional pixel-level fusion methods into four groups and experimented with as the type of each group: adaptive weighted averaging (AWA) image fusion, color-based image fusion, pyramidal-based image fusion, and wavelet-based image fusion. We evaluate performance with the same methods that are executed over both CPU-only and GPU-mounted environment. We tested on a few pairs of aerial images taken by electro-optical and infrared sensors to provide visual information of a scene for environmental observatories. The experiment results show our GPU-friendly system accelerates registration and fusion processing without compromising speed with accuracy. In our approach, we adopt the methods using point features and multi-scale techniques, since those methods easily fit the vertex and fragment programs of GPU with single-pass and multi-pass procedure. In addition, we adapt our method to the GPU architecture with the emergence of the NVIDIA's newest model, CUDA (compute unified device architecture), which provides less constrained and easily accessible programming environment. As a result, the GPGPU implementation was able to achieve between 3.1x-5.8x speedup while the CUDA implementation was able to obtain between 1.8x-4.9x speedup.

A patient-to-CT registration method based on spherical unwrapping and H-K curvature descriptors in image guided surgery : H-K 곡률 기술자 및 구 좌표계 변환을 이용한 영상 유도 수술의 환자-CT 데이터 좌표계 정합 방법

권기훈 경북대학교 대학원 2017 국내석사

영상 유도 수술에서 수술 중 CT 및 MRI와 같은 미리 촬영된 의료영상을 적극적으로 활용하려면 실제 환자와 환자의 의료 영상간의 좌표계 정합 과정인 image-to-patient registration가 필요하다. 본 논문에서는 여러 image-to-patient registration 방법 중에 3차원 표면 측정 데이터를 활용한 방법을 중점적으로 다룬다. 표면 측정 센서로 환자 수술 부위의 표면을 측정 한 후, 이 표면 데이터와 CT 및 MRI 데이터간의 좌표계 정합을 위해서는 3차원 데이터 정밀 정합 알고리즘이 필요한데, 그 중 가장 널리 사용되는 것이 ICP 알고리즘이다. 그러나 ICP 알고리즘은 정합 전 적절한 초기 위치가 설정되지 않은 경우 실행시간도 오래 걸리고 국소최저치에 빠져 제대로 정합이 되지 않을 수도 있다. 물론 ICP를 수행하기 전에 적절한 초기 위치를 수동으로 설정 할 수도 있지만, 이는 불편하고 사용자의 숙련도에 따라 정합의 정확도와 실행시간이 달라진다. 본 논문에서는 이러한 문제들을 해결한 자동 image-to-patient registration 방법을 제안한다. 정합할 3차원 데이터들을 2차원 곡률 이미지로 변환 후, 이 곡률 이미지간의 매칭으로 구한 매칭 포인트들을 3차원 좌표로 역 변환해서 CT 데이터에서 3차원 ROI를 추출 할 수 있고, 이는 ICP 정합을 위한 적절한 초기 위치가 된다. 추출된 CT ROI를 환자의 표면 측정 데이터와 ICP 알고리즘으로 정밀 정합함으로 자동 image-to-patient registration이 구현된다. 정합시킬 일부 영역만 추출해서 사용하므로 국소최저치에 빠지지 않고, ICP 실행시간도 단축시킬 수 있다. 그리고 데이터의 회전, 병진, 변형에도 견고한 특성을 지닌 곡률 기반의 이미지 매칭을 통해 알고리즘의 안정성을 향상시켰다.

Regularized adaptive high-resolution image reconstruction considering inaccurate subpixel registration : 부정확한 부화소 단위의 움직임 추정 오류에 적응적인 정규화된 고해상도 영상 재구성 연구

이은실 연세대학교 대학원 2002 국내박사

기존의 영상 획득 시스템들이 어느 정도의 엘리어싱을 허용하도록 제작되어왔음에도 불구하고, 고해상도 영상에 대한 요구는 점점 더 증가되고 있다. 따라서 엘리어싱이 발생한 다수의 저해상도 영상으로부터 하나의 고해상도 영상을 재구성해 내는 디지털 영상 처리기법이 연구되어져 왔다. 본 논문에서는 부정확한 부화소 단위의 움직임 추정오류를 고려한 정규화된 고해상도 영상 재구성 알고리즘을 제안한다. 부정확한 부화소 단위의 움직임 추정오류로 인해 생기는 불량위치문제(ill-poseness)를 극복하기 위하여 정규화된 반복연산법을 적용하였다. 특히 여러 장의 저해상도 영상들을 개별적으로 고려하는데 적합한 다중채널 영상 재구성 방법을 도입하였다. 각 저해상도 영상에서 발생하는 움직임 추정오류는 서로 다른 경향을 가지고 있으므로, 정규화 파라미터들은 각 채널에 맞게 결정되어야한다. 이를 위해 자동적으로 정규화 파라미터들을 결정하는 두 가지 방법을 제안한다. 제안된 알고리즘은 움직임 추정 오류에 매우 안정하며, 원영상과 잡음에 대한 사전정보가 필요하지 않다. 정규화 파라미터 결정과 고해상도 영상 재구성 과정에서 필요한 정보들은 매 반복마다 부분적으로 복원된 고해상도 영상으로부터 새롭게 구해진다. 제안된 알고리즘은 주관적인 측면이나 객관적인 측면에서 모두 우수한 결과를 실험적으로 보였다. The demand for high-resolution images is gradually increasing, whereas many imaging systems yield aliased and undersampled images during image acquisition. Thus, digital image processing approaches have been investigated to reconstruct a high-resolution image from aliased low-resolution images. In this thesis, we propose a high-resolution image reconstruction algorithm considering inaccurate subpixel registration. A regularized iterative reconstruction algorithm is adopted to overcome the ill-posedness problem resulting from inaccurate subpixel registration. In particular, we use multichannel image reconstruction algorithms suitable for applications with multiframe environments. Since the registration error in each low-resolution image has a different pattern, the regularization parameters are determined adaptively for each channel. We propose two methods for estimating the regularization parameter automatically. The regularized minimization functional was minimized by the gradient descent method. The proposed algorithms are robust against the registration error noise, and they do not require any prior information about the original image or the registration error process. Information needed to determine the regularization parameter and to reconstruct the image is update at each iteration step based on the available partially reconstructed image. Experimental results indicate that the proposed algorithms outperform conventional approaches in terms of both objective measurements and visual evaluation.

Deep Learning-based Airway Segmentation and Lung Registration for Human Respiratory System : 인간의 호흡 기계를 위한 딥러닝 기반의 기도 분할 및 폐 등록

Ho, Thi Thao 경북대학교 대학원 2023 국내박사

의료 영상은 최근 몇십 년 동안 치료 결과 평가, 질병 모니터링 및 진단을 위한 다양한 임상 응용 분야에서 급속하게 발전해 왔습니다. 딥러닝 기술을 활용한 학습 기반 방법은 전통적인 방법에 비해 효율적인 대안으로 점차 인식되고 있습니다. 본 논문은 폐 영상 분야에서 변형 가능한 영상 등록 및 기도 메쉬 부드러움 문제에 대해 다루고 있습니다. 변형 가능한 영상 등 록은 여러 방사선 치료 응용에 있어서 중요합니다. 그러나 흡입과 토출 사이의 상당하고 비선형적인 변형 때문에 계산된 전산화 단층 촬영(CT) 폐 영상의 빠른 등록은 도전입니다. 이 문제를 해결하기 위해 본 연구에서는 지도 학습 없는 폐 등록 네트워크(LRN)를 제안하고 있습니다. LRN은 호흡과내외순간에 획득한 두 개의 CT 기반 폐 데이터셋을 싸이클 일관성 훈련을 통해 정렬합니다. 이 모델은 이미지 유사성, 정규화 및 야코비안 행렬식 등 세 가지 손실 함수를 사용합니다. 결과는 LRN이 최근의 최첨단 지도 학습없는 등록 방법(VoxelMorph)보다 우수한 성능을 보였으며, 전통적인 알고리즘(SSTVD)과 비슷한 수준입니다. 폴딩된 복셀 없이 2초 미만으로 변위 벡터필드를 추정하여, 학습 기반 방법의 성능이 부착 마커 추적 및 소프트 조직정렬에 거의 실시간 속도로 우월함을 입증하였습니다. 제안된 방법은 폐 운동 추적 및 영상 유도 수술과 같은 시간에 민감한 폐 연구에 큰 잠재력을 보여줍니다. 이 연구에서는 또한 평활하지 않은 입력 메쉬에서 지도 학습없는 DL 방법을 제안함으로써 3D 기도 기하 모델의 평활 문제에 대해 다루고 있습니다. 우리는 기도 메쉬 평활 학습 방법(AMSL)을 제안하였으며, 이는 메쉬의 정점 위치. Medical imaging has grown rapidly for many clinical applications in the evaluation of treatment outcomes, disease monitoring, and diagnosis over the past few decades. Computer-aided medical image analysis has a major impact on clinical practices. Learning-based methods utilizing deep learning techniques are being increasingly viewed as efficient alternatives to traditional methods. This thesis deals with the problems of deformable image registration and airway mesh smoothing in the context of lung imaging. Deformable image registration is crucial for multiple radiation therapy applications. However, registering computed tomography (CT) lung images rapidly presents a challenge due to the significant and nonlinear deformation between inhale and exhale. To address this issue, this study proposes an unsupervised lung registration network (LRN) with cycle-consistent training. The LRN aligns two CT-derived lung datasets acquired during breath holds at inspiratory and expiratory levels, without relying on any ground-truth registration results. The LRN model uses three loss functions, namely image similarity, regularization, and Jacobian determinant. The results showed that the LRN outperformed a recent state-of-the-art unsupervised registration method (VoxelMorph), which is comparable to that of the traditional algorithm (sum of squared tissue volume difference; SSTVD). The displacement vector field was estimated in under 2 seconds without encountering any folded voxels, demonstrating the superiority of the learning-based method with respect to fiducial marker tracking and overall soft tissue alignment with a nearly real-time speed. The proposed method shows great potential for use in time-sensitive pulmonary studies, such as lung motion tracking and image-guided surgery. This study also addresses 3D airway geometric model smoothing problems by proposing an unsupervised DL method from an unsmooth input mesh. We proposed an airway mesh smoothing learning (AMSL) method, which trains jointly two graph convolution networks on the mesh to filter both vertex positions and facet normal vectors. The proposed method is inspired by the deep mesh prior (DMP) model, which utilizes graph neural network to obtain a self-prior for mesh restoration. The network inputs a single noisy mesh and directly outputs the smoothing airway mesh, without the need for any ground-truth meshes. The experiment results showed that the proposed unsupervised method achieved equally or even better performance than the traditional or state-of-the-art DL methods. The AMSL is trained without a vast dataset or ground-truth meshes and automatically smooths different types of meshes. Given a CT-segmented airway surface, the proposed method automatically smooths subject-specific models containing anatomical information regarding branches, diameters, and image-based surface geometry. The resulting airway model with idealized branch diameters can be useful for computational fluid dynamic (CFD) simulations and anatomical reality.

Robot-patient registration for image-guided robotic surgery in bone fracture reduction

Gukyeong Han DGIST 2020 국내석사

Image-guided robotic bone fracture surgery is a medical procedure that automatically positions and controls a surgical robot for aligning fractured bones. In this robotic surgery, the key task is to find an accu-rate relationship between the robot and the bone, which is referred to as robot-patient registration. In the robot-patient registration, robot and bone structures often interfere mutually to hide important features which are used for a registration in X-ray images, thus leading to inaccurate registration. In order to solve this problem, an optimization method using two bidirectional X-ray images is pro-posed. Using alternative image information, undesired feature occlusion can be avoided. In addition, by the optimization based on the distance between features, registration error can be reduced. The experimental results show that the proposed robot-patient registration can improve the accuracy of the robot-patient registration. 본 논문은 이미지 유도 로봇 골절 수술의 지표가 되는 골절 수술 내비게이션 화면을 표기하는 데에 필요한 로봇-환자 정합의 정확도를 높이기 위한 최적화 방법에 대해 다룬다. 이미지 유도 로봇 골절 수술은 골절 뼈를 정렬하기 위해 수술 로봇을 자동으로 배치하고 제어하는 의료 절차이며, X-ray 영상 이 로봇 수술에서 정확한 골절 수술 내비게이션 구현을 위해선 로봇과 뼈 사이의 정확한 관계를 C-arm 영상 내의 정보만을 이용해 찾는 것이 가장 중요하다. 이는 로봇-환자 정합이라고 정의한다. 이 로봇-환자 정합은 2D/3D 정합이라 불리는 3D model과 2D 영상의 특징점 매칭을 통해 얻어지게 된다. 로봇 환자 정합을 위한 영상과 3D 모델 간의 2D/3D 정합을 할 때, 로봇과 뼈는 서로의 2D/3D 정합을 방해하는 장애물이 된다. 이런 장애물에 의한 정합 오차는 C-arm영상 상에서 각 물체가 정합에 사용되는 중요한 특징을 가릴 시 발생한다. 이를 해결하기 위해 두 개의 양방향 X 선 영상을 이용한 최적화 방법이 제안하였다. 대체 이미지 정보를 사용하면 특징 가림에 의한 정합 오차를 최소화할 수 있다. 실험 결과는 제안 된 로봇 환자 정합이 로봇 환자 정합의 정확성을 향상시킬 수 있음을 보여준다.

Automatic satellite image co-registration using outlier removal techniques

김종홍 Graduate School, Yonsei University 2007 국내석사

Image co-registration is the process of overlaying two images of the same scene. One is a reference image the other is slave image which is geometrically transformed to the reference image. The importance of image co-registration is getting increased as the application of satellite imagery is increasing. Numerous methods have been developed for the automated image co-registration and it is known as a time-consuming and/or computation-intensive procedure. In order to improve efficiency and effectiveness of the co-registration of satellite imagery, this study proposes a pre-qualified area matching, which is composed of feature extraction with Laplacian filter and area matching algorithm using correlation coefficient. Moreover, to improve the accuracy of co-registration, the outliers in the initial matching point should be removed. For this purpose, two outlier detection techniques, such as studentized residual and modified RANSAC algorithms, are used in this study. Three pairs of Landsat images were used for performance test, and the results were compared and evaluated in terms of robustness and efficiency. The overall processing time is around 600~700 seconds with usual desktop computer equipped 3.0GHz CPU and 2GB RAM. The average RMSE is 0.4810 pixel in case of using studentized residual and 0.2702 pixel in case of applying modified RANSAC algorithm. 영상좌표 상호등록은 기하보정된 기준영상(Reference image)에 취득영상(Slave image)를 중첩시키는 과정으로서 최근 위성영상의 사용 분야가 확대됨에 따라 그 중요성이 부각되고 있다. 이를 자동으로 처리하기 위한 다양한 연구가 진행되었으나, 일반적으로 영상좌표 상호등록은 엄청난 양의 계산을 동반하므로 시간이 오래 소요된다는 단점이 있었다. 이에 본 연구에서는 라플라스 경계추출 연산자를 활용하여 기준영상에서 경계를 추출하고 영역기반정합법을 적용하는 ‘사전검수 영역기반 정합법’을 제안하여, 전체 영상좌표 상호등록에 소요되는 시간을 현저히 단축시켰다. 영상좌표 상호등록의 결과의 정확도를 향상시키기 위해서는 최초 추출된 정합점에 존재하는 과대오차 제거가 필요하며, 이를 위해 Studentized 잔차를 이용하는 방법과 수정된 RANSAC 알고리즘을 적용하여 최초 정합점간에 포함된 과대오차를 제거하였다. 테스트 프로그램을 작성하였고, 한반도 전역을 포함하는 3쌍의 Landsat영상을 이용하여 실험을 실시하였다.실험을 통하여 본 연구에서 제안한 영상좌표 상호등록 알고리즘의 정확도 및 효율성을 평가하였고, 최근 일반적으로 많이 사용되고 있는 3.0GHz CPU, 2GB 메모리를 장비한 컴퓨터에서 실험을 실시하였다.영상좌표 상호등록 과정중에 사용자의 추가 조작이 일체 이루어지지 않는 자동화된 프로그램을 작성하였고 전체 연산에 걸리는 시간은 과대오차 제거에 소요되는 시간을 포함하여 600~700초가 소요됨으로서 일반적인 영역기반 정합법을 사용하는 경우에 비해 제안된 알고리즘이 높은 효율성을 가짐을 확인할 수 있었다.정확도는 잔차의 평균제곱근오차를 이용하여 분석하였다. 3쌍의 영상의 상태에 따라 편차가 존재했지만 과대오차제거 방법으로 Studentized 잔차를 이용한 경우 사용된 평균제곱근오차의 평균값은 1.4431 영상소에서 0.4810 영상소로, 수정된 RANSAC 알고리즘을 적용한 경우 평균제곱근 오차의 평균은 1.4431 영상소에서 0.2702 영상소로 크게 감소함을 확인할 수 있었다. 두 가지 방법 모두 0.5 영상소 이하의 평균 제곱근 오차를 보임으로서 만족할 만한 정확도를 확보하였다고 할 수 있으며, Studentized 잔차를 이용할 때, 좀 더 많은 정합점을 보존할 수 있었으나 정확도는 수정된 RANSAC 알고리즘이 더 우수하게 나타났다.