Enhanced FAM method for image restoration

다국어 초록 (Multilingual Abstract)

Image restoration refers to the recovery of an underlying image from an observation corrupted by various types of noise. In digital forensic software, such an image restoration process should be noise-tolerant, robust, fast, and scalable. Among many existing models of associative memory, Fuzzy Associative Memory (FAM) is widely used in the implementation of such systems using a fuzzy Hebbian learning rule. Such methods are often based on max-min or max-product compositions for the synthesis of the weight matrix. The FAMs provide important advantages including noise tolerance, unlimited storage, and one-pass convergence nevertheless they have low capacity. FAM performance is also related to its ability to capture the content of each pattern and its association. Therefore, when the traditional FAM is applied to recover images, the recovery rate of images is high for the same individuals with different backgrounds, but low if the same individuals have the same background. To address this issue we propose a T_norm-based FAM technique. In fuzzy theory, the operations that can be applied to the value of the function to which they belong are T_norm (Triangular-norm) and T_conorm (Triangular-conorm). Here we apply the T_norm to improve the degree of repair for the FAM weighted value operation. To verify the performance of the proposed T_norm-based FAM method, we conduct experiments with 20 images. In our dataset, researchers conduct experiments with 20 images of objects damaged against the same background and 20 images of objects damaged against different backgrounds were tested.. For both cases, 90% recovery performance is achieved using the T_norm-based FAM method. This shows % recovery performance in the existing FAM. Nevertheless, the RMSE is high with the proposed T_norm-based FAM method and the existing FAM all recovered in the video.

국문 초록 (Abstract)

영상 복원은 다양한 유형의 잡음에 의해 손상된 영상에서 원 영상으로 복원하는 것이다. 디지털 포렌식 소프트웨어에서 이러한 영상 복원 프로세스는 잡음에 강하고 견고하며 빠르며 확장이 가능해야한다. 영상 복원을 위한 많은 연상 메모리 모델 중에서 퍼지 연상 메모리(FAM : Fuzzy Associative Memory)는 가중치 행렬의 합성을 위해 Max-Min 또는 Max-Product 측면에서 Fuzzy Hebbian 학습 규칙을 사용하여 이러한 구조를 성공적으로 구현한 모델 중의 하나이다. 퍼지 연상 메모리는 소음 내성, 무제한 저장 및 원 패스 수렴을 비롯한 다양한 장점을 가지고 있다. FAM의 성능을 결정하는 중요한 속성은 각 패턴의 콘텐츠를 캡처하는 기능과 패턴의 연관성이다. 따라서 기존의 퍼지 연상 메모리(FAM)을 적용하여 이미지를 복원할 경우에는 같은 객체들에 대해서 배경이 다른 경우에는 영상의 복원 정도가 높지만 같은 객체들에 대해서 배경이 같은 경우에는 복원 정도가 매우 낮게 나타난다. 이러한 문제점을 개선하기 위하여 본 논문에서는 T_norm 기반 퍼지 연상 메모리 기법을 제안한다. 퍼지 이론에서 소속 함수의 값에 적용할 수 있는 연산으로 T_norm(Triangular-norm)과 T_conorm(Triangular-conorm)이 있다. 본 논문에서는 퍼지 연상 메모리의 가중치 연산에 T-norm을 적용하여 복원 정도를 개선한다. 제안된 T_norm 기반 FAM 방법의 성능을 확인하기 위하여 20개의 영상을 대상으로 학습한 후에 같은 배경에서 객체들의 영역 일부가 손실되거나 잡음이 있는 20개 영상과 다른 배경에서 객체들의 영역 일부가 손실되거나 잡음이 있는 20개 영상을 실험하였다. 두 경우에 대해서 제안된 T_norm 기반 FAM 방법에서는 90%의 복원 성능이 나타났고 기존의 FAM에선 40%의 복원 성능을 보였다. 그러나 제안된 T_norm 기반 FAM 방법과 기존의 FAM에서 모두 복원된 영상에서의 제곱근 평균 오차 (RMSE)는 제안된 T_norm 기반 FAM 높게 나타났다.

목차 (Table of Contents)

• 1. INTRODUCTION 1
• 1.1 Background 1
• 1.2 Related Works 2
• 1.3 Dataset and Models 2
• 2. THE ASSOCIATIVE MEMORY 3
• 2.1 Introduction to Associative Memory 3
• 2.2 Graying Processing 3
• 2.3 Fuzzy Associative Memory(FAM) 5
• 2.3.1 The Development of FAM 5
• 2.3.2 Fuzzy Associative Memory 6
• 2.4 Triangular Norms of FAM 9
• 2.5 Hebb Learning Rules 13
• 2.6 Hopfield Algorithm 15
• 2.7 FAM vs Hopfield 17
• 3. METHODOLOGY 18
• 3.1 FAM-based Facial Authentication System 18
• 3.2 The Implementation of Graying 19
• 3.3 Fuzzy Associative Memory of Image Restoration 19
• 3.4 Hopfield Memory of Image Restoration 20
• 4. EXPERIMENT AND RESULT 22
• 4.1 Facial Image Date 22
• 4.2 Development Tools 23
• 4.3 Results and Analysis 23
• 4.3.1 Accuracy of the Proposed Method 29
• 4.4 Restore processing using Hopfield 31
• 5. CONCLUSION 32
• REFERENCES 33
• ABSTRACT 35