Image Retrieval Process Based on Relevance Feedback and Ontology Using Decision Tree

Debnath Bhattacharyya,Dipankar Hazra,Tai-hoon Kim 보안공학연구지원센터 2015 International Journal of Multimedia and Ubiquitous Vol.10 No.10

In this paper, another strategy for immediate features based image recovery is proposed. Image database is developed with low level texture features got from Gray Level Co- Occurrence Matrix (GLCM) and measurable techniques for Tamura. Semantic level inquiries from the user mapped to the low level peculiarities at recovery time to recover the required images. Images with more than one moderate features can be recovered by utilizing intersection of images recovered by each of the queried feature. Artificial Neural Network (ANN) is utilized as a part of the following steps in the wake of accepting user inputs. In spite of the fact that semantics are utilized as search key as a part of the beginning steps, low level features are utilized as a part of the ANN based searching in later steps. Back propagation Algorithm is utilized as a part of learning step. This ANN based relevance feedback technique enhances accuracy of immediate feature based image retrieval method. Decision tree (DT) can likewise be connected in relevance feedback stage. Decision tree is framed in training stage and images will be tested by of the decision tree. Relation storing ontology related information is utilized as a part of every phase of retrieval procedure to evacuate ambiguities identified with synonyms and hypernym-homonym sets.

시맨틱 갭을 줄이기 위한 딥러닝과 행위 온톨로지의 결합 기반 이미지 검색

이승,정혜욱 사단법인 인문사회과학기술융합학회 2019 예술인문사회융합멀티미디어논문지 Vol.9 No.11

Recently, the amount of image on the Internet has rapidly increased, due to the advancement of smart devices and various approaches to effective image retrieval have been researched under these situation. Existing image retrieval methods simply detect the objects in a image and carry out image retrieval based on the label of each object. Therefore, the semantic gap occurs between the image desired by a user and the image obtained from the retrieval result. To reduce the semantic gap in image retrievals, we connect the module for multiple objects classification based on deep learning with the module for human behavior classification. And we combine the connected modules with a behavior ontology. That is to say, we propose an image retrieval system considering the relationship between objects by using the combination of deep learning and behavior ontology. We analyzed the experiment results using walking and running data to take into account dynamic behaviors in images. The proposed method can be extended to the study of automatic annotation generation of images that can improve the accuracy of image retrieval results. 최근 스마트 기기의 발전으로 인터넷상에 존재하는 이미지 데이터의 양이 급속하게 증가하는 상황에서 효과적인 이미지 검색을 위한 다양한 방법들이 연구되고 있다. 기존의 이미지 검색 방법들은 이미지에 존재하는 물체들을 단순하게 검출하여 각 물체들의 라벨 정보에 근거한 검색을 수행하기 때문에 사용자가 원하는 이미지와 검색 결과로 얻은 이미지 간에 의미적 차이인 시맨틱 갭(Semantic Gap)이 발생된다. 이미지 검색에서 발생하는 시맨틱 갭을 줄이기 위해, 본 논문에서는 딥러닝 기반의 다중 객체 분류 모듈과 사람의 행위를 분류하는 모듈을 연결하고, 이 모듈들에 행위 온톨로지를 결합하였다. 즉, 딥러닝과 행위 온톨로지의 결합을 기반으로 객체들 간의 연관성을 고려한 이미지 검색 시스템을 제안한다. 이미지에 포함된 동적인 행위를 고려하기 위해 Walking과 Running 데이터를 이용하여 실험한 결과를 분석하였다. 제안한 방법은 향후 이미지 검색 결과의 정확도를 높일 수 있는 영상의 자동 주석 생성 연구에 확장하여 적용할 수 있다.

주석기반 이미지 검색에서 개념적 이질성 극복을 위한 도메인 온톨로지 설계 및 구현

김원필 ( Won-pil Kim ),김판구 ( Pan-koo Kim ) 한국인터넷정보학회 2003 인터넷정보학회논문지 Vol.4 No.4

최근 멀티미디어 정보 시스템의 발전으로 저차원적 내용 기반 이미지 색인·검색 방법에서 의미론적 개념기반 색인·검색에 대한 연구로 바뀌어져가고 있다. 본 논문에서는 주석기반 이미지 검색에서 개념적 이질성을 극복하기 위해 온톨로지 이론의 적용에 대하여 분석하며, 또한 개념적 이질성 극복방안에 따른 온톨로지 적용 시 발생하는 문제점을 해결하고자 한다. 따라서 본 논문에서는 시각데이터에서 개념적 이질성을 극복하기 위해 새로운 도메인 온톨로지를 도입하고, 온톨로지 적용 시 문제점들을 해결한다. 실험 결과, 기존의 대형 온톨로지의 하나인 WordNet을 사용한 것보다 단어들 간의 의미적 거리가 상당히 가까워짐에 따라 개념적 이질성을 극복할 수 있었다. 또한 도메인 온톨로지를 적용하여 주석기반 이미지 검색 시 대형 온톨로지가 가지고 있던 문제점을 해소하여 좀더 의미적 이미지 검색이 가능함을 보이고 있다. As the multimedia information retrieval system is advanced, the study of multimedia information retrieval is changing the method of low-level content based image retrieval to the semantical concept based retrieval. In this paper, we apply the theory of ontology to overcome the conceptual heterogeneity in the annotation based image retrieval. And we solve the some problems that happen when the ontology apply. As a result of our study, we try to apply the domain ontology to settle the conceptual heterogenity. In the experimental result, we knew that the semantic distance among the words is pretty close when we apply the domain ontology than the wordnet. And in this paper, we show the possibility of the semantic image retrieval as we apply the domain ontology in the annotation based image retrieval.

모바일 환경에서 의미 기반 이미지 어노테이션 및 검색

노현덕,서광원,임동혁 한국멀티미디어학회 2016 멀티미디어학회논문지 Vol.19 No.8

The progress of mobile computing technology is bringing a large amount of multimedia contents such as image. Thus, we need an image retrieval system which searches semantically relevant image. In this paper, we propose a semantic image annotation and retrieval in mobile environments. Previous mobile-based annotation approaches cannot fully express the semantics of image due to the limitation of current form (i.e., keyword tagging). Our approach allows mobile devices to annotate the image automatically using the context-aware information such as temporal and spatial data. In addition, since we annotate the image using RDF(Resource Description Framework) model, we are able to query SPARQL for semantic image retrieval. Our system implemented in android environment shows that it can more fully represent the semantics of image and retrieve the images semantically comparing with other image annotation systems

모바일 환경에서 의미 기반 이미지 어노테이션 및 검색

노현덕(Hyun-Deok No),서광원(Kwang-won Seo),임동혁(Dong-Hyuk Im) 한국멀티미디어학회 2016 멀티미디어학회논문지 Vol.19 No.8

The progress of mobile computing technology is bringing a large amount of multimedia contents such as image. Thus, we need an image retrieval system which searches semantically relevant image. In this paper, we propose a semantic image annotation and retrieval in mobile environments. Previous mobile-based annotation approaches cannot fully express the semantics of image due to the limitation of current form (i.e., keyword tagging). Our approach allows mobile devices to annotate the image automatically using the context-aware information such as temporal and spatial data. In addition, since we annotate the image using RDF(Resource Description Framework) model, we are able to query SPARQL for semantic image retrieval. Our system implemented in android environment shows that it can more fully represent the semantics of image and retrieve the images semantically comparing with other image annotation systems.

의미적으로 중요한 시각적 내용의 온토로지 기반의 보안검색

칸 무함마드,이르판 메흐무르,이미영,지수미,백성욱 한국차세대컴퓨팅학회 2015 한국차세대컴퓨팅학회 논문지 Vol.11 No.3

이미지 분류는 관심이 높은 연구 분야로 이미지 데이터의 방대한 양을 시각적 콘텐츠에 따라 다양한 클래스로 분류 한다. 연구자들은 다른 카테고리에 이미지를 분류하기 위한 다양한 하위 수준 특징 기반 기술을 제시하고 있다. 그 러나, 효율적이고 효과적인 분류 및 검색은 여전히 시각적인 내용의 복잡한 특성으로 인해 어려운 문제로 남아있다. 또한, 기존의 정보검색기술은 보안에 취약하여, 환자의 기록 및 법 집행 기관의 데이터베이스와 같은 개인의 시각적 콘텐츠를 제3자에 의해 검색이 쉬웠다. 그러므로, 우리는 보안 이미지 분류 및 정보 검색에 대한 이미지 스테가노그 래피를 사용하여 새로운 온톨로지 기반의 프레임 워크를 제안한다. 제안된 프레임워크는 하위 계층 이미지 특징을 효율적인 분류 결과인 온톨로지의 상위 계층 컨셉의 매핑을 위해 도메인 특징 온톨로지를 사용한다. 또한 제안된 방 법은 내용 안에 비밀 메시지와 같은 이미지의 의미를 숨기고 정보 검색 프로세스를 제3자로부터 보호하기 위해 이미 지 스테가노그래피를 이용한다. 제안된 프레임워크는 기존기술의 복잡도를 최소화하고 개인의 이미지 데이터베이스 로부터 안전하고 실시간 시각적 콘텐츠 검색을 위해 적합한 기술을 증대시킨다. 다른 최신 기술의 시스템과 비교하 여 실험한 결과 제안된 프레임 워크의 효율성, 유효성 및 보안을 확인 하였다. Image classification is an enthusiastic research field where large amount of image data is classified into various classes based on their visual contents. Researchers have presented various low-level features-based techniques for classifying images into different categories. However, efficient and effective classification and retrieval is still a challenging problem due to complex nature of visual contents. In addition, the traditional information retrieval techniques are vulnerable to security risks, making it easy for attackers to retrieve personal visual contents such as patient’s records and law enforcement agencies’ databases. Therefore, we propose a novel ontology-based framework using image steganography for secure image classification and information retrieval. The proposed framework uses domain-specific ontology for mapping the low-level image features to high-level concepts of ontologies which consequently results in efficient classification. Furthermore, the proposed method utilizes image steganography for hiding the image’s semantics as a secret message inside them, making the information retrieval process secure from third parties. The proposed framework minimizes the computational complexity of traditional techniques, increasing its suitability for secure and real-time visual contents retrieval from personalized image databases. Experimental results confirm the efficiency, effectiveness, and security of the proposed framework as compared with other state-of-the-art systems.

Medical Image Retrieval: Past and Present

황경훈,이해준,최덕주 대한의료정보학회 2012 Healthcare Informatics Research Vol.18 No.1

With the widespread dissemination of picture archiving and communication systems (PACSs) in hospitals, the amount of imaging data is rapidly increasing. Effective image retrieval systems are required to manage these complex and large image databases. The authors reviewed the past development and the present state of medical image retrieval systems including textbased and content-based systems. In order to provide a more effective image retrieval service, the intelligent content-based retrieval systems combined with semantic systems are required.

감성기반 음악·이미지 검색 추천 시스템 설계 및 구현

김태연(Tae Yeun Kim),송병호(Byoung Ho Song),배상현(Sang Hyun Bae) 大韓電子工學會 2010 電子工學會論文誌-CI (Computer and Information) Vol.47 No.1

Emotion intelligence computing is able to processing of human emotion through it's studying and adaptation. Also, Be able more efficient to interaction of human and computer. As sight and hearing, music & image is constitute of short time and continue for long. Cause to success marketing, understand-translate of humanity emotion. In this paper, Be design of check system that matched music and image by user emotion keyword(irritability, gloom, calmness, joy). Suggested system is definition by 4 stage situations. Then, Using music & image and emotion ontology to retrieval normalized music & image. Also, A sampling of image peculiarity information and similarity measurement is able to get wanted result. At the same time, Matched on one space through pared correspondence analysis and factor analysis for classify image emotion recognition information. Experimentation findings, Suggest system was show 82.4% matching rate about 4 stage emotion condition. 감성 지능형 컴퓨팅은 컴퓨터가 학습과 적응을 통하여 인간의 감성을 처리할 수 있는 감성인지 능력을 갖는 것으로 보다 효율적인 인간과 컴퓨터의 상호 작용을 가능하게 한다. 감성 정보들 중 시각과 청각 정보인 음악?이미지는 짧은 시간에 형성되고 기억에 오랫동안 지속되기 때문에 성공적인 마케팅에 있어서 중요한 요인으로 꼽히고 있으며, 인간의 정서를 이해하고 해석하는데 있어서 매우 중요한 역할을 한다. 본 논문에서는 사용자의 감성키워드(짜증, 우울, 차분, 기쁨)를 고려하여 매칭된 음악과 이미지를 검색하는 시스템을 구축하였다. 제안된 시스템은 인간의 감성을 4단계 경우로 상황을 정의하며, 정규화 된 음악과 이미지를 검색하기 위해 음악?이미지 온톨로지와 감성 온톨로지를 사용하였으며, 이미지의 특징정보를 추출, 유사성을 측정하여 원하는 결과를 얻게 하도록 하였다. 또한, 이미지 감성인식정보를 분류하기위해 대응일치분석과 요인분석을 통한 감성컬러와 감성어휘를 하나의 공간에 매칭하였다. 실험결과 제안된 시스템은 4가지 감성상태에 대해 82.4%의 매칭율를 가져올 수 있었다.

텍스트 기반 의료영상 검색의 최근 발전

황경훈,이해준,고건,김석균,선용한,최덕주,Hwang, Kyung Hoon,Lee, Haejun,Koh, Geon,Kim, Seog Gyun,Sun, Yong Han,Choi, Duckjoo 대한의용생체공학회 2015 의공학회지 Vol.36 No.3

An effective image retrieval system is required as the amount of medical imaging data is increasing recently. Authors reviewed the recent development of text-based medical image retrieval including the use of controlled vocabularies - RadLex (Radiology Lexicon), FMA (Foundational Model of Anatomy), etc - natural language processing, semantic ontology, and image annotation and markup.

Spatial Features Analysis of Automatically Annotated Images

Debnath Bhattacharyya,Tai-hoon Kim 보안공학연구지원센터 2015 International Journal of Multimedia and Ubiquitous Vol.10 No.11

In this paper, a new method for spatial features based image retrieval is proposed. These are the features specifying location of an image segment in an image and relative spatial location between two image segments etc. Spatial feature adds extra capability of the system in addition to texture, color and shape based object recognition system. Heuristic and semantic features of the image segments are identified from low level color, texture descriptors and directly stored into the image database and easily retrieved also. Position of image segments in the image is detected and stored in the image database that will be accessed for retrieval process later. Object ontology is used to determine the spatial relation between heuristics. These spatial relations and corresponding concept are identified and stored. Spatial rank between two segments will be calculated and stored along with segment ids. Spatial rank is calculated by a new technique. Proper concepts are associated with image segment based on ontology based spatial relation.