RISS 학술연구정보서비스

검색

인기 검색어

    다국어 입력

    http://chineseinput.net/에서 pinyin(병음)방식으로 중국어를 변환할 수 있습니다.

    변환된 중국어를 복사하여 사용하시면 됩니다.

    예시)
    • 中文 을 입력하시려면 zhongwen을 입력하시고 space를누르시면됩니다.
    • 北京 을 입력하시려면 beijing을 입력하시고 space를 누르시면 됩니다.
    닫기
    KCI등재

    스파크에서 벡터 근사를 활용한 효율적인 고차원 데이터 색인 기법 = An Efficient High-Dimensional Data Indexing Scheme Using Vector Approximation on Spark

    한글로보기

    https://www.riss.kr/link?id=A108651657

    • 0

      상세조회
    • 0

      다운로드
    서지정보 열기
    • 내보내기
    • 내책장담기
    • 공유하기
      • URL 복사
    • 오류접수
    인용문이 복사되었습니다.

    부가정보

    다국어 초록 (Multilingual Abstract) kakao i 다국어 번역

    With the recent development of real-time image processing technology, content-based image retrieval has been studied in various applications such as security, autonomous vehicles, medical fields, and industrial robots. In content-based image retrieval, features extracted from images are high-dimensional, resulting in a dimensionality curse problem. In this paper, we propose an efficient high-dimensional data indexing scheme that solves the dimensionality curse problem of high-dimensional data by extending the existing vector approximation technique. Using VA-Key, a proposed VA-File-based split key generation method, it is possible to perform more effective data partition with the similarity of each VA-File as a one-dimensional value. It is shown through various performance evaluations with existing vector search techniques such as KD-Tree, Local Sensitive Hashing (LSH), and FAISS, the most popular vector search tool that the proposed scheme outperforms the existing scheme in terms of query processing time and accuracy.
    번역하기

    With the recent development of real-time image processing technology, content-based image retrieval has been studied in various applications such as security, autonomous vehicles, medical fields, and industrial robots. In content-based image retrieval...

    With the recent development of real-time image processing technology, content-based image retrieval has been studied in various applications such as security, autonomous vehicles, medical fields, and industrial robots. In content-based image retrieval, features extracted from images are high-dimensional, resulting in a dimensionality curse problem. In this paper, we propose an efficient high-dimensional data indexing scheme that solves the dimensionality curse problem of high-dimensional data by extending the existing vector approximation technique. Using VA-Key, a proposed VA-File-based split key generation method, it is possible to perform more effective data partition with the similarity of each VA-File as a one-dimensional value. It is shown through various performance evaluations with existing vector search techniques such as KD-Tree, Local Sensitive Hashing (LSH), and FAISS, the most popular vector search tool that the proposed scheme outperforms the existing scheme in terms of query processing time and accuracy.

    더보기

    국문 초록 (Abstract) kakao i 다국어 번역

    최근 실시간 영상 처리 기술의 발달로 보안, 자율 주행 자동차, 의료 분야, 산업용 로봇 등 다양한 응용 분야에서 내용 기반 이미지 검색 기술이 연구되고 있다. 이러한 내용 기반 이미지 검색에서는 이미지로부터 추출한 특징이 고차원이며, 이에 따라 차원의 저주 문제를 갖는다. 본 논문에서는 기존의 벡터 근사화(vector approximation) 파일을 확장하여 고차원 데이터에서 차원의 저주 문제를 해결하는 효율적인 고차원 데이터 색인 기법을 제안한다. 제안하는 기법은 질의 처리 부하를 분배하기 위해 분산 처리 엔진인 아파치 스파크에서 구현된다. 제안하는 VA-File 기반의 분할 키 생성 방법인 VA-Key를 활용하여 각 VA-File마다의 유사도를 1차원 값으로 나타내어 보다 효과적인 데이터 분할을 수행할 수 있다. 마지막으로 다양한 성능 평가를 통해 제안하는 기법이 기존의 벡터 검색 기법인 KD-Tree, LSH(Locality Sensitive Hashing) 그리고 가장 인기 있는 벡터 검색 도구인 FAISS 등과 실험을 수행했으며 실험 결과 질의 처리 시간과 정확도 관점에서 기존 기법에 비해 우수함을 보이며 특히, 고차원 데이터에서의 재현율과 처리 속도는 다른 기법보다 우수한 성능을 보인다.
    번역하기

    최근 실시간 영상 처리 기술의 발달로 보안, 자율 주행 자동차, 의료 분야, 산업용 로봇 등 다양한 응용 분야에서 내용 기반 이미지 검색 기술이 연구되고 있다. 이러한 내용 기반 이미지 검...

    최근 실시간 영상 처리 기술의 발달로 보안, 자율 주행 자동차, 의료 분야, 산업용 로봇 등 다양한 응용 분야에서 내용 기반 이미지 검색 기술이 연구되고 있다. 이러한 내용 기반 이미지 검색에서는 이미지로부터 추출한 특징이 고차원이며, 이에 따라 차원의 저주 문제를 갖는다. 본 논문에서는 기존의 벡터 근사화(vector approximation) 파일을 확장하여 고차원 데이터에서 차원의 저주 문제를 해결하는 효율적인 고차원 데이터 색인 기법을 제안한다. 제안하는 기법은 질의 처리 부하를 분배하기 위해 분산 처리 엔진인 아파치 스파크에서 구현된다. 제안하는 VA-File 기반의 분할 키 생성 방법인 VA-Key를 활용하여 각 VA-File마다의 유사도를 1차원 값으로 나타내어 보다 효과적인 데이터 분할을 수행할 수 있다. 마지막으로 다양한 성능 평가를 통해 제안하는 기법이 기존의 벡터 검색 기법인 KD-Tree, LSH(Locality Sensitive Hashing) 그리고 가장 인기 있는 벡터 검색 도구인 FAISS 등과 실험을 수행했으며 실험 결과 질의 처리 시간과 정확도 관점에서 기존 기법에 비해 우수함을 보이며 특히, 고차원 데이터에서의 재현율과 처리 속도는 다른 기법보다 우수한 성능을 보인다.

    더보기

    참고문헌 (Reference)

    1 H. V Jagadish, "iDistance : An adaptive B+-tree based indexing method for nearest neighbor search" 30 (30): 364-397, 2005

    2 N. Ukey, "Survey on Exact kNN Queries over High-Dimensional Data Space" 23 (23): 629-, 2023

    3 H. Jégou, "Searching in one billion vectors : re-rank with source coding" IEEE 861-864, 2011

    4 P. Zhou, "Scale-transferrable object detection" 528-537, 2018

    5 H. Hu, "Relation networks for object detection" 3588-3597, 2018

    6 H. Jegou, "Product quantization for nearest neighbor search" 33 (33): 117-128, 2010

    7 X. Yi, "Practical approximate k nearest neighbor queries with location and query privacy" 28 (28): 1546-1559, 2016

    8 Z. Zou, "Object detection in 20 years : A survey"

    9 M. Datar, "Locality-sensitive hashing scheme based on p-stable distributions" 253-262, 2004

    10 N. Kumar, "Leafsnap : A computer vision system for automatic plant species identification" Springer (Part II 12) : 502-516, 2012

    1 H. V Jagadish, "iDistance : An adaptive B+-tree based indexing method for nearest neighbor search" 30 (30): 364-397, 2005

    2 N. Ukey, "Survey on Exact kNN Queries over High-Dimensional Data Space" 23 (23): 629-, 2023

    3 H. Jégou, "Searching in one billion vectors : re-rank with source coding" IEEE 861-864, 2011

    4 P. Zhou, "Scale-transferrable object detection" 528-537, 2018

    5 H. Hu, "Relation networks for object detection" 3588-3597, 2018

    6 H. Jegou, "Product quantization for nearest neighbor search" 33 (33): 117-128, 2010

    7 X. Yi, "Practical approximate k nearest neighbor queries with location and query privacy" 28 (28): 1546-1559, 2016

    8 Z. Zou, "Object detection in 20 years : A survey"

    9 M. Datar, "Locality-sensitive hashing scheme based on p-stable distributions" 253-262, 2004

    10 N. Kumar, "Leafsnap : A computer vision system for automatic plant species identification" Springer (Part II 12) : 502-516, 2012

    11 A. Arora, "Hd-index : Pushing the scalability-accuracy boundary for approximate knn search in high-dimensional spaces"

    12 K. Hajebi, "Fast approximate nearest-neighbor search with k-nearest neighbor graph" 2011

    13 J. Chen, "Fast Approximate kNN Graph Construction for High Dimensional Data via Recursive Lanczos Bisection" 10 (10): 2009

    14 M. Tan, "Efficientdet : Scalable and efficient object detection" 10781-10790, 2020

    15 C. Fu, "Efanna : An extremely fast approximate nearest neighbor search algorithm based on knn graph"

    16 C. Szegedy, "Deep neural networks for object detection" 26 : 2013

    17 A. Voulodimos, "Deep learning for computer vision: A brief review" 2018 : 2018

    18 A. Voulodimos, "Deep learning for computer vision : A brief review" 2018 : 2018

    19 D. A. Forsyth, "Computer vision:a modern approach, prentice hall professional technical reference"

    20 J. Johnson, "Billion-scale similarity search with gpus" 7 (7): 535-547, 2019

    21 M. Zaharia, "Apache spark : a unified engine for big data processing" 59 (59): 56-65, 2016

    22 S. K. Divvala, "An empirical study of context in object detection" IEEE 1271-1278, 2009

    23 C. Papageorgiou, "A trainable system for object detection" 38 : 15-33, 2000

    24 R. Padilla, "A survey on performance metrics for object-detection algorithms" IEEE 237-242, 2020

    25 S. Blott, "A simple vector-approximation file for similarity search in high-dimensional vector spaces" ESPRIT 1997

    26 B. Coifman, "A real-time computer vision system for vehicle tracking and traffic surveillance" 6 (6): 271-288, 1998

    27 D. Beymer, "A real-time computer vision system for measuring traffic parameters" IEEE 495-501, 1997

    28 C. P. Papageorgiou, "A general framework for object detection" IEEE 555-562, 1998

    29 M. D. Nguyen, "A deep local and global scene-graph matching for image-text retrieval"

    30 N. Oliver, "A bayesian computer vision system for modeling human interaction" Springer 255-272, 1999

    31 N. Oliver, "A bayesian computer vision system for modeling human interaction" Springer 255-272, 1999

    32 N. M. Oliver, "A Bayesian computer vision system for modeling human interactions" 22 (22): 831-843, 2000

    더보기

    분석정보

    View

    상세정보조회

    0

    Usage

    원문다운로드

    0

    대출신청

    0

    복사신청

    0

    EDDS신청

    0

    동일 주제 내 활용도 TOP

    더보기

    주제

    연도별 연구동향

    연도별 활용동향

    연관논문

    연구자 네트워크맵

    공동연구자 (7)

    유사연구자 (20) 활용도상위20명

    해외이동버튼