다단계 신경망 모델에 대한 다중 처리기 상으로의 사상 전략과 분산 역전파 알고리즘

낭종호(Jong Ho Nang),최선민(Seon Min Choe),이상훈(Sang Hoon Lee),윤현수(Hyun Soo Yoon),맹승렬(Seung Ryoul Maeng) 한국정보과학회 1990 정보과학회논문지 Vol.17 No.3

본 논문에서는 완전히 연결된 다단계 신경망 모델을 분산 메모리 다중 처리기 시스템에 사상시키는 방법과, 이 사상 방법에 기초한 분산 역전파 학습 알고리즘을 제안하고 그 성능을 분석하였다. 제안한 방법에서는 신경망의 각 단계에 있는 뉴론들을 p개의 서로 다른 집합으로 나누고, 이렇게 나눈 부신경망을 p개의 처리기에 할당하여 학습을 시키게 된다. 분석에 의하면 제안된 사상 방법과 분산 역전파 학습 알고리즘의 p-처리기 수행 시간은 하나의 처리기를 사용하는 경우의3/4 · p 만큼의 시간만이 필요하며, 또한 한 처리기는 하나의 처리기를 사용하여 학습 시키는 경우에 비하여 p/2만큼의 메모리만을 가지고 있으면 되기 때문에 큰 신경망을 빠른 속도로 학습시킬 수 있다. 이런 분석은 어떤 신경망 모델을 학습시키는데 필요한 가장 적당한 처리기의 갯수를 결정하는데 사용될 수 있다. In this paper, we propose and analyze a parallel learning algorithm of a fully connected multilayered feedforward neural network using the backpropagation one on a distributed-memory multiprocessor system. In our system, the neurons on each layer are partitioned into p disjoint sets and each set is mapped on a processor of a p-processor system The p-processor speed-up ratio of the backpropagation algorithm over a single processor is 3/4 · P, and space-reduction ratio over a single processor is P/2 This analysis can be used as a basis in determining the most cost-effective or optimal number of processors.

함수논리 언어를 위한 순차 추상기계의 설계 및 성능평가

낭종호(Jong Ho Nang),신동욱(Dong Wook Shin),맹승렬(Seung Ryoul Maeng),조정완(Jung Wan Cho) 한국정보과학회 1990 정보과학회논문지 Vol.17 No.1

함수 논리 언어는 함수 언어의 특징과 논리 언어의 특징을 모두 가지고 있는 강력한 프로그래밍 파라다임이지만, 이런 종류의 언어에 대한 효율적인 구현 방법이 아직 개발되지 않았기 때문에 널리 사용되지 못하고 있다. 본 논문에서는 이 문제점을 해결하기 위하여 함수 논리 언어를 효율적으로 수행할 수 있는 추상 기계 F-WAM에 대한 구조와 인스트럭션 집합을 제안하였다. F-WAM은 논리 언어의 효율적인 처리기인 WAM의 확장형으로서, 기본적인 수행 방법은 SLD-resolution과 리덕션이다. 즉, 함수 논리 언어의 논리 언어 부분을 수행할 때는 WAM과 같은 방법으로 수행하고, 함수 응용을 계산할 때는 리덕션 기계과 같은 방법으로 수행한다. 본 논문에서는 시뮬레이션을 통하여 F-WAM의 성능을 분석하였는데, 함수 응용을 계산할 때는 많은 메모리 영역을 필요로 하는 백트랙킹 정보를 기억할 필요가 없기 때문에 WAM보다 메모리 영역을 적게 사용함을 알 수 있다. 또한 F-WAM의 리덕션 인스트럭션들은 대응되는 WAM 인스트럭션들보다 간단하기 때문에 WAM보다 빠르게 수행할 수 있다. Though functional logic languages are regarded as powerful programming paradigms, they are not used in many-applications owing to their inefficiencies. To resolve this problem, we propose an abstract machine architecture and the instruction set called F-WAM(Functional-WAM), which executes functional logic languages efficiently. F-WAM is a slightly modified version of WAM(Warren Abstract Machine), and its fundamental execution mechanisms are SLD-resolution and reduction. Its execution is similar to WAM in logical deduction, and similar to the reduction machine in function evaluation. The simulation results of F-WAM show that F-WAM usually uses less memory space than WAM because it does not need to remember backtracking informations in function reduction, and more fast than WAM because reduction instructions of F-WAM are more simple than the corresponding WAM instructions.

다큐멘터리 영상에서의 그래픽 자료 검출 방법

이재호(Jae-ho Lee),허일(Il Heo),낭종호(Jong-ho Nang) 한국정보과학회 2015 한국정보과학회 학술발표논문집 Vol.2015 No.6

스프레드시트 데이터를 이용한 시각적 FMEA 분석 시스템 구현

이재호(Jae-ho Lee),최지수(Ji-soo Choi),김상철(Sang-chul Kim),낭종호(Jong-ho Nang) 한국정보과학회 2014 한국정보과학회 학술발표논문집 Vol.2014 No.12

고차원 멀티미디어 데이터 검색을 위한 벡터 근사 비트맵 색인 방법

박주현,손대온,낭종호,주복규,Park Joo-Hyoun,Son Dea-On,Nang Jong-Ho,Joo Bok-Gyu 한국정보처리학회 2006 정보처리학회논문지D Vol.13 No.4

Recently, the filtering approach using vector approximation such as VA-file[1] or LPC-file[2] have been proposed to support similarity search in high dimensional data space. This approach filters out many irrelevant vectors by calculating the approximate distance from a query vector using the compact approximations of vectors in database. Accordingly, the total elapsed time for similarity search is reduced because the disk I/O time is eliminated by reading the compact approximations instead of original vectors. However, the search time of the VA-file or LPC-file is not much lessened compared to the brute-force search because it requires a lot of computations for calculating the approximate distance. This paper proposes a new bitmap index structure in order to minimize the calculating time. To improve the calculating speed, a specific value of an object is saved in a bit pattern that shows a spatial position of the feature vector on a data space, and the calculation for a distance between objects is performed by the XOR bit calculation that is much faster than the real vector calculation. According to the experiment, the method that this paper suggests has shortened the total searching time to the extent of about one fourth of the sequential searching time, and to the utmost two times of the existing methods by shortening the great deal of calculating time, although this method has a longer data reading time compared to the existing vector approximation based approach. Consequently, it can be confirmed that we can improve even more the searching performance by shortening the calculating time for filtering of the existing vector approximation methods when the database speed is fast enough. 고차원 데이터 공간에서의 효과적인 검색을 위해 최근 VA-file[1], LPC-file[2] 등과 같이 벡터 근사에 기반을 둔 필터링 색인 방법들이 연구되었다. 필터링 색인 방법은 벡터를 근사한 작은 크기의 색인 정보를 사용하여 근사 거리를 계산하고, 이를 사용하여 질의 벡터와 유사하지 않은 대부분의 벡터들을 빠른 시간 안에 검색 대상에서 제외한다. 즉, 실제 벡터 대신 근사 벡터를 읽어 디스크 I/O 시간을 줄여 전체 검색 속도를 향상시키는 것이다. 하지만 VA-file 이나 LPC-file은 근사 거리를 구하는 방법이 순차 검색과 같거나 복잡하기 때문에 검색 속도 향상 효과가 그리 크지 않다는 문제점을 가지고 있다. 본 논문은 이러한 근사 거리 계산 시간을 줄이기 위하여 새로운 비트맵 색인 구조를 제안한다. 근사 거리 계산속도의 향상을 위하여, 각 객체의 값을 특성 벡터 공간상의 위치를 나타내는 비트 패턴으로 저장하고, 객체 사이의 거리를 구하는 연산은 실제 벡터 값의 연산보다 속도가 훨씬 빠른 XOR 비트 연산으로 대체한다. 실험에 의하면 본 논문이 제안하는 방법은 기존 벡터 근사 접근 방법들과 비교하여 데이터 읽기시간은 더 크지만, 계산 시간을 크게 줄임으로써 전체 검색 속도는 순차 검색의 약 4배, 기존의 방법들보다는 최대 2배의 성능이 향상되었다. 결과적으로, 데이터베이스의 속도가 충분히 빠른 경우 기존의 벡터 근사 접근법의 필터링을 위한 계산 시간을 줄임으로써 더욱 검색 성능을 향상 시킬 수 있음을 확인할 수 있다.

모바일 환경을 위한 동영상 검색 및 상영 시스템의 확장

이상민(Sang-Min Lee),낭종호(Jong-Ho Nang) 한국정보과학회 2003 한국정보과학회 학술발표논문집 Vol.2003 No.2

볼쯔만 머신 모델에 기초한 마감 시간을 갖는 다중처리기 태스크의 스케쥴링 방법

김진석(Jin Snk Kim),낭종호(Jong Ho Nang),윤현수(Hyunsoo Yoon),맹승렬(Seung Ryoul Maeng) 한국정보과학회 1993 정보과학회논문지 Vol.20 No.9

Since the problem of scheduling multiprocessor tasks with deadlines is known as a hard combinatorial optimization one, an approximation or heuristic algorithm has been studied. A Boltzmann machine is such an approximation method based on neural network that can be executed in highly parallel. In this paper, we propose a mapping scheme of the scheduling problem onto a Boltzmann machine and a Boltzmann machine-based scheduling method for multiprocessor tasks with deadlines. It is proven that maximization of the consensus function of the Boltzmann machine corresponds to finding a schedule with the maximum number of tasks that can be completed without violating their deadlines. It is argued by simulations that the Boltzmann machine configured with this mapping scheme outperforms the traditional heuristic scheduling algorithms. 실시간 특성을 갖는 다중처리기 태스크 스케쥴링은 매우 어려운 최적화 문제로 잘 알려져 있기 때문에 이 문제를 해결하기 위한 근사(approximation)기법이나 휴리스틱 알고리즘이 개발되었다. 신경망의 일종인 볼쯔만 머신은 병렬로 수행될 수 있는 근사 기법이며 많은 최적화 문제를 잘 해결할 수 있음이 알려져 있다. 본 논문에서는 실시간 특성을 갖는 다중처리기 태스크 스케쥴링 방법을 제안하였다. 또한 제안된 볼쯔만 머신의 consensus 함수를 극대화하면 스케쥴링 문제에서 한계시간내에 수행을 마치는 태스크의 갯수를 극대화 할 수 있다는 것을 증명하였다. 그리고 시뮬레이션을 통하여 볼쯔만 머신이 기존의 휴리스틱 알고리즘보다 스케쥴링을 더 잘 함을 보였다.

MPEG 비디오 스트림에 대한 MC - DCT 영역에서의 자막 처리 방법 (pp.444-446)

권오형(O Hyung Kwon),낭종호(Jong Ho Nang) 한국정보과학회 2000 한국정보과학회 학술발표논문집 Vol.27 No.1B

MPEG은 동영상 압축 규약의 하나로서 고화질을 유지하면서 높은 압축율을 제공하기 때문에 그 사용 범위가 점차로 넓어지고 있으며, 또한 이러한 이유로 인해서 MPEG 데이터에 대한 편집 시스템의 요구도 점차 증가되고 있다. 그러나 MPEG 스트림에 대한 편집은 대부분 공간 영역에서 수행되기 때문에 수행 시간이 오래 걸리고 화질이 저하된다는 단점을 안고 있다. 본 논문에서는 DC 이미지를 이용한 MC-DCT 영역에서의 자막 처리 방법을 제안함으로써 기존의 자막 처리 방법이 안고 있는 단점을 극복하도록 하였다. 제안한 방법에서는 MC-DCT 영역에서의 워터마크 삽입 방법[1]을 응용하여 빠른 처리가 가능하도록 하였으며, MC-DCT 영역에서 쉽게 구할 수 있는 DC 이미지를 이용하여 화면 상태에 따라 자막의 세기를 조절함으로써 P, B 프레임의 처리 과정에서 발생하게 되는 화질 저하를 최소화하도록 하였다. 이러한 MC-DCT 영역에서의 자막 방법을 사용함으로써 기존의 자막 처리 방법 보다 약 4.9 배 빠른 수행 속도를 얻을 수 있었으며, 화질 보존의 측면에서도 기존의 자막 처리 방법이 화면 전체에 대해서 화질 저하가 발생하는 반면 제안한 방법은 자막이 들어가는 부분에 대해서만 화질 저하가 발생하였다. 이러한 방법을 MPEG 스트림에 대해서 사용하게 된다며, 소프트웨어만을 이용한 저가의 데스크 탑 환경에서도 효율적일 자막 처리가 가능하게 될 것이다.

다중 처리기에서 웹 서버의 구현을 통한 실험적 성능 평가

정진국(Jin Guk Jeong),낭종호(Jong Ho Nang) 한국정보과학회 2000 한국정보과학회 학술발표논문집 Vol.27 No.1A

WWW의 급격한 발전은 고성능 웹 서버의 구축을 필요로 하게 하였다. 특히 프로세서의 오버헤드를 줄이기 위해 도입된 멀티 쓰레드 기법을 이용한 병행 웹 서버들이 많이 연구되었는데 본 논문에서는 이런 웹 서버들을 리눅스가 탑재되어 있는 다중 처리기상에서 구현하였으며, 다양한 환경 하에서 성능을 비교, 분석하였다. 실험을 통하여 Thread Pool 구조 웹 서버가 가장 좋은 성능을 보임을 알 수 있었고, 작업 기반 웹 서버와 요구 기반 웹 서버의 성능은 환경에 따라 차이가 있음을 알 수 있었다. 이와 같은 실험 결과는 다중 처리기를 이용한 고성능 웹 서버를 구축하는 데 있어서 이용될 수 있을 것이다.

MPEG 시스템 스트림상에서 오디오 정보를 이용한 장면 경계 검출 방법

김재홍(Jae Hong Kim),낭종호(Jong Ho Nang),박수용(Soo Yong Park) 한국정보과학회 2000 정보과학회논문지 : 소프트웨어 및 응용 Vol.27 No.8

본 논문에서는 일반적인 영화를 인코딩한 MPEG 형식의 비디오 데이타에 대해 장면과 장면 사이의 경계점에서 나타나는 여러 오디오 특성을 이용하는 새로운 장면 경계 검출 방법을 제안하고 실험을 통해서 그 유용성을 보인다. 일반적인 영상에서 장면 경계 지점에서는 영상의 내용이 크게 바뀜에 따라 오디오 정보도 같이 변화한다는 특성이 있으며, 본 논문에서는 이러한 장면경계에서의 오디오 정보 변화를 각각 급진변화(Radical Change), 점진변화(Gradual Change), 미세변화(Micro Change)로 분류하였으며, 각 변화의 특성을 분석하고 이를 검출하는 알고리즘을 제안하였다. 급진변화는 장면과 장면의 경계점에서 오디오가 음량의 급격한 증감이 발생하고 음색 또한 급격히 달라지는 형태를 취하고 있으며, 점진변화는 긴 시간에 걸쳐서 음량 및 음색이 달라지는 형태를, 미세변화는 음량의 변화없이 일부 음색과 주파수 분포가 달라지는 특성을 가지고 있다. 본 논문에서는 이러한 특성을 토대로 시간축을 따라 진행하는 윈도우를 설정하여 이 윈도우 내에서의 오디오 변화를 추적함으로써 위의 세 가지 형태의 장면 경계를 추출하는 방법을 제안한다. 다양한 영화를 통한 실험에서 실제 샘플로 사용된 영화들에서 가장 많은 부분을 차지하는 급진변화에 대하여 본 논문에서 제안한 방법이 높은 검출율을 얻을 수 있음을 알 수 있었다. 본 논문에서 제안한 오디오 정보를 이용한 장면 경계 검출 방법은 비디오 정보를 이용한 장면 경계 검출과 같이 병행하여 사용함으로써 MPEG 형식의 영상정보에 대한 데이타 베이스 구축에 유용하게 사용될수 있을 것이다. This paper proposes a new scene boundary detection scheme for the MPEG System stream using MPEG Audio information and proves its usefulness by extensive experiments. A scene boundary has a characteristic that the audio as well as video information are changed rapidly. This paper first classifies this scene boundary into three cases ; Radical, Gradual, Micro Changes, with respect to the audio changes. The Radical change has a large-scale changing of decibel value and pitch value at a scene boundary, the Gradual change shows the long-time transition of decibel and pitch values from max to min or vice versa, and the Micro change displays a some change of pitch or frequency distribution without decibel changes. Upon this analysis, a new scene change detection algorithm detecting these three cases is proposed in which a progressive window with a time line is used to trace the changes in the audio information. Some experiments with various movies show that proposed algorithm could produce a high detection ratio for Radical change that is the most popular scene change in the movies, while producing a moderate detection ratio for Gradual and Micro changes. The proposed scene boundary detection scheme could be used to build a database for visual information like MPEG System stream.