보이스피싱 음성 파일에 대한 법과학적 화자 분석 방법의 적용 사례

박남인,이중,전옥엽,김태훈 한국디지털포렌식학회 2019 디지털 포렌식 연구 Vol.13 No.1

The voice-phishing is done by inducing victims to send money, only with voice through the personal information illegally obtained. The amount of damage caused by voice-phishing continues to increase every year, and it became a social problem. Recently, the Financial Supervisory Service (i.e. the FSS) in Republic of Korea has been collecting the voices of voice-phishing scamer from victims. In this paper, we describe an effective forensic speaker analysis method for detecting the voice from the same person compared with the large-scale speech files stored in database(DB), and apply the aforementioned forensic speaker analysis method with the collected voice-phising speech files from victims. At first, an i-vector of each speech file had been extracted from the DB, then, the cosine similarity matrix for the all speech files had been generated through the cosine distance among the extracted the i-vectors of all speech file in DB. In other words, it performed the speaker analysis as grouping a set of candidates with high common similarity among i-vectors of all speech files in DB. As a result of EER(Error Equal Rate) measurement for 6,724 speech files composed of 82 speakers, it was confirmed that the EER of the i-vector-based method is improved than that of the GMM-based method. Finally, as a result of comparing the collected 2,327 voice-phishing speech files collected by the FSS, it was shown that some of the speech files having similar voice features were grouped each other. 보이스피싱(Voice Phishing)은 목소리를 이용하여 상대방의 개인정보 등을 불법적으로 알아내어 피해자로부터 현금을 송금하게 하는 방식으로 이루어진다. 이러한 보이스피싱 피해액은 매년 꾸준히 증가하고 있어, 사회적으로 문제가 되고 있다. 이로 인해 최근 금융감독원은 피해자들로부터 보이스피싱 사기범들의 목소리를 수집하고 있다. 본 논문에서는 대량의 음성 파일 중 동일한 사람으로부터 발성된 목소리가 있는지에 대한 효율적인 법과학적 화자 분석 방법을 이용하여 실제 수집된 보이스피싱 음성 파일에 대해 적용하여 분석하였다. 먼저, 데이터베이스(DB)에 저장된 음성 파일에 대한 i-vector를 획득한 후, 전체 음성 파일에 대한 i-vector의 코사인 유사도 행렬을 생성하였다. 그리고 전체 파일의 i-vector에 대해 상호 유사도가 높은 후보군들에 대해 그룹핑함으로써 보이스피싱 파일에 대해 화자 분석을 수행하였다. 82명의 화자로 구성된 6,724개의 음성 파일에 대해 EER(Error Equal Rate) 측정 결과, GMM기반 화자 인식 방법보다 i-vector기반 화자 인식 방법의 EER이 개선되는 것이 확인되었다. 또한, 금융감독원에서 수집한 2,327개의 보이스피싱 신고 음성파일들을 상호 비교한 결과, 음성특징이 유사한 것으로 확인되는 화자 군집들이 일부 확인되는 것을 확인하였다.

강(江) 외 1편

박남인 심미안 2020 문학들 Vol.- No.62

삼성 스마트폰의 음성 녹음 어플리케이션에 의해 녹음된 오디오 파일에 대한 위변조 여부 분석 방법

박남인,이지우,임성호,김진환,임재성,이정환,정도준,김지훈,변준석,전옥엽,나기현 한국법과학회 2022 한국법과학회지 Vol.23 No.2

美國에 있어서의 家政敎育的 立法에 關한 考察

朴南仁 이화여자대학교 가정대학 가정관리학과 1976 家政大學 敎授 論文集 Vol.1976 No.1

The activities of the Federal government in promoting education for all citizens of the United States, especially since 1850 have done much to further home economics. Before this time and including the 1850s, woman's place was considered to be in the home, where higher education was thought unnecessary. Several state universities in the West had opened their doors to woman's colleges were still on the junior college level. The first Federal Legislation of importance to Home Economics was the Land-Grant Aid of colleges, better known as the Morrill Act. To understand the significance of this act, One must remember that around 1850 there was increasing demand for a new type of higher education, one that would differ from the traditional and classical concepts which were held by the colleges of the day. This new education was to be for the sons & daughters of the classes who earned their living from agriculture & industry. Secondly, the Smith-Lever act of 1914 represented the 1st organized attempt by the United States Government to carry on adult education. Furthermore, it was the 1st specific legislation for the home by the Federal Government. It made available a sizable sum of money for promoting Home Economics work and placed Home Economics on the same level as agriculture for Federal support. Thirdly, government-sponsored vocational education in Home Economics owes much of its development to the passage of the Smith-Hughes Act of 1917 and the later expansion of the act through additional appropriations, and Home Economics in the public school was greatly stimulated by its provisions. The influence of the Federal government upon the development of Home Economics has been very far-reaching. Not only has it provided the necessary funds for many of the programs, but the stimulation and often leadership for Home Economics development and expansion in research, in education at the high schools, colleges and adult levels, as well as in the vocational and trade areas.

청취 실험 기반 법과학적 화자 검증 방법의 신뢰성에 관한 연구

박남인,전옥엽,김태훈,이중 한국디지털포렌식학회 2018 디지털 포렌식 연구 Vol.12 No.1

In a forensic speaker verification, a spectrogram is an essential element for comparing whether each voice include the similar characteristics or not. However a spectrogram distortion may occur depending on a recording condition such as a communication channel and a ambient noise environment. In this case, there is a limit to analyze the voice as evidence in actual criminal investigation because the distorted spectrogram does not guarantee the accuracy of analysis. In this paper, we assessed the reliability of speaker verification method via of listening tests among 3 forensic audio experts and 104 layperson. As the result of listening test with unanimous-agreement method, it figures that the decision rate and incorrect answer rate are about 40.0% and 1.3% for forensic audio expert group, as well as the layperson group has about 54.2% of the decision rate and 14.1% incorrect answer rate, respectively. In cases where the forensic audio examiners deemed the given voices difficult to identify, the layperson had 24% and 84% decision and incorrect answer rates by the unanimous-agreement method, respectively. Especially, the listening test results in top 50% of total layperson’ one show that the decision rate and incorrect answer rate are improved by about 6.3%p and 3.3%p, respectively. It is found that listening-based speaker verification is effective to forensic speaker verification system, as the false acceptance rate of speaker verification was remarkably lower than the false rejection rate. 법과학적 화자 검증에서 스펙트로그램 분석은 음성 동일 여부를 판단하기 위한 필수적인 요소이지만, 통신 채널 및 주변 잡음 환경 등과 같은 녹음 상태에 따라 음질 왜곡이 발생할 수 있다. 이러한 경우에 음성 동일 여부를 판단에 대한 정확성이 떨어지기 때문에 실제 범죄수사에서 증거로써 음성을 분석하는데 한계가 있다. 본 논문에서는 3명으로 구성된 전문가 집단과 104명으로 구성된 일반인 집단이 수행한 청취 실험 기반의 화자 검증 방법의 신뢰성에 대해서 통계적으로 분석하였다. 200문항에 대한 전문가 집단과 일반인 집단의 전원합의에 의한 방법에 의한 청취 실험 분석 결과, 전문가 집단에서 약 40.0%의 판단율(Decision Rate)에 약 1.3%의 오답율(Incorrect Answer Rate)을 보였고, 일반인 집단에서는 약 54.2%의 판단율에 약 14.1%의 오답율을 보이는 것을 확인하였다. 또한, 전문가 집단이 판단 곤란에 선택한 문제에 대해 일반인 집단은 전원합의 방식을 통해 약 24.4%의 판단율에 대하여 약 15.7%의 정답율(Correct Answer Rate)을 보이는 것을 확인하였다. 특히 일반인 그룹 중 청취 실험 결과에 대해 상위 50%에 해당하는 그룹의 청취 실험 결과는 판단율 및 오답율이 각각 약 6.3%p, 약 3.3%p로 개선되는 것을 확인할 수 있다. 청취 실험을 통한 화자 검증에서 오수락율(False Accept Rate)이 오거부율(False Reject Rate)보다 현저히 낮은 것을 보면, 청취기반 화자 검증은 법과학적 화자 검증 시스템에 효과적인 것을 간접적으로 보여준다.

디지털 오디오 파일의 편집 여부 분석 절차에 대한 연구

박남인(Nam In Park),심규선(Kyu-Sun Shim),전옥엽(Oc-Yeub Jeon) 한국디지털포렌식학회 2019 디지털 포렌식 연구 Vol.13 No.4

최근 스마트폰을 비롯한 스마트 기기의 대중화 등의 영향으로 사진이나 동영상 촬영 오디오 녹음이 빈번하고 쉽게 이루어짐에 따라, 이러한 형태의 디지털 파일이 증거물로써 활용되는 사례도 증가하고 있다. 이러한 디지털 파일이 디지털 증거물로써 법적 효력을 갖추기 위해서, 디지털 증거물에 대한 원본 확인이 필수적이다. 특히, 디지털 오디오 파일의 특성상 원본파일로부터 대량 복제 및 디지털 편집 프로그램 등을 통해 정교한 위변조가 가능하며, 실제로 디지털 오디오 파일을 조작하는 사례가 증가하고 있다. 본 논문에서는 다양한 실제 사례들을 분석한 후, 디지털 오디오 파일에 대한 오디오 신호 및 파일 포맷 분석을 통한 편집 여부 분석 절차에 대해 제안하였다. 실제 사례들을 분석한 결과, 편집이 이루어진 파일에 대해서 디지털 오디오 파일의 조작 과정에서 발생하는 조작흔적을 통해 원본이 아님을 제한적으로 증명할 수 있음을 확인하였고, 일부 특정 조건에서는 제안한 편집 여부 분석 절차로도 위변조 여부가 검출되지 않을 수 있다는 것이 확인하였다. Recently, due to the popularization of smart devices such as smartphones and the like, photography and video recording audio recordings are frequently and efficiently performed. Thus the use of digital files of those types is increasing. For these digital files to be legally valid as digital evidence, the proof of origin for digital evidence was essential. Mainly, due to the characteristics of the digital audio file, it is possible to make a sophisticated forgery and falsification through the mass copying and digital editing program from the original record. In this way, it has been increasing more and more cases of manipulating digital audio files. In this paper, we propose the procedure of analyzing the file format of digital audio files and the audio signal after the analysis of various actual cases. As a result, it has confirmed that the digital audio files can be not original through traces generated during the manipulation of the digital audio file in case of the manipulated data. Moreover, it has confirmed that the proposed authentication analysis procedure may not clarify whether or not the digital audio file has been a forgery in some specific condition.

아이폰으로 촬영된 디지털 이미지의 파일 구조 및 미디어 로그 분석을 통한 법과학적 진본 확인 방법

박남인(Nam In Park),이지우(Ji Woo Lee),전옥엽(Oc-Yeub Jeon),김용진(Yong Jin Kim),이정환(Jung Hwan Lee) 한국멀티미디어학회 2021 멀티미디어학회논문지 Vol.24 No.4

VoWiFi 음질 향상을 위한 G.729.1 광대역 코덱의 ARM 프로세서에의 실시간 구현

박남인(Nam In Park),강진아(Jin Ah Kang),김홍국(Hong Kook Kim) 한국HCI학회 2008 한국HCI학회 학술대회 Vol.2008 No.2

본 논문에서는 ASM 프로세서로 설계된 VoWiFi 단말기에서 광대역 음성 서비스를 가능하게 하기 위한 방법으로 ITU-T 표준 코덱인 G.729.1을 실시간으로 구현하고 그 성능을 평가한다. 실시간 G.729.1 코덱 구현은 C 코드 최적화 및 코덱 알고리즘의 고속화를 근간으로 한다. 이렇게 최적화된 코덱의 성능은 VoWiFi 단말기내에서 AKM 프로세서가 요구하는 CPU 동작 시간으로 평가된다. 실험 결과, ARM926EJ를 사용하여 최적화된 G.729.1 코덱이 실시간으로 동작함을 확인할 수 있으며, 기존의 G.729에 비해 넓은 대역폭의 음성 전송이 가능함을 보일 수 있다. This paper addresses issues associated with the real-time implementation of a wideband speech codec such as ITU-T G.729.1 on an ARM processor in order to provide an improved voice quality of a VoWiFi service. The real-time implementation features in optimizing the C-source code of G.729.1 and replacing several parts of the codec algorithm with faster ones. The performance of the implementation is measured by the CPU time spent for G.729.1 on the ARM926EJ processor that is used for a VoWiFi phone. It is shown from the experiments that the G.729.1 codec works in real-time with better voice quality than G.729 codec that is conventionally used for VoIP or VoWiFi phones.

디지털 방송용 오디오 디코더의 DSP 최적화 구현

박남인(Nam In Park),조충상(Choong Sang Cho),김홍국(Hong Kook Kim) 한국방송·미디어공학회 2008 방송공학회논문지 Vol.13 No.4

삼성 스마트폰에서 생성된 통화녹음파일에 대한 위변조 검출을 위한 법과학적 분석 방법

박남인(Nam In Park),이지우(Ji Woo Lee),김진환(Jin-Hwan Kim),임재성(Jae Sung Lim),나기현(Gi-Hyun Na),전옥엽(Oc-Yeub Jeon) 한국디지털포렌식학회 2022 디지털 포렌식 연구 Vol.16 No.1

스마트폰의 대중화로 인해 스마트폰을 이용한 범죄가 늘어나고 있다. 특히 안드로이드 계열의 스마트폰은 통화 녹음 기능을 내장하고 있기 때문에 통화녹음 파일에 대한 증거물 확보가 매우 중요하다. 이렇게 수집된 디지털 증거물은 법적 효력을 갖기 위해, 무결성이 보장되어야 한다. 본 논문에서는 삼성 스마트폰에 기본 내장된 통화기능에서 제공하는 통화녹음 파일에 대한 위변조 분석 방법에 대해 제안하였다. 제안한 위변조 분석 방법은 통화녹음 파일에 대한 분석과 통화녹음 파일이 기록된 스마트폰 내의 미디어로그 및 통화 내역 분석으로 구분된다. 먼저, 정상통화녹음 파일에 대한 오디오 대역폭, 음성 지연 구간, 파일 구조 및 통화녹음 파일을 기록한 스마트폰에 미디어로그 및 통화 내역 등을 분석하였다. 그 후, 스마트폰에서 제공하는 편집기능을 통해 통화녹음파일을 편집하였을 때, 음성 지연 구간, 파일 구조 및 스마트폰에 기록된 미디어로그와 통화 내역의 변화를 비교분석하였다. 그 결과, 통화녹음 파일에 대해 임의로 조작을 가했을 때, 음성 지연구간, 파일 구조 및 스마트폰 내에 미디어로그의 시간 정보가 변경되는 것이 확인되었다, 이러한 방법으로 통화녹음 파일에서 추출한 시간 정보들과 해당 파일이 기록된 스마트폰의 미디어로그 및 통화 내역의 시간정보가 일치하는지와 파일 구조와 음향학적 특성을 이용해서, 제시된 통화녹음파일의 진본임을 확인하였다. Due to the popularization of smartphones, crime using smartphones is increasing. In particular, since Android-based smartphones have a built-in call recording function, it is very important to secure evidence for the call recording file. For the digital evidence collected in this way to have legal effect, its integrity must be guaranteed. In this paper, we propose a forgery analysis method for call recordings generated by the built-in call function of Samsung smartphones. The proposed forgery analysis method is divided into the analysis of the call recordings itself and the media-log and call history analysis in the smartphone with the call recording. First, we analyzed the audio bandwidth of the normal call recording, the audio latency, the file structure, and the media-log, and call history in the smartphone that includes the call recordings. After that, we compared and analyzed the difference of the audio latency, the file structure, the media-log, and call history when the call recording was edited through the editing function provided by the smartphone. As a result, it was confirmed that time information of the audio latency time, file structure and media-log in the smartphone were changed when an arbitrary manipulation was applied to the call recording. In this way, we can classify the forensic authentication as comparing the time information extracted from the call recording and the media-log/call history in smartphone with the call recordings plus analyzing the file structure and acoustic characteristics.