앙상블 학습모델을 활용한 유망기술 예측 : 특허 임베딩과 사건연구 연계를 기반으로 = Promising technology forecasting using ensemble learning model: An aspect of patent embedding and event study linkage

국문 초록 (Abstract)

역사적으로 기술은 지속적으로 발전하고 있으며, 기술들의 증가되는 상호작용 속에 기술의 변화속도는 더욱 빨라지고 있다. 정부와 기업 모두 급격한 기술변화에 선제적으로 대응하기 위해 기술예측을 적극적으로 활용하고 있다. 정량적 기술예측은 광범위한 기술 정보들을 취합하고 탐색하는데 효과적이며, 기술에 대한 구체적 정보를 담고 있는 특허는 기술예측을 위한 좋은 재료가 된다. 하지만, 효과적인 기술예측을 위해서는 특허의 텍스트 정보뿐만 아니라 기술개발의 유인을 제공하는 시장성 정보에 대한 고려가 필요하다. 기존의 연구들은 특허 자체 데이터에 집중했다는 점에서 기술예측에 한계점이 존재했다. 특허의 시장성을 객관적으로 평가하기 위해서는 특허거래 정보가 필요하지만, 특허거래는 기업의 영업정보를 노출할 수 있다는 점에서 대부분 비공개로 진행되고 있다. 이에 따라 특허의 시장성을 판단하는데 제약이 존재하며, 본 연구는 이러한 제약을 해소하기 위해 사건연구 방법론을 활용하였다. 사건연구는 특정 이벤트가 기업의 주식가격에 미치는 영향을 계량적으로 평가하는 연구방법론으로서, 어떤 사건이 발생한 이후의 실제 수익률에서 사건이 발생하지 않은 정상적인 상황에서 예상되는 기대수익률을 차감하여 이벤트의 영향을 분석한다. 본 연구에서는 사건연구 기반의 특허의 시장성 가치와 특허들 간 의미 유사성을 토대로 앙상블 기반 학습모델을 통해 유망기술 예측을 수행하였다. 서로 다른 기술군의 유사도를 고려하기 위해, 2015년 1월부터 2020년 4월까지 미국 특허청에 등록된 170만 여개의 모든 특허 데이터를 사용하였으며, 특허의 텍스트 정보를 TF-IDF 행렬로 변환한 후, 잠재의미분석을 수행하여 특허들을 2차원 공간상에 투영하였다. 사건연구 방법론의 경우, 상장된 기업들의 특허 데이터에만 적용이 가능하다. 따라서, 비상장 특허들에게도 시장성 가치를 부여하기 위해 2차원 공간상에 투영된 특허데이터들의 유사도를 기반으로 k-최근접 이웃을 통해 특허가치를 매핑하였다. 그리고 다양한 머신러닝 모델을 Base learner로 하는 스태킹 앙상블 기법을 활용하여 유망기술 예측을 수행하였다. 본 연구에서 기술예측 단위는 IPC 분류체계의 세세분류를 기준으로 하며, 유망기술 선정은 전체 기술의 평균 증가율을 상회하는 기술을 유망기술로 선정하는 Carrocher(2003)의 정의를 따랐다. 모델에 사용할 변수를 선정하기 위해, 선행연구를 근거로 특허 증가율 변수를 비교대상 연도별로 구분하여 사용하였으며, 본 연구에서 제안하는 시장성 가치 지표를 추가적으로 사용하였다. 그리고 기술명칭은 상이하나 유사도가 높은 기술들이 미치는 영향력을 고려하기 위해, 2차원 공간상에 매핑된 대상기술의 위치정보를 기반으로 격자를 설정하여 격자 내 기술군의 특허 증가율과 시장성 지표를 변수군에 포함시켰다.
본 연구에서 제안하는 유망기술 예측모형인 앙상블 학습모형은 3개의 Base learner와 1개의 Meta learner로 구성된다. Base learner는 각각 랜덤 포레스트, 다층신경망, 합성곱신경망으로 구성되며, Meta learner로는 얕은 신경망을 사용하였다.
머신러닝 기법을 활용한 유망기술 예측연구가 일부 수행되어지고 있으나, 각 연구별로 유망기술에 대한 정의가 상이하여 종속변수에 차이가 존재하므로 직접적인 예측력 비교에 어려움이 존재한다. 따라서, 본 연구에서는 제안하는 모델의 성능을 비교하기 위해, 대표적인 머신러닝 모델인 랜덤 포레스트, 다층 신경망, 합성곱 신경망을 대조군으로 사용하고, 전통적인 통계적 예측모델인 로지스틱 회귀모형을 대조군으로 추가 반영하여 제안 모델의 성능을 확인하도록 한다.
분석 결과로는 Random Forest 모델의 경우 상대적으로 보통수준의 정밀도를 보여준 반면, 재현율에서 낮은 성능을 기록했다. MLP의 경우, Raondom Forest와 유사한 양상을 보였으나, 정밀도와 재현율 모두에서 Random Forest 보다 상대적으로 우위를 보였다. CNN의 경우, 높은 정밀도를 보였으나, 재현율은 상대적으로 낮은 수치를 보였다. 로지스틱 회귀모형 1의 경우, RF, MLP, CNN과 비교했을 때 상대적으로 낮은 정밀도를 보인 반면, 재현율은 더 높게 나타났다. 앞선 모델들과 다르게 특허 증가율 변수만 활용한 로지스틱 회귀모형 2의 경우, 높은 재현율을 보인반면 정밀도는 가장 낮은 수치를 기록했다. 본 연구에서 제안하는 앙상블 학습모델의 경우, 정밀도와 재현율 모두 높은 수치를 기록했으며, 정밀도와 재현율을 모두 고려한 F1-Score를 기준으로 보았을 때, 앙상블 학습모델이 비교모형들보다 우수한 성능을 보임이 확인되었다. 앙상블 학습모델이 산출한 예측치와 비교모형이 산출한 예측치의 연관성을 판단하기 위해 교차분석을 추가적으로 수행했으며, 앙상블 학습모형의 예측치와 각 비교모형의 예측치 간 차이가 통계적으로 유의하게 나타났다.
본 연구는 대량의 특허 데이터를 사용하였으며, 사건연구 방법론을 활용하여 특허의 시장성 가치를 산출하고, 잠재의미분석 기반의 특허 임베딩과 연계함으로써 기술들의 의미론적 유사성과 기술개발 유인을 함께 고려할 수 있도록 했다. 또한, 산출된 데이터를 토대로 기계학습 기반의 앙상블 학습모델을 활용하여 유망기술 예측을 시도함으로써 개별 모델들이 갖는 모델 편향이 해소될 수 있도록 하였다. 기존의 특허분석 기반 기술예측 연구들이 특정 기술 영역의 특허 데이터만을 활용하는 경향이 존재하였으나, 본 연구는 특허 데이터와 시장성 데이터라는 이종 데이터의 연계를 통해 기술예측을 수행하고, 기술들의 연관성을 고려하기 위해 특정 기간 동안의 모든 특허 데이터를 사용했다는 점에서 함의를 갖는다.
본 연구가 갖는 학술적 기여를 정리하면 다음과 같다. 기술예측은 기술경영의 한 분야로써 기술경영학적 방법론을 중심으로 발전해왔으며, 최근 머신러닝 기법을 적극적으로 활용하고 있으나, 기술의 질적 측면을 포착하기 위한 데이터의 미비로 연구 발전에 제약이 존재해왔다. 본 연구에서는 기술의 질적 측면을 고려하기 위해 경영학, 특히 재무학에서 활발하게 활용되고 있는 사건연구 방법론을 기술예측에 접목하였다는 점에서 학술적 함의를 가지며, 특히, 특허의 의미론적 분포와 시장성 가치의 연계 방법을 고안하였다는 점에서 방법론적인 의의도 갖고자 하였다.

목차 (Table of Contents)

• <목 차>
• 국문 요약 1
• 제 1장 서론 3
• 제1절 연구목적 3
• 제2절 연구내용 및 방법 4
• 제3절 논문의 구성 6
• 제 2장 이론적 배경 7
• 제1절 정량적 기술예측 방법론 7
• 제2절 특허 시장성가치 도출 9
• 제3절 유망기술 발굴 11
• 제4절 예측 판단 기준 13
• 제5절 소결 15
• 제 3장 분석방법론 16
• 제1절 특허 임베딩 16
• 제2절 특허 시장성가치 추출 18
• 제3절 특허가치 매핑 20
• 제4절 변수선택 21
• 제5절 앙상블 학습모델 22
• 1. 랜덤 포레스트 22
• 2. 다층 퍼셉트론 23
• 3. 합성곱 신경망 24
• 4. 모델 스태킹 24
• 제7절 모델 비교 26
• 제 4장 연구설계
• 제1절 연구대상 28
• 1. 자료수집 28
• 2. 후보변수 정의 28
• 제2절 연구모형 30
• 제 5장 분석결과 32
• 제1절 기초통계 분석 32
• 제2절 특허 임베딩 결과 39
• 제3절 특허 시장성 가치 산출 및 매핑 결과 47
• 제4절 후보변수 생성 및 변수선택 결과 53
• 제5절 모델세팅 결과 57
• 1. 앙상블 학습모델 57
• 1) Base learner 57
• 2) Meta learner 60
• 2. 비교 모델 62
• 1) 머신러닝 모델 62
• 2) 통계 모델 65
• 제6절 예측 결과 67
• 제7절 결과 활용 78
• 제 6장 결론 83
• 제1절 요약 83
• 제2절 함의 및 시사점 85
• 제3절 연구 한계 87
• 참고문헌 88
• 부록 94
• Abstract 103

참고문헌 (Reference)

1. How emergence arises, De Haan , J., 3 ( 4 ) : 293-301, , 2006

2. Patent mining : a survey, L. Zhang , L. Li and T. Li, vol . 16 , no . 2 , pp . 1-19, , 2015

3. The Import of Uncertainty, Mitchell , S. D., 2 ( 1 ) : 58-71., , 2007

4. Event studies : A methodology review, C.J . Corrado, vol . 51 , pp . 207 ? 234, , 2011

5. Measuring security price performance., S. Brown and J. Warner, pp . 205 ? 258, , 1980

6. 미래예측 방법론: 이론과 실제, 정재호, 나라경제, 10월호 : 118-125, , 2006

7. Text mining techniques for patent analysis, Y.-H. Tseng , C.-J . Lin and Y.-I . Lin, vol . 43 , no . 5 , pp . 1216-1247, , 2007

8. 구조방정식 모형의 이론과 응용, 홍세희, 홍세희, 홍세희, , 2007

9. 정보분석을 통한 유망기술 발굴,, 이상필, 미래유망기술 세미나 , pp. 93-109, 2008, , 2008

10. Avoiding the Pitfalls of Emerging Technologies, Day , G. S. , and Schoemaker , P. J., 42 ( 2 ) : 8-33., , 2000

11. Citation Rates to Technological important patents, Carpenter Mark P. , F. Narin , and W. Patricia, 3 ( 4 ) , pp . 160-163, , 1981

12. 국내 외 기술포사이트 활동 비교분석, 엄기웅, 황호영, 박태웅, 기술혁신연구. 8(1) : 1-30, , 2003

13. 한국증권시장에서의 사건연구방법론, 정형찬, 좋은땅, , 2021

14. 특허분석을 통한 유망융합기술의 예측, 강희종, 엄미정, 김동명, 기술혁신학회지, 제14권 제3호, pp. 93-116, , 2006

15. Citation Frequency and the value of Patented Innovations, Harhoff , D. , F. Narin , F. M. Scherer , and Katrin Vogel, 81 ( 3 ) , pp . 511-525, , 1999

16. Technology Forecasting using Matrix Map and Patent Clustering, Jun , S., Vol . 112 , Iss . 5 , pp . 786-807, , 2012

17. 특허 키워드 시계열분석을 통한 부상기술 예측, 박상성, 이준혁, 장동식, 김종찬, 김갑조, 년 춘계학술발표대회 논문집 제21권 제1호, 2014, , 2014

18. Conducting event studies with Asia-Pacific security market data, C.J . Corrado and C. Truong ,, vol . 16 , pp . 493 ? 521, , 2008

19. 특허 정보를 활용한 IT 유망기술 도출에 관 한 연구, 김방룡, 황성현, 한국통신학회논문지 , 34(10), 1021-1030, , 2009

20. Estimating normal price in event study : In the case of theme stocks, H.C . Woo, vol . 15 , No . 3, , 2014

21. The impact of new product introductions on the market value of firms, Chaney , P. K. , T. M. Devinney and R. S. Winer, 64 : 573 ? 610, , 1991

22. 추세분석을 이용한 부상기술 예측 및 경영전략 수립, 이준석, 박상성, 김영호, 장동식, 한국 컴퓨터정보학회 하계학술대회 논문집 제26권 제2호, , 2018

23. Do innovations really payoff ? Total stock market returns to innovation, A. Sood and G.J . Tellis, vol . 28 , pp . 442 ? 456, , 2009

24. 특허가치 결정요인과 기술거래금액에 관한 실증 분석, 성태응, 박현우, 장종문, 김다슬, 기 술혁신학회지 제19권 2호 년 6월 pp.254~279, , 2017

25. Stock market reaction to patent value in Japan : An event study analysis, Mitsuyama N., vol . III , no . 6, , 2013

26. Stock market reaction to patent value in Japan : An event study analysis, N. Mitsuyama, vol . III , no . 6, , 2013

27. (유순덕외), 미래예측 방법론, 주간포커스, 주간기술동향, 유순덕, 이민수, 신선영, 정보 통신산업진흥원, 5월21일 : 1-13, , 2014

28. Inventive progress measured by multi-stage patent citation analysis1591～1607, Wartburg , I. V. , T. Teichert , and K. Rost, Vol.34 , No.10, , 2005

29. Valuing R & D projects in a portfolio : Evidence from the pharmaceutical industry, K. Girotra , C. Terwiesch , and K.T . Ulrich ,, vol . 53 , pp . 1452 ? 1466, , 2007

30. Direct Validation of Citation Counts as Indicators of Industrially Important Patents, Albert , M. B. , D. Avery , F. Narin , and P. McAllister, 20 ( 3 ) , pp . 251-259, , 1991

31. 기술-산업 연계구조 및 특허 분석을 통한 미래유망 아이템 발굴, 노현숙, 고병열, 기술 혁신학회지, 제8권 제2호, pp.860-885, , 2005

32. 머신러닝(Machine learning)기반 미래유망기술 발굴 프로세스 연 구., 김근환, 강종석, 허요섭, 한국기술혁신학회 학술대회:525-545, , 2018

33. 특허정보 빅데이터 분석을 통한 라스트마일 물류 유망기술 도출, 이철웅, 유지원, 권구포, 이현, 로지스틱스연구, 29(2), 43-56, , 2021

34. A cost ? based approach for calculating royalties for standardessential patents ( SEPs ), G. Friedl , and C. Ann, vol . 21 , no . 5-6, , 2018

35. 특허 데이터를 통한 유망 기술 예측 : 유망 기술의 특징을 기반으로, 전우진, 서울과학기술 대학교, , 2022

36. IP valuation : What methods are used to value intellectual property and intangible assets ?, W. Anson , D. Noble , J. Samala, vol . 34 , no . 2 , pp . 1 ? 7, , 2014

37. An approach to discovering new technology opportunities : Keywards-based patent map approach, Lee , S. , Yoon , B. , Park , Y., Vol . 29 , pp . 481-497, , 2009

38. 바이오헬스 특허데이터를 활용한 인공지능 기반 미래 유 망기술 예측., 박수현, 김호용, 김재수, 윤영미, 한국기술혁신학회 학술대회:103-119, , 2020

39. Intellectual property valuation : How to approach the selection of an appropriate valuation method, C. Lagrost , D. Martin , C. Dubois , and S. Quazzotti, vol . 11 , no . 4 , pp . 481 ? 503, , 2010

40. 과학계량학기반 기술예측의 한계와 개선 방안 – 원자력 발전 기술 사례 -, 임채영, 이태준, 한국기술혁신학회 학술대회,202-223, , 2019

41. 축적된 기술지식 품질을 고려한 유망기술 예측 : 기계학습 기법을 중심으로, 권의준, 서울 과학기술대학교, , 2018

42. 기술수명주기와 제품수명주기의 비교 시장구조와 기업의 연구개발 특성을 중심으로, 김종주, 노대민, 서비스마케팅저널, 6(1), 21-41, , 2013

43. Medical diagnoses showed low relatedness in an explorative mutual information analysis of 190,837 inpatient cases, Jan A. Roth, Volume 109, , 2019

44. The Emergence of New Technologies in the ICT Field : Main Actors , Geographical Distribution , and Knowledge Sources, Carrocher N. F. Malerba and F. Montobbio, 37, , 2003

45. A comparative study on methods of income approach to technology valuation . Korea Institute of Science and Technology Information, H. Park , S. Jun , and S. Kim, vol . 10 , No . 2 , pp . 76 ? 93, , 2012

46. Development of New Technology Forecasting Algorithm : Hybrid Approach for Morphology Analysis and Conjoint Analysis of Patent Information, Yoon , B. , Park , Y., Vol . 54 , No.3 , pp . 588-599, , 2007