설명가능한 인공지능(XAI) 방법론의 산업별 적용가능성에 관한 연구

배재권 글로벌경영학회 2023 글로벌경영학회지 Vol.20 No.2

The learning performance of artificial intelligence (AI) technologies such as machine learning and deep learning is approaching or surpassing that of humans, and humans are gaining new insights through hidden patterns and rules discovered by AI, but their delivery and explanatory power is in short supply. As the use of AI technology expands by industry, values such as transparency, fairness, and accountability are continuously required in addition to accuracy. Accordingly, the demand and necessity for eXplainable Artificial Intelligence (XAI) has recently been emphasized. XAI is an analysis model, process, and service for determining the reliability of AI results by explaining what the reason is if there is an error in the output produced by the AI model. This study reviewed SHAP, LIME, and LRP, which are XAI methodologies, and explored the applicability of these methodologies to each industry. In the financial field, algorithms such as SHAP, LIME, and LRP can be applied to support credit rating prediction, loan decision-making, and investment decision-making, and to ensure their explainability and interpretability. This can increase fairness and reliability of AI results between financial consumers and financial institutions. In the defense and military fields, AI staff is being used as an auxiliary tool for key decision makers. If the explainability and interpretability of the results are guaranteed by applying XAI, the role of AI staff will change to active utilization. In the field of industrial accidents, SHAP can be used in a model that predicts industrial accidents to determine the degree of influence of variables that affect the occurrence of industrial accidents. As such, the XAI methodology can contribute to increasing the transparency and interpretability of models in various AI-based prediction models. 기계학습(machine learning) 및 딥러닝(deep learning) 등 인공지능 기술의 학습 성능은 인간에 근접해 있거나 또는 앞서고 있으며, 인간은 인공지능이 찾아낸 숨겨진 패턴과 규칙을 통해 새로운 통찰력을 얻고 있으나 인공지능이 제시한 결과물에 대한 전달력과 설명력은 부족한 상황이다. 산업별로 인공지능 기술 활용이 확대됨에 따라 정확도 이외에도 투명성, 공평성, 책임성 등의 가치가 지속적으로 요구되고 있다. 이에 최근 설명가능한 인공지능(eXplainable Artificial Intelligence, XAI)에 대한 요구 및 필요성이 강조되고 있다. XAI는 인공지능 모델이 산출한 결과물에 오류가 발생하였다면 그 이유가 무엇인지 설명해주는 것으로 인공지능 결과에 대한 신뢰성 판단 기준을 위한 분석 모델이자 프로세스 및 서비스를 의미한다. 본 연구는 XAI 방법론인 SHAP, LIME, LRP에 대해 고찰하고, 이들 방법론의 산업별 적용 가능성에 대해 탐색하였다. 금융분야는 인공지능이 신용등급평가, 대출의사결정, 투자의사결정 등의 주요 의사결정을 지원하고, 이들의 설명가능성, 해석가능성을 보장하기 위해 SHAP, LIME, LRP 등의 알고리즘이 적용될 수 있다. 이것으로 금융소비자와 금융기관 간 인공지능 결과물에 대한 공정성과 신뢰성을 높일 수 있다. 국방 및 군사분야는 인공지능 참모(AI Staff)가 군 주요 의사결정자의 보조수단으로 활용되고 있다. XAI를 적용하여 결과물의 설명가능성 및 해석가능성이 보장된다면 인공지능 참모의 역할은 적극적인 활용 형태로 바뀔 것이다. 산업재해 분야에서는 산업재해를 예측하는 모형에서 SHAP를 활용하여 산업재해 발생에 영향을 미치는 변수의 영향도를 파악할 수 있다. 이처럼 XAI 방법론은 다양한 분야에서 의사결정을 지원하는 인공지능 기반 예측모형의 설명가능성 및 해석가능성을 높이는데 기여할 수 있다.

설명가능한 인공지능(XAI) 기술도입이 금융서비스의 혁신성과를 향상시키는가?

배재권(Jae Kwon Bae) 글로벌경영학회 2023 글로벌경영학회지 Vol.20 No.3

설명가능한 인공지능(XAI, eXplainable Artificial Intelligence)은 인공지능 알고리즘의 의사결정에 대한 인과관계를 분석하여 적절한 근거를 찾아 모델의 산출물 결과를 사용자 레벨에서 설명하는 인공지능 기술이다. XAI 모델의 고객은 해당 모델을 운영하여 결과를 고객에게 제공하는 금융기관의 실무자와 인공지능 알고리즘 모델 결과를 사용(활용)하는 금융소비자이다. 금융 산업은 개인 및 기관의 자금을 운용으로 수익을 창출하지만 그 운용에 대한 책임도 동시에 갖고 있다. 점차 지능화된 금융범죄 및 사이버범죄의 발견(탐지)과 반복되는 신용평가 등의 업무에 인공지능 알고리즘이 적용되고 있지만 예상치 못한 알고리즘 취약점에 의한 잘못된 판단으로 손실을 초래할 수 있다. XAI는 금융권 인공지능 알고리즘이 발생한 결과에 대한 근거를 제시함으로써 XAI가 적용된 금융기업은 인공지능에 의한 잘못된 의사결정 가능성을 줄일 것으로 기대하고 있다. 본 연구는 XAI를 도입한 금융기업이 금융소비자의 인공지능 산출물(의사결정결과)에 대한 신뢰도 및 만족도 향상을 위한 XAI 특성요인을 추출하고, 이들 요인이 금융권 혁신성과에 미치는 영향도를 분석하고자 한다. 미국 국가표준기술연구원(NIST, 2020)은 XAI의 주요 원칙으로 산출물에 대해 증거와 이유 제시, 설명가능성 제시, 산출물 생성시스템의 프로세스를 제시해야 한다고 언급하였다. XAI는 충분히 신뢰할만한 산출물을 생성할 것이라는 믿음을 전제하고 운영되어야 한다. 또한 방위고등연구계획국(DARPA)은 XAI의 역량평가요소(역량평가지표)로 사용자 만족도, 설명모델 수준, 업무수행 향상도, 신뢰성 평가, 오류 수정 수준 등을 언급하였다. 본 연구는 DARPA의 XAI 역량평가지표, G20의 인간 중심 인공지능 사회 원칙, 금융위원회의 금융분야 인공지능 가이드라인 등을 참조하여 금융권 XAI 특성으로 투명성, 공정성, 설명가능성, 신뢰성, 결과실증성을 제시하였고, XAI 기술 도입 및 서비스 공급에 따른 금융기관의 혁신성과를 종속변수로 설정하였다. 연구모형을 검증하기 위해 금융권 XAI 도입기업 종사자를 대상으로 온라인 설문조사를 실시하였다. 연구결과, 금융권 XAI 특성(투명성, 설명가능성, 신뢰성, 결과실증성)은 금융권 혁신성과와 유의미한 영향을 미치는 것으로 나타났다. XAI (eXplainable Artificial Intelligence) is an artificial intelligence technology that analyzes the causal relationship of artificial intelligence decision-making, finds appropriate evidence, and explains decision-making results at the user level. Customers of the XAI model are practitioners of financial institutions that operate the model and provide results to customers, and financial consumers who use the results of the AI algorithm model. The financial industry generates profits by managing individual and institutional funds, but also has responsibility for its management. Although artificial intelligence algorithms are being applied to tasks such as the discovery of financial crimes and cyber-crime that are becoming more intelligent and repetitive credit evaluations, unexpected algorithm vulnerabilities can cause losses due to incorrect judgments. XAI presents the basis for the results of artificial intelligence algorithms in the financial sector, and financial companies to which XAI is applied can reduce the possibility of wrong decision-making by artificial intelligence. This study aims to explore the XAI characteristics and influencing factors in the financial sector that affect the reliability and satisfaction of domestic financial consumers, and examine how these factors affect innovation performance in the financial sector. DARPA mentioned user satisfaction, explanation model level, task performance improvement, reliability evaluation, and error correction level as XAI's competency evaluation factors (competency evaluation index). This study refers to DARPA's XAI competency evaluation index, G20's human-centered artificial intelligence society principles, and the Financial Services Commission's financial sector artificial intelligence guidelines, etc. In addition, the innovation performance of financial institutions according to the introduction of XAI technology and service supply was set as a dependent variable. In order to verify the research model, an online survey was conducted targeting workers in companies introducing XAI in the financial sector. As a result of the study, it was found that the XAI characteristics of the financial sector (transparency, explainability, reliability, and result demonstrability) had a significant effect on innovation performance in the financial sector.

환경 디지털 뉴딜 구현을 위한 AI 기반 환경 감시 체계 구축

진대용,표종철,김도연,조윤랑,한국진 한국환경연구원 2021 기본연구보고서 Vol.2021 No.-

Ⅰ. 서 론 □ 연구의 필요성 ㅇ 환경(정책)분야에서 AI 기술 활용은 그린 뉴딜과 디지털 뉴딜 연결에 주체적인 가교역할을 할 수 있지만 그 역할을 충분히 수행하지 못하고 있음 ㅇ 환경 분야의 데이터를 AI 기술을 중심으로 체계적이고 종합적으로 활용하기 위한 전략구축이 필요한 상황임 ㅇ ‘AI 기반 환경 감시 체계’ 구축을 위해서는 환경변화탐지, 자연재해 분석, 매체별 오염 발생패턴 분석 등 사례구축이 우선적으로 필요하며 이를 통해 필요한 요소 도출 및 프로세스 설계가 필요함 □ 연구의 목적 ㅇ AI 및 XAI 복합적 활용을 통한 AI 기반 환경 자동 모니터링 및 대응을 위한 주요 사례를 구축하고 이를 토대로 ‘AI 기반 환경 감시 체계’ 구축 전략을 제시함 Ⅱ. 선행연구 □ 환경정책연구에서 AI 연구 활용 범위의 확대 ㅇ 기존 의사결정 방법론의 한계를 다수의 파라미터로 구성된 AI 모델로 개선 가능 ㅇ 환경연구에서도 AI 방법론의 활용이 확대 중임 - 수치, 이미지, 영상 등 다양한 형태의 데이터를 변수로 활용 가능하며 예측, 분류, 검출, 변화탐지 및 영향력 분석 등이 가능함 - AI는 성능 측면에서 높은 정확도를 나타내지만, 복잡한 모델 구성으로 인해 설명력이 낮은 문제가 존재함 □ 설명 가능한 인공지능(XAI: eXplainable AI)의 등장으로 예측과 동시에 영향력이 큰 요인을 확인하여 의사결정을 위한 양적 자료로 활용 가능성 확대 ㅇ 블랙박스(Black-Box) 구조로 되어 있는 인공지능 알고리즘의 투명성과 신뢰성 확보를 위해 XAI 연구가 활발해지는 추세임 - 2017년 미 방위고등연구계획국(DARPA: Defense Advanced Research Projects Agency)에서 발표한 설명 가능 인공지능 프로젝트인 XAI를 시작으로 설명 가능한 인공지능의 기술 연구가 본격적으로 전개 중임 ㅇ XAI 분석 연구는 대기오염, 수질오염, 토양오염 등의 환경오염 문제뿐만 아니라 생태계 분야 등 다양한 환경 분야에서 적용되고 있음 - XAI 중에서 LIME(Local Interpretable Model-agnostic Explanations), SHAP(SHapley Additive exPlanation), Grad-CAM(Gradient-Class Activation Map) 등의 모형이 주로 활용되고 있음 □ IoT, 드론, 무인이동체 등 다양한 애플리케이션 및 기기를 통해 데이터 수집이 가능해져 환경 빅데이터가 축적되고 있으며 AI 적용 연구가 확대되는 추세임 ㅇ 환경분야에서 생성되는 이미지 및 영상 데이터는 기후, 환경오염(대기, 수질, 토양, 소음 등) 등 다양한 분야에 관련되어 있음 - AI 기반 예측, 분류 및 결측 데이터 보간 연구 등이 활발히 수행 중임 - 예측연구뿐만 아니라, XAI 기반 예측에 영향력이 큰 요인들을 제시하여 의사결정을 위한 양적 자료로 활용 가능성 확대 Ⅲ. AI 기반 산지 변화 탐지 1. AI 기반 산지 변화 탐지 연구의 개요 □ GIS와 원격탐사 기술을 이용한 산지 변화에 대한 실태 조사, 의심지 도출 및 후속 조치와 같은 대응이 이루어지고 있지만, 산지 변화의 조기 탐지 수행을 통한 피해지역의 조기 대응과 피해 축소가 필요함 □ 따라서 본 연구는 딥러닝 기술을 이용한 산지 변화 탐지에 대한 가능성을 제안함 2. 국내외 산림지도 현황 □ 국내외 산림지도 공급 현황 ㅇ 국토정보 플랫폼(국토지리정보원), 산림공간포탈서비스(산림청), AI 허브 산림수종 항공이미지 자료(한국지능정보사회진흥원) 등 ㅇ UCI Machine Learning Repository(미국), Skyscape dataset(독일 항공우주 센터), Semantic Change detection dataset(중국 우한대학교) 등 3. AI 기반 산지 변화탐지 입력자료 구성 및 모델 구성 □ AI 모델 입력자료 구성 ㅇ AI 허브 국토환경데이터에서 산림수종 항공이미지를 활용함 ㅇ 항공영상을 128×128로 세분화하여 한 영상당 16장의 이미지로 구성하고, RGB 항공영상 정보의 정규화를 수행함 ㅇ 라벨링 데이터는 산림과 비산림으로만 구분하기 위해 바이너리 어노테이션(binary annotation)을 수행하였고, 판독 불가의 라벨이 포함된 항공 이미지는 제외함 ㅇ 수도권 지역의 학습 이미지 총 1만 6,000장과 검증 이미지 총 1,600장을 AI 모델 입력자료로 활용함 ㅇ 산지 변화 탐지 성능 테스트를 위해 카카오 지도(Kakao Map)의 동 지역 다(多) 시기 테스트 이미지 데이터셋(data set)을 구성함 □ AI 모델의 구조 ㅇ 이미지 분할(Image segmentation)에 특화된 U-Net 딥러닝 모델 구조를 적용 ㅇ 기훈련된 U-Net 딥러닝 아키텍처의 레이어 구성과 하이퍼 파라미터를 파인튜닝(fine-tuning) 하여 산지 변화 탐지 학습을 수행 4. AI 모델 산지 변화탐지 결과 및 활용방향 □ U-Net 모델의 훈련 및 검증 결과는 산림과 비산림 지역을 잘 구분하였고, 실제 라벨링 지역과 유사한 패턴을 보이는 것을 확인함 □ 훈련된 U-Net 모델에 카카오 지도의 동 지역 다(多) 시기 이미지 적용 시 산지의 변화를 잘 구분하는 것을 확인하여, 산지 변화 탐지에 대한 딥러닝 모델의 활용 가능성을 확인함 Ⅳ. AI 기반 기후·대기오염과 코로나19 상관관계 분석 1. AI 기반 기후·대기오염과 코로나19 상관관계 분석 연구개요 □ 기후변화가 코로나19의 확산에 직접적인 영향을 미친다는 증거는 없으나, 관련 논의는 지속적으로 진행 중인 상황임 □ 2020년 서울시를 대상으로 기후 및 대기오염과 코로나19의 상관관계 분석을 수행하고, 기후 및 대기오염 인자와 코로나19 확진 사이의 관계에 대해 모의한 AI 모형 구축 가능성을 검토함 2. 기후·대기오염과 코로나19 상관관계 관련 선행연구 검토 □ 최신 국내외 연구사례 분석 결과, 국가별 결과가 상이하며 기후 및 대기오염 변수가 코로나19에 직접적인 영향을 미친다고 보기에는 어려운 것으로 사료됨 ㅇ 코로나19 사태 이후 기후 및 대기오염 영향 연구가 활발히 진행 중임 - 메르스, 사스, 코로나19 등 감염병은 계절적 패턴을 보이며 기온, 습도 데이터를 활용하여 예측 가능성을 검토함 - 유럽에서는 코로나19로 인한 사망에 이산화질소(NO₂)가 중요한 요소인 것으로 추정하였으며, 인도에서는 코로나19로 에어로졸 광학깊이(AOD)가 20년 만에 최저 수준으로 나타남 3. 기후·대기오염과 코로나19 상관관계 분석 및 결과 □ 2020년도 서울시 중심 기후 및 대기오염과 코로나19 상관관계 분석 시범 연구 사례 도출 ㅇ 코로나 관련 확진자 및 사망자 수, 기후 및 대기오염 데이터 수집을 통한 학습 데이터셋 구축 ㅇ 계절적 요인을 제외하기 위한 시기별(구간별) 스피어만(Spearman), 켄달(Kendall) 상관관계 분석 수행 - 전체기간 분석 결과 기온 변수가 코로나19 확진자 수와 높은 상관성을 나타냄 - 하지만 기온 변수의 코로나 시기별 상관계수 부호와 값이 크게 바뀌어 결과에 일관성 문제가 있음을 확인 ㅇ 분석 결과 한계점을 확인하였으며, 향후 분석 시 정책, 사회활동 변수 추가 필요 - 코로나19 확진자 수를 추정할 수 있는 직접적인 관련 입력변수(정책, 인구 이동 등)를 추가하여 분석 수행 필요 - 분석대상이 되는 기간이 2020년 1개 연도로, 데이터 축적을 통해 이를 늘릴 필요가 있음 Ⅴ. AI 기반 침수 흔적 탐지 1. AI 기반 침수 흔적 탐지 연구 개요 □ 오픈데이터(Open Data)를 활용하여 AI 기반 도심 침수 흔적 탐지 체계 구축 연구를 수행함 □ GIS 기반 공간 데이터 전처리, 파이썬 기반 전처리 데이터의 AI 모델 입력자료 구축, 기계학습 모델 구축을 통한 침수 흔적 탐지 학습 및 활용한 입력 데이터 중 침수 탐지에 중요한 인자 추정 □ 침수 취약 지도 작성과 중요 인자 파악 및 분석, 기후변화시나리오 데이터를 적용한 미래 침수 취약지역 예측 및 분석 수행 2. AI 기반 침수 흔적 탐지 입력자료 및 모델 구성 □ AI 모델 입력자료 구성 ㅇ 환경 빅데이터 플랫폼, 기상정보포털, 그리고 환경공간정보서비스를 통한 수문분석도, 지형분석도, 기후변화 시나리오 데이터, GIS 데이터를 활용함 ㅇ 취득한 공간 데이터의 수도권 지역으로 공간적 범위 일원화, 래스터화 및 적층을 통한 입력자료 구성을 진행함 ㅇ 랜덤 포레스트 모델 훈련을 위해 침수위선상 침수 범위의 150지점을 훈련데이터로, 50지점을 검증데이터로 사용함 □ AI 모델의 구성 ㅇ 앙상블 학습 방법을 활용하는 대표적인 기계학습 모델인 랜덤 포레스트(Random Forest) 모델 구성과 학습을 통한 수도권 지역 침수 흔적 탐지 성능 평가를 진행함 ㅇ 침수 흔적 탐지 결과에 대한 입력자료의 민감도 분석을 위해 랜덤 포레스트 모델의 변수 중요도(Variable importance)를 추정함 3. AI 모델 침수 흔적 탐지 성능 및 검증 □ 랜덤 포레스트 모델 침수 흔적 탐지 성능 평가 ㅇ 랜덤 포레스트로 학습한 침수 흔적 범위와 측정된 침수 흔적 범위와 유사한 결과를 확인함 ㅇ 훈련된 모델을 수도권 전역에 적용한 수도권 지역 침수 취약 지도를 통해 한강 수변 중심으로 침수 취약도가 높음을 확인함 4. 기후변화 시나리오를 통한 침수 흔적 예측 □ RCP 8.5 시나리오 적용을 통한 침수 흔적 변화 예측 ㅇ 미래의 RCP 시나리오를 훈련된 랜덤 포레스트 모델에 적용하여, 강수량 변화에 따른 수도권 지역 침수 흔적 범위 변화를 확인함 ㅇ 기후변화 시나리오에 따른 AI 기반 도심 침수 피해 예측 등의 활용을 기대함 Ⅵ. AI 기반 미세먼지 발생패턴 분석: 고농도 사례를 중심으로 1. AI 기반 미세먼지 발생패턴 분석 연구 개요 □ AI 기반 고농도 미세먼지 발생패턴 분석 연구의 필요성 ㅇ 우리나라의 미세먼지 농도는 관련 정책의 수립 및 적극적인 이행으로 전반적으로 감소하는 추세임 ㅇ 하지만 고농도 미세먼지 현상은 계속해서 나타나고 있고, 지속기간이 길어지는 사례는 여전히 존재하며, 국민들의 미세먼지에 대한 불안감은 아직까지 해소되지 않은 상태에서 환경에 대한 인식 및 관심이 높아짐에 따라, 관련 정책이 늘어나고 있음 ㅇ 미세먼지 발생 패턴분석을 위한 AI 모형의 구축을 수행하고 활용방안을 제시함 2. AI 기반 미세먼지 발생패턴 분석 입력자료 및 모델 구성 □ AI 모델 입력자료 구성 ㅇ 에어코리아, 기상정보포털 등을 통한 대기질, 기상·기후자료, 외부요인(중국 대기질) 자료를 활용함 ㅇ 2017~2019년 충남 지역을 대상으로 하였으며, 대기측정망을 기준으로 데이터를 재구성함 □ AI 모델 구성 ㅇ 부스팅 기반 방법을 활용하는 대표적인 기계학습 모델인 XGBoost 모델 구성 및 학습을 통해 미세먼지 추정 모형 구축을 진행 3. AI 기반 고농도 미세먼지 발생패턴 분석모델 성능 및 활용 가능성 검토 □ 미세먼지 추정 성능 테스트 ㅇ 테스트 데이터에 대해 구축된 모형에서 추정값과 실측값을 비교했을 때 대부분의 경우 경향을 추적할 수 있음을 확인함 ㅇ 하지만 고농도 미세먼지 대해서는 추정이 잘되지 않는 부분들이 일부 존재하였으며, 이 부분은 향후 학습 데이터의 증가 및 관련 변수들의 추가선정을 통해 보완할 수 있을 것으로 사료됨 □ 미세먼지 발생패턴 분석 결과 ㅇ 구축된 모형에 PDP 및 SHAP 방법론을 적용하여, 미세먼지 농도 추정에 대한 모델의 판단 근거를 도출할 수 있음을 확인함 ㅇ 미세먼지 발생패턴의 핵심인자를 파악하고, 주요 사례별로 모형값 결정에 대한 입력 변수의 기여도 분석 사례를 제시함 □ AI 기반 고농도 미세먼지 발생패턴 모형의 활용 가능성 검토 ㅇ 대기오염물질, 기상·기후 요인, 중국 대기질 데이터 등의 활용을 통해 PM_2.5를 추정하는 AI 모형 구축이 가능함 ㅇ SHAP값은 구축한 AI 모델의 출력값에 의존적인 모형이며, 구축된 모형의 특성에 종속된다는 한계가 있음 ㅇ 출력된 결과는 입력변수와 출력변수의 패턴 분석을 통해 상관관계를 체계화하는 것에 가까우며, 인과관계를 보장하지 않는 한계가 있음 ㅇ 그럼에도 AI 모형으로 입력되는 변수들의 PM_2.5 추정에 샘플 단위로 영향력을 제시할 수 있음 ㅇ 향후 전문가들과의 논의를 통해 미세먼지 농도 추정에 대한 기여도의 정합성을 검토하여, 신뢰도 높은 정량평가모델로 개선할 필요가 있음 Ⅶ. 결론 및 정책 제언(학술적 성과) □ 환경 디지털 뉴딜을 위한 AI 기반 환경분야 연구사례 제시 ㅇ AI 기술을 중심으로 환경 변화 탐지 사례(산지 변화 탐지), 자연재해 분석 사례(침수탐지 및 예측), 감염병 분석 사례(기후 및 대기인자와 코로나19 상관분석, 매체별 환경오염 분석 사례(미세먼지 발생패턴 분석)의 환경분야 활용 사례를 제시 ㅇ 수치, 이미지, 지리정보 등 다양한 데이터를 입력변수로 활용 가능하며, 연구목적에 따라 관심변수의 추정 및 예측, (이미지) 변화 분석, 변수의 영향력 분석 등에 활용할 수 있는 가능성을 제시함 ㅇ XAI 모형을 통해 구축된 모델의 값 출력에서 영향력이 큰 요인들을 제시하여, 의사결정을 위한 양적 자료로 활용하기 위한 방안을 제시함 □ AI 기반 감시 체계 구축을 위한 필수 요소 및 활용방안 ㅇ 다수 환경분야에 대한 실제 AI 적용을 통해, AI 기반 감시 체계 구축을 위한 필수요소 및 기본적인 모형 구축 및 분석 과정을 정립함 ㅇ AI 기반 감시 체계의 필수요소는 데이터 구축(데이터 수집 또는 생산) ⇒ AI 모형구축 ⇒ AI 모형 기반 분석 및 감시 실시 ⇒ 결과 도출 및 정책 근거자료 확보의 과정으로, 이를 통해 AI 기반 감시 체계 구축 가능 ㅇ 지속적으로 활용 가능한 환경감시 체계 구축을 위해서는 실시간 또는 주기적 자동 데이터 수집이 필수적임 ㅇ AI 모형을 구축한 뒤 모형 출력 결과를 활용 및 고려하지 못한 부분에 대한 모형 업데이트를 수행하는 등의 선순환 체계 구축 필요 ㅇ 모형 구축 및 결과 해석의 과정에서 전문지식과의 정합성이 확보되면, 향후에는 지속적(자동)으로 결과를 도출하여 환경 이슈 대응방안 수립 시 과학적 정책 근거 자료를 제시함으로써 감시 체계의 역할을 수행할 것으로 기대함 □ 후속 과제 제안 ㅇ 정밀하고 실용성 높은 분석을 위해서 고해상도의 시·공간 데이터 구축이 필요하고 구축된 데이터의 질에 따라 결과 및 활용 범위가 달라지기 때문에, 데이터 구축이 필요한 영역에 대한 검토, 목적에 맞는 고해상도 데이터 생산을 위한 연구 수행을 제안함 ㅇ 매체별 오염, 자연재해 분석 등 AI 및 XAI 모델을 구축하고, 도출된 결과를 토대로 전문가와의 정합성 검토, 물리적 모델링 및 시뮬레이션 결과 등과 비교분석을 비롯해 관련 내용을 합리적으로 반영하기 위한 연구 필요 Ⅰ. Introduction □ Research background ㅇ Use of AI technology in the environmental (policy) sector can perform an independent role as a bridge between Green New Deal and Digital New Deal, but it fails to sufficiently fulfill its role ㅇ There is a need to establish strategies to systematically and comprehensively use data in the environmental sector with focus on AI technology ㅇ To build an ‘AI-based environmental monitoring system’, it is necessary to first develop cases such as environmental change detection, natural disaster analysis, and pollution occurrence pattern analysis by media type, through which necessary elements must be derived and processes designed □ Research objective ㅇ To develop major cases for automatic AI-based environmental monitoring and response through combined use of AI and XAI and provide strategies to build an “AI-based environmental monitoring system” based on the above Ⅱ. Literature Review □ Expanding the application scope of AI studies in environmental policy research ㅇ Limitations of existing decision-making methodologies can be overcome with AI models comprised of multiple parameters ㅇ Application as environmental studies using AI methodologies is being expanded - Various forms of data such as numbers, images, and videos can be used as variables, allowing prediction, classification, detection, change detection, and impact analysis - AI shows high accuracy in terms of performance, but there is the issue of low explanatory power due to complicated model compositions □ With the emergence of explainable AI (XAI), factors with a huge impact can be predicted as well as validated, which can be used as quantitative data for decision making ㅇ XAI studies are conducted actively to ensure transparency and reliability of AI algorithms in a black box structure - Starting with the explainable AI project XAI announced by the Defense Advanced Research Projects Agency (DARPA) in the U.S. in 2017, technological research on explainable AI is being developed ㅇ Studies analyzing XAI are applied to various fields of the environment such as ecosystem in addition to environmental pollution problems such as air pollution, water pollution, and soil pollution - XAI models mostly used include local interpretable model-agnostic explanations (LIME), SHapley Additive exPlanation (SHAP), and Gradient-weighted Class Activation Mapping (Grad-CAM) □ Data can be collected using various applications and devices such as IoT, drones, and unmanned vehicles, thereby accumulating environmental big data and activating studies applying AI ㅇ Image and video data created in the environmental sector are related to various fields such as climate and environmental pollution (air, water quality, soil, noise, etc.) - Studies are actively conducted on AI-based prediction, classification and interpolation of missing values - In addition to prediction research, factors with a huge impact on XAI-based prediction are presented, which can be used as quantitative data for decision making Ⅲ. AI-based Mountain Land Change Detection 1. Overview of research on AI-based mountain land change detection □ Measures are taken using GIS and remote sensing technology such as factual surveys on mountain land changes, derivation of suspicious sites, and other follow-up measures, but there is a need for early response and decrease of damages through early detection of mountain land changes □ Therefore, this study raises the possibility of mountain land change detection using deep learning technology 2. Forest maps in Korea and overseas □ Supply of forest maps in Korea and overseas ㅇ National Geographic Information Platform, (National Geographic Information Institute), Forest Space Portal Service (Korea Forest Service), AI Hub aerial photographs of forest tree species data (National Information society Agency), etc. ㅇ UCI Machine Learning Repository (U.S.), Skyscape dataset (German Aerospace Center), Semantic Change detection dataset (Wuhan University in China), etc. 3. AI-based mountain land change detection input data and model composition □ AI model input data ㅇ Aerial photographs of forest tree species are used from AI Hub national land environment data ㅇ Aerial videos are subdivided into 128 x 128, organizing each video with 16 images and normalizing the information of RGB aerial images ㅇ For labeling data, binary annotation is performed to classify into just forests and non-forests, and aerial photographs including illegible labels are excluded ㅇ Total 16,000 images for learning and 16,000 images for validation in the capital area are used as AI model input data ㅇ The same area multi-period test image datasets on Kakao Map are formed to test the performance of mountain land change detection □ Structure of the AI model ㅇ The U-Net deep learning model structure specialized for image segmentation is applied ㅇ The layer composition of trained U-Net deep learning architecture and hyper parameters are fine-tuned to perform mountain land change detection learning 4. Results and application of AI model mountain land change detection □ The training and validation results of the U-Net model well divided forests and non-forests and showed a similar pattern as actual labeling areas □ Mountain land changes are well distinguished when applying the same area multi-period test images on Kakao Map to the trained U-Net model, which proved the applicability of deep learning models in mountain land change detection Ⅳ. Correlation Analysis of AI-based Climate/air Pollution and COVID-19 1. Overview of research in correlation analysis of AI-based climate/air pollution and COVID-19 □ There is no evidence that climate change has a direct impact on the spread of COVID-19, but related discussions are continuously being made □ Correlation analysis of climate/air pollution and COVID-19 in Seoul was conducted in 2020, and the possibility of building an AI model simulating the relationship between climate/air pollution factors and COVID-19 was reviewed 2. Literature review on correlation between climate/air pollution and COVID-19 □ After analyzing the latest research cases in Korea and overseas, the results vary among nations and proved that there is no evidence that climate and air pollution variables have a direct impact on COVID-19 ㅇ Studies are actively conducted on the impact of climate and air pollution since the COVID-19 pandemic - Infectious diseases such as MERS, SARS, and COVID-19 show a seasonal pattern and can be predicted using temperature and humidity data - NO₂ was proved to be a key element of death from COVID-19 in Europe, and AOD in India turned out to be the lowest in 20 years due to COVID-19 3. Correlation analysis of climate/air pollution and COVID-19 and results □ A pilot study was conducted on correlation analysis of climate/air pollution and COVID-19 at the heart of Seoul in 2020 ㅇ Learning datasets are built by collecting confirmed cases and deaths of COVID-19, and climate and air pollution data ㅇ Spearman and Kendall correlation analyses were conducted on each section to exclude seasonal factors - The results showed that temperature was a variable highly correlated with the number of confirmed cases of COVID-19 - As a result, the correlation coefficient of temperature in each section changed significantly, proving that there is little relevance ㅇ The results proved the limitations and raised the need to add policy and social activity variables for future analysis - Must conduct analysis by adding directly related input variables (policy, population mobility, etc.) that can estimate the number of confirmed cases of COVID-19 - Must increase the analysis period by accumulating data to 1 year of 2020 Ⅴ. AI-based Inundation Trace Detection 1. Overview of research on AI-based inundation trace detection □ Research is conducted on building an AI-based urban inundation trace detection system using open data □ Preprocessing GIS-based spatial data, building AI model input data of Python-based preprocessing data, learning inundation trace detection by building machine learning and deep learning models, and estimating key factors of inundation detection among input data used □ Developing a flood susceptibility map, identifying and analyzing key factors, and conducting prediction and analysis of future flood susceptible areas applying climate change scenario data 2. AI-based inundation trace detection input data and model composition □ AI model input data ㅇ Hydrology map, topographic map, climate change scenario data, and GIS data are used on Environment Big Data Platform, Open MET Data Portal, and Environmental Space Information Service ㅇ Input data is formed by unifying, rasterizing, and stacking the spatial scope to the capital area of spatial data obtained ㅇ For random forest model training, 150 points of inundation scope in 2010 are used as training data, and 50 points as validation data □ Structure of the AI model ㅇ Inundation trace detection performance in the capital area is evaluated by composing and learning the random forest model, which is a typical machine learning model using the ensemble learning method ㅇ Variable importance of the random forest model was estimated to analyze the sensitivity of input data in inundation trace detection results 3. AI model inundation trace detection performance and validation □ Performance evaluation of the inundation trace detection using the random forest model ㅇ Similar results were found between the inundation trace scope learned by random forest and the inundation trace scope measured in 2010 ㅇ High flood susceptibility was verified around the waters of Hangang River through the flood susceptibility map of the capital area applied to all capital areas of the trained model 4. Inundation trace prediction through climate change scenario □ Inundation trace change prediction by applying the RCP 8.5 scenario ㅇ Change in the inundation trace range in the capital area is verified by change in precipitation by applying the future RCP scenario to the trained random forest model ㅇ Expected to be used in AI-based urban inundation damage prediction according to climate change scenarios Ⅵ. AI-based Particulate Matter (PM) Occurrence Pattern Analysis: Focusing on High Concentration Cases 1. Overview of research on AI-based PM occurrence pattern analysis □ Need for research on AI-based PM occurrence pattern analysis ㅇ PM concentrations in Korea are decreasing overall with establishment and active implementation of related policies ㅇ However, there is an ongoing phenomenon of high concentration PM that still lasts long, and the nation’s anxiety over PM is not yet resolved, and there are more and more related policies and interest due to the expansion of environmental awareness ㅇ Building an AI model and providing application plans for PM occurrence pattern analysis 2. AI-based PM occurrence pattern analysis input data and model composition □ AI model input data ㅇ Air quality and weather/climate data on Air Korea and Open MET Data Portal are used, as well as external factors (air quality in China) ㅇ Research is conducted on Chungnam in 2017-2019, with data restructured based on the air quality monitoring network □ Structure of the AI model ㅇ The XGBoost model, which is a typical machine learning model using the boosting technique, is developed and the PM estimation model is built through learning 3. Review of performance and applicability of the AI-based high concentration PM occurrence pattern analysis model □ PM estimation performance test ㅇ Comparing the estimated and measured values of the model built on test data, the trend was traced in most cases ㅇ However, some cases of high concentration PM were not estimated well, which can be supplemented later by increasing learning data and additionally selecting related variables □ PM occurrence pattern analysis results ㅇ It has been proved that the grounds for model judgment about PM concentration estimation can be derived by applying PDP and SHAP to the built model ㅇ Key factors of PM occurrence patterns are identified, and analysis cases on contribution of input variables in determining model values for each case are provided □ Review of the applicability of the AI-based high concentration PM occurrence pattern model ㅇ Can build an AI model estimating PM_2.5 using air pollutants, weather/ climate factors, and China’s air quality data ㅇ SHAP values have limitations in that they are dependent on the output values of the AI model built and subordinate to the characteristics of the model built ㅇ The output results are closer to systemizing the correlation through pattern analysis of input and output variables without guaranteeing the causal relations ㅇ Nonetheless, the AI model can have an effect at the sample level in PM_2.5 estimation of variables ㅇ By discussion with experts in the future, it is necessary to review the consistency in contribution to PM concentrations and improve into a highly reliable quantitative evaluation model Ⅶ. Conclusions and Policy Suggestions (Academic Outcomes) □ Case studies on AI-based environment for environmental Digital New Deal ㅇ This study presented cases used in the environmental sector with focus in AI technology, such as environmental change detection (mountain land change detection), natural disaster analysis (inundation control and prediction), infectious disease analysis (correlation analysis of climate/air factors and COVID-19) and environmental pollution analysis by media type (PM occurrence pattern analysis) ㅇ All kinds of data such as numbers, images, and geographical information can be used as input variables, and can be applied in estimating and predicting variables of interest, analyzing (image) changes, and analyzing variable impact depending on the research purpose ㅇ Presenting ways to use as quantitative data for decision making by providing factors with a great impact in obtaining values of the model built through the XAI model □ Essential elements and application plan to build an AI-based monitoring system ㅇ Essential elements, basic models, and analysis processes are established to build an AI-based monitoring system through many actual cases of AI application in the environmental sector ㅇ The essential elements of the AI-based monitoring system are building data (collecting or producing data) ⇒ building an AI model ⇒ analyzing and monitoring based on the AI model ⇒ deriving outcomes and securing policy grounds ㅇ Automatic real-time or regular data collection is essential for building a sustainably applicable environmental monitoring system ㅇ It is necessary to build a virtuous cycle of deriving and using data produced by building an AI model as the results and updating the model for parts not considered ㅇ By securing consistency with expert knowledge in the process of building the model and interpreting the results, the monitoring system will be able to fulfill its role by deriving continuous (automatic) results and providing scientific grounds and policy grounds when establishing measures to resolve environmental issues □ Suggestion of follow-up tasks ㅇ For precise and highly practical analysis, it is necessary to build high-resolution temporal and spatial data; thus, this study suggests review of fields that need data building and research on high-resolution data production fit for the purpose by setting the results and application scope of data quality ㅇ There is a need for research that rationally reflects and comparatively analyzes the results of consistency review with experts, physical modeling, and simulation based on building of AI and XAI models such as pollution by media type and natural disaster analysis

인공지능에게 책임을 부과할 수 있는가?: 책무성 중심의 인공지능 윤리 모색

이중원 한국과학철학회 2019 과학철학 Vol.22 No.2

In this paper, I will examine seriously with the concept of accountability whether we can impose liability on the artificial intelligence system as an autonomous agent when it causes negative behavioral consequences. Today, the background to the issue of responsibility again for non-human artificial intelligence systems is that the artificial intelligence system with autonomy of choice is actively working on the existence of human being, causing the problem of ‘many hands’ and voids of liability. Therefore, I will first give a situational conditions for the artificial intelligence system that can cause problems of responsibility. Secondly, I will examine the possibility of the concept of responsibility to be extended to autonomous actors other than human beings, focusing on the concept of responsibility of Emmanuel Levinas, in spite that the concept of responsibility in traditional moral philosophy has been exclusively applied to human beings. In addition, I will show that it is not easy to apply this concept to present and future artificial intelligence systems, even if it is possible to expand the concept of responsibility. And I suggests application of accountability concept instead of responsibility for artificial intelligence system. I will analyze that this accountability can be practically implemented in an explainable artificial intelligence system. Finally, I will carefully put the possibility of accountability-oriented ethics for artificial intelligence systems into perspective. 본 논문에서는 자율적인 행위자로서의 인공지능 시스템이 부정적인 행위 결과를 야기했을 경우 과연 책임을 부과할 수 있는가라는 문제를, 책무성 개념을 중심으로 진지하게 다룰 것이다. 오늘날 인간이 아닌 인공지능 시스템을 놓고 책임 문제를 다시금 논하는 배경은, 선택의 자율성을 지닌 인공지능 시스템이 인간의 실존에 능동적으로 작동하면서 ‘많은 손’의 문제를 일으키고 있고, 그럼에도 책임을 부과하지 않는다면 책임 공백의 문제가 발생할 우려가 있기 때문이다. 따라서 인공지능 시스템에 대해서도 책임 소재의 문제가 발생할 수 있는 상황 조건을 우선 제시할 것이다. 다음으로 인간에게 배타적으로 적용되어 온 전통적인 도덕철학에서의 책임 개념을 뛰어넘어 인간이 아닌 다른 자율적인 행위자에게도 확대 적용될 수 있는 책임 개념의 가능성을, 레비나스의 책임 개념을 중심으로 검토해볼 것이다. 나아가 이를 통해 책임 개념의 외연을 설령 확장 가능하더라도 현재나 가까운 미래의 인공지능 시스템에게 이를 적용하는 것은 쉽지 않음을 밝히고, 인공지능 시스템에 대해 책임(responsibility) 대신 책무(accountability) 개념의 적용을 제안할 것이다. 그리고 이러한 책무성이 인공지능 시스템에서 실질적으로 구현가능한지, 설명 가능한(explainable) 인공지능 시스템을 대상으로 분석할 것이다. 마지막으로 인공지능 시스템에 대해 책무성 중심의 윤리 체계를 구축하는데 필요한 윤리 프레임의 기본 요소들을 제안하는 수준에서, 그러한 윤리 체계의 가능성을 조심스럽게 전망해 보고자 한다.

AI 필터링과 설명가능 인공지능

김주현 서울대학교 기술과법센터 2020 Law & technology Vol.16 No.3

악성 게시글 및 댓글의 위험성에 대한 사회적 경각심이 높아지고 있는 상황 속에서, 인터넷 포 털 사이트와 SNS 등은 악성 게시글 및 댓글 등 을 AI를 통하여 필터링하는 기능을 도입하고 있 다. 그 과정 속에서 AI가 어떠한 기준에 따라 필 터링을 하는지 구체적인 내용이 공개되지 않아 이용자들의 반발이 계속되고 있다. AI 필터링의 확산은 불가피하게 이용자의 표 현의 자유, 알 권리를 제약하는 결과로 이어진다. 특히 AI 필터링은 인간에 의한 필터링과 달리 필 터링 결과에 이른 근거가 무엇인지 인간이 이해 할 수 있는 방법으로 인간에게 전달하는 것이 어 렵다는 점에 특징이 있다. 설명가능 인공지능(XAI)은 이용자에게 시스 템의 개별 의사결정에 대한 설명을 제공하고, 이 용자가 AI 시스템의 전반적인 강점 및 약점을 이 해하도록 도와주는 기술이며, 미국 방위고등연구 계획국(DARPA)의 주도하에 연구가 진행되고 있다. XAI는 다양한 분야에서 이용자로부터 신뢰 를 얻고 사회적 수용을 위한 공감대를 형성하는 수단이 될 것으로 예상된다. EU의 일반개인정보보호규정(GDPR)은 정보 주체들이 인공지능 알고리듬이 어떻게 결과를 도 출하는지에 대한 설명을 요구하는 근거규범을 포 함하고 있다. 설명요구권과 자동화된 의사결정을 제한할 권리를 규정함으로써 정보주체의 기본 권 리를 보장하기 위한 규제 메카니즘을 구축하였다. 이로써 XAI 개발과 설계를 위한 노력이 긴요한 과제가 되었다. GDPR의 AI 규제 메카니즘 구축이 기술 발전 을 저해하는 효과를 낳을 수 있다는 부정론도 제 기되고 있다. 하지만 AI 알고리듬의 오류 발생 가 능성이 상존하므로, AI 필터링의 신뢰도를 확보 하기 위한 근거 설명의 필요성이 크다는 점에서 AI의 알고리듬 도출 결과의 근거를 요구할 수 있 는 입법이 긴요하다고 볼 수 있다. Amid growing social awareness about the dangers of malicious postings and comments, internet portals and social media sites are introducing ways to filter out malicious postings and comments through Artificial Intelligence. Due to unclear nature of the standards for those AI filters, users of the social media sites are continuing to criticize these actions. The spread of AI filtering inevitably leads to restriction of users’ freedom of expression and rights to know. Particularly, unlike filtering by humans, AI filtering is uniquely characterized by the difficulty of conveying to humans how and why it reached a certain conclusion by ways humans can understand. Explainable artificial intelligence (XAI) is a technology that provides users with transparency in individual decision making process rendered by the system and helps users understand the overall strengths and weaknesses of AI systems. The research is being conducted under the leadership of the U.S. Defense Advanced Research Planning Agency (DARPA). XAI is expected to provide a means to gain trust from users in various fields and form a consensus among the public. The EU’s General Data Privacy Regulation (GDPR) provides a legal framework requiring information producers to explain how Artificial Intelligence algorithms operate. This regulatory mechanism was established to ensure the basic rights of the information producers by way of setting forth the rights to request explanation of AI and to limit automated decision-makings. This has made the effort for XAI development and design an important task. Of course, there are also criticisms that the establishment of the GDPR's AI regulation mechanism could potentially have an hindering effect on the technology development. However, since there always coexists possibility of AI algorithm error, given the need for explanation of the grounds to secure the credibility of AI filtering, it is essential that some legal requirement for the basis of results reached by AI algorithm be legislated.

인공지능 리터러시 기반의 설명가능한 인공지능 교육 프로그램의 효과

정기민 한국인공지능교육학회 2022 인공지능연구 논문지 Vol.3 No.1

인공지능에 대한 법인격 부여에 관한 소고(小考) - 민사법적·인간 중심적 관점에 국한하여

장호준 사법발전재단 2023 사법 Vol.1 No.63

This Article analyzes the cost and benefit of granting artificial intelligence (hereinafter “AI”) with legal personality, focusing on the civil law and human-centered perspective. The main argument in favor of granting AI legal personality is based on the legal uncertainty regarding the issue of liability allocation and interpretation of contracts. The alleged legal uncertainty derives from the autonomy, and so-called ‘black box problem’ (the explainability) regarding AI. However, while the issues related to the above legal uncertainty can be dealt with based on the comprehensive interpretation or inferential application of conventional jurisprudence (the recent development in XAI (eXplainable AI) theory also helps solving the problem), granting AI legal personality will greatly increase the possibility of abusing the legal personality, and the protection of tort damages creditors may become a serious problem, in light of the possibility of the manipulation of AI by the entities behind, high risk-seeking behavior in commercial cases, and the discussion of so-called risk liability. Especially in the commercial case, due to the entities behind the corporation such as conventional shareholders, ‘AI corporation’ operating entirely on the basis of AI’s autonomy would not be practical. Thus, in the perspective of cost-benefit analysis, a more careful approach on granting AI legal personality is necessary. AI legal personality can be introduced under strict conditions: ① the specification of AI; ② strong AI (general AI); ③ completeness of decision-making structure; and ④ non-profitability, self-sufficiency based on sufficient liability property, and comprehensive disclosure - as a means of controlling the possibility of abuse. 이 글에서는 인공지능에 대한 법인격 부여 논의에 관하여, 민사법적·인간 중심적 관점에 국한하여 분석하였다. 먼저 논의의 필요에 맞추어 인공지능 및 법인격의 일반론을 다루되, 인공지능의 자율성과 함께 설명가능성 문제 내지는 블랙박스로서의 성격을 강조하였다. 다음으로 인공지능 법인격 부여 찬성론의 주요 논거로서 배상책임 및 의사표시 귀속 문제에 관한 법적 불확실성에 관하여 살펴본 뒤, 신중론의 입장에서 찬성론의 논거를 탄핵하였다. 인공지능에게 법인격을 부여할 경우 배후의 설계자나 운용자에 의한 프로그램의 조작가능성, 영리 목적의 경우 고도의 위험추구 행위 문제, 소위 위험책임의 논의 등에 비추어 종래의 법인과 비교할 때 남용가능성이 가중되고 특히 불법행위 손해배상채권자의 보호가 문제 될 수 있다. 반면 찬성론 측에서 지적한 법적 불확실성은 종래의 법리의 포괄적 해석 또는 유추적용을 통하여 상당 부분 해소될 수 있을 것이기에[주의의무와 관련하여서는 최근의 설명가능 인공지능(XAI)의 논의도 반영], 이익형량 내지는 비용 편익 분석의 관점에서 살펴볼 때 인공지능에 대한 법인격 부여에 신중할 필요가 있다. 특히 영리와 비영리 분류를 염두에 두어, ‘인공지능 영리법인’의 경우 실정법상 주식회사의 주주와 같이 이익 배분에 관한 경제적 권리를 갖는 배후자의 존재를 감안할 때 종래의 회사 제도를 벗어나기 어려운 점을 강조하여 지적하였다. 다만 제한적인 법인격 도입의 전제 요건으로서, ① 인공지능의 특정 ② 자율성·범용성을 갖는 강인공지능 ③ 의사결정구조의 완결성 ④ 남용가능성에 대한 통제 수단으로서의 비영리성, 자족성 및 충분한 책임재산의 확보, 포괄적 공시의 요건을 제시하였다.

의료 과학 연구를 위한 설명가능 그래프 인공 신경망

신예원,문기성,정영석,권선영 한국정보과학회 2022 정보과학회논문지 Vol.49 No.11

Explainable AI (XAI) is a technology that provides explainability for our end-users to comprehend prediction results of ML algorithms. In particular, the reliability of the decision-making process of an AI algorithm through XAI technology is the most critical in the medical field in terms of real applications. However, complex interaction-based medical data restrict the application of existing XAI technologies developed mostly for image or text data. Graph Neural Network (GNN)-based XAI research has been highlighted in recent years because GNN is technically specialized to capture complex relationships in data. In this paper, we proposed a taxonomy according to the application method and algorithm of GNN-based XAI technology with current XAI research trends and its use-cases in four detailed areas of the medical field. We also expounded on the technical limitations and future works of XAI research specialized in the biomedical area. 설명가능 인공지능(Explainable AI, XAI)은 알고리즘의 예측 결과를 사용자 관점에서 이해할 수 있도록 설명력을 제공하는 기술이다. 의료 분야는 인공지능의 의사결정에 대한 신뢰도가 보장되어야 하므로, 의사 결정의 도출 과정을 설명하는 XAI의 활용이 필수적이다. 하지만 대부분의 XAI 기술은 이미지나 텍스트 데이터를 대상으로 개발되었기 때문에 다양한 상호작용을 기반으로 하는 그래프 구조의 의료 데이터에 그대로 적용하기에는 한계가 존재한다. 따라서 데이터의 복잡한 관계성을 효과적으로 파악할 수 있는 그래프 인공 신경망(Graph Neural Network, GNN) 기반의 XAI 연구가 요구되고 있다. 본 논문에서는 GNN 기반 XAI 기술의 적용 방식과 알고리즘에 따른 분류 체계를 제안하고, 의료 분야의 네 가지 세부 영역에서 XAI를 활용한 연구 동향과 사례를 소개한다. 마지막으로 생명 의료 분야에 적용된 XAI 연구의 한계점과 향후 발전 방향을 제시한다.

XAI Grad-CAM 기반 궤양병 감귤 이미지 분류 CNN 모델의 점검

이동찬(Dongchan Lee),변상영(Sangyoung Byeon),김기환(Keewhan Kim) 한국자료분석학회 2022 Journal of the Korean Data Analysis Society Vol.24 No.6

하드웨어의 성능 및 정보처리 기술이 급격히 발전하면서 비정형 데이터의 처리 및 가치 창출에 관한 관심이 증가하고 있다. 이를 위한 다양한 인공지능 아키텍처들이 개발되고 있으며, 모델의 의사결정 분기점이 기하급수적으로 늘어나면서 큰 성능의 개선이 이루어지고 있다. 그러나복잡한 모델 구조는 연구자의 결과 해석 용이성을 저해하는 주요한 원인이 되며, 모델 성능의발전 속도와는 달리 설명 능력에 대해서는 진척이 더딘 실정이다. 설명 가능한 인공지능, 이하XAI(eXplainable Artificial Intelligence)는 위와 같은 문제를 해결하기 위해 등장하였으며, 모델의블랙박스를 이해 가능한 수준으로 분해하여 해석 가능성 및 신뢰도 제고에 도움을 준다. 본 연구에서는 CNN(Convolutional Neural Network) 모델을 사용하여 궤양병 감귤 이미지 분류 문제에접근하였으며, 최종적으로 설계한 모델은 약 97% 수준의 정확도를 보였다. 이후 모델의 신뢰성제고 및 개선 방향 판단을 위해 XAI 기법 중 하나인 Grad-CAM(Gradient-weighted Class Activation Mapping)을 적용하였으며, 이를 통해 구축한 모델이 최종적인 판단을 내리는데 중요한 역할을한 이미지의 특정 영역을 파악하는 과정을 진행하였다. 점검 결과 이미지 외곽의 형태가 객체와구분이 되지 않아 영향을 크게 받는 경우 및 특정 객체의 고유한 형태가 오분류 원인으로 감지되었다. By the rapid development of hardware performance and information processing technology, interest in processing unstructured data and creating value is increasing. Various types of AI architectures are being developed and as the decision-making junction of the model increased exponentially, the performance is being improved. However, complex model structure is a major cause of hindering researchers' ease of interpret results and unlike the speed of development of model performance, the progress is slow on explanatory ability. Explainable artificial intelligence (XAI) has emerged to solve this problem and decomposes the model's black box to an understandable level to help improve interpretability and reliability. In this research, we approach the ucler disease citrus image classification problem by using CNN model, and the final model showed approximately 97% accuracy. After that, to improve the reliability of the model and to determine the specific area of the image that played a major role in making the final judgment, Gradient-weighted Class Activation Mapping (Grad-CAM), one of the XAI techniques was applied. As a result of the inspection, it was detected that the shape outside the image wasn't distinguished from the object which was greatly affected. So, the unique shape of a specific object was the main cause of misclassification.

Chemi: “설명 가능한 인공지능 (XAI) 기반 ” 온라인 데이팅 앱 인터페이스 디자인

이은영(Eunyoung Lee),김유영(Yuyoung Kim),이현학(Hyeonhak Lee),김형신(Hyungsin Kim) 한국HCI학회 2020 한국HCI학회 학술대회 Vol.2020 No.2

최근 인공지능 기술은 성능과 정확도 면에서 급격히 진화하고 있다. 하지만 추천 시스템의 경우, 사용자가 인공지능이 제공하는 결과를 이해하고 신뢰하는 데 구체적 설명이 없이는 사용자가 추천을 받아들이는 데에는 한계가 존재한다. 우리는 선택의 폭이 넓은 상황에 놓이면, 내부 갈등이 증가하여 심리적 부담을 느끼게 되어 선택의 어려움을 종종 겪게 된다. 특히, 마음에 드는 이성을 만나는 과정은 시간과 노력이 많이들 뿐만 아니라, 끊임없는 시행착오를 거쳐서 이루어지는 경우가 많다. 본 연구에서 우리는 나와 가장 비슷한 관심사를 가진 사람을 추천해주는 인공지능 데이팅 앱인 Chemi 의 프로토타입을 제작하여 탐구해 보고자 한다. Chemi 는 인공지능이 추천해 주는 데이팅 상대에 대한 이유를 사람이 이해할 수 있는 방식으로 인터페이스에서 제공해 주는 특징이 있다. 끝으로, 연구결과는 추후 인공 지능 알고리즘의 적용이 활발하게 이루어지고 있는 금융, 의료, 보험 분야 시스템 디자인의 활성화에 도움이 될 것이라 본다.