[왼쪽부터] 고려대 인공지능학과 조대현 석박통합과정(제1저자), 고려대 안암병원 영상의학과 유성혜 교수(공동제2저자), 고려대 안암병원 영상의학과 김보규 교수(공동제2저자), 고려대 인공지능학과 크리스티안 왈라븐(Christian Wallraven) 교수(교신저자)
고려대 인공지능학과 크리스티안 왈라븐(Christian Wallraven) 교수 연구팀 - 안암병원 영상의학과 융합 연구,
의료 AI의 ‘설명’까지 검증한다…신뢰성 평가 기준 제시
고려대-안암병원 융합 연구 통해 뇌 MRI 4만 건 기반 대규모 분석,
설명가능 인공지능 평가 지표 중 ‘강건성’의 임상적 타당성 입증
딥러닝 인공지능(AI)은 뇌 자기공명영상(MRI)과 같은 복잡한 의료 영상을 분석할 때 전문의 수준의 성능을 보이고 있다. 그러나 AI가 어떤 근거로 결론을 내렸는지 파악하기 어려운 이른바 ‘블랙박스’ 문제로 인해 실제 진료 현장에 도입하는 데에는 어려움이 있었다.
고려대학교 인공지능학과 크리스티안 왈라븐(Christian Wallraven) 교수 연구팀은 고려대학교 안암병원 영상의학과 유성혜·김보규·박아림 교수 연구팀과의 융합 연구를 통해 의료 AI의 설명을 평가하는 여러 지표 가운데 ‘강건성’이 가장 신뢰할 수 있는 핵심 기준임을 입증했다.
강건성(Robustness)은 같은 구조의 AI를 서로 다른 조건에서 여러 차례 학습시켰을 때, AI가 제시하는 설명이 얼마나 일관되게 유지되는지를 나타내는 지표다. 강건성이 높을수록 AI의 설명이 특정 학습 과정에 우연히 의존하지 않고 안정적으로 유지된다는 의미다.
의료 AI의 신뢰도를 높이기 위해 최근에는 AI가 판단한 근거를 사람이 이해할 수 있도록 보여주는 ‘설명가능 인공지능(XAI)’ 기술이 활발하게 개발되고 있다. 이에 따라 AI의 진단과 설명이 얼마나 믿을 만한지를 평가하는 다양한 지표도 제안됐지만, 이러한 지표가 실제 임상적으로 의미가 있는지는 체계적으로 검증되지 않았다.
특히 유럽연합의 인공지능법을 비롯해 각국에서 의료 AI의 설명 의무를 강화하는 흐름이 이어지면서, 표준화된 검증 기준의 필요성이 더욱 커지고 있다.
연구팀은 영국 바이오뱅크(UK Biobank)와 알츠하이머병 신경영상 이니셔티브(ADNI)의 뇌 MRI 약 4만 건을 기초 데이터로 활용했다. 이어 서로 다른 9가지 딥러닝 모델 구조와 8가지 대표적인 설명 기법을 조합해 총 1만 건 이상의 대규모 시뮬레이션 분석을 수행했다. 이는 수십 건 수준에 그쳤던 기존 연구보다 분석 규모를 크게 확대한 것이다.
분석 결과, AI의 설명이 핵심을 얼마나 잘 짚었는지를 평가하는 ‘충실성’과 설명이 얼마나 직관적이고 단순한지를 살펴보는 ‘복잡성’ 등 기존에 널리 사용되던 평가 지표들은 실제 임상적 근거와 잘 맞지 않거나, AI 모델 구조에 따라 점수가 크게 달라지는 한계를 보였다.
반면 강건성은 뇌 형태 분석을 통한 병리학적 통계와 영상의학과 전문의의 판단에 모두 일관되게 부합했다. 또한 AI 모델이 달라져도 평가 결과가 흔들리지 않는 높은 범용성을 보였으며, 단 하나의 AI 모델만으로도 신속하고 효율적으로 계산할 수 있어 실제 의료 현장에서 활용하기에 적합한 것으로 나타났다.
이번 연구는 의료 AI가 제시한 설명이 얼마나 믿을 만한지를 평가하는 기준을 임상적 근거와 체계적으로 연결했다는 점에서 의미가 있다. 향후 병원 현장에서 신뢰할 수 있는 의료 AI의 설명을 평가하는 데 강건성 지표가 활용될 수 있을 것으로 기대된다.
크리스티안 왈라븐 교수는 “이번 연구는 의료 AI의 설명이 얼마나 믿을 만한지를 평가하는 기준을 임상적 근거와 체계적으로 연결했다는 데 의의가 있다”며 “안정적이고 효율적인 강건성 지표를 통해 병원 현장에서 신뢰할 수 있는 AI 설명을 가려낼 수 있을 것으로 기대한다”고 밝혔다.
유성혜 교수는 “의료 AI가 실제 진료 현장에서 활용되기 위해서는 높은 진단 성능뿐 아니라, AI가 제시한 판단 근거가 임상적으로 타당하고 일관된지도 확인해야 한다”며 “이번 연구에서 강건성이 영상의학과 전문의의 판단과 뇌 형태 분석 결과에 모두 부합한 만큼, 향후 신뢰할 수 있는 의료 AI를 선별하고 검증하는 데 중요한 기준으로 활용되길 기대한다”고 말했다.
이번 연구 ‘Establishing the robustness metric as a scalable proxy for clinical relevance in medical AI explainability’는 국제 학술지 ‘Medical Image Analysis’ 온라인판에 6월 16일 게재됐다.
[왼쪽부터] 고려대 인공지능학과 조대현 석박통합과정(제1저자), 고려대 안암병원 영상의학과 유성혜 교수(공동제2저자), 고려대 안암병원 영상의학과 김보규 교수(공동제2저자), 고려대 인공지능학과 크리스티안 왈라븐(Christian Wallraven) 교수(교신저자)
고려대 인공지능학과 크리스티안 왈라븐(Christian Wallraven) 교수 연구팀 - 안암병원 영상의학과 융합 연구,
의료 AI의 ‘설명’까지 검증한다…신뢰성 평가 기준 제시
고려대-안암병원 융합 연구 통해 뇌 MRI 4만 건 기반 대규모 분석,
설명가능 인공지능 평가 지표 중 ‘강건성’의 임상적 타당성 입증
딥러닝 인공지능(AI)은 뇌 자기공명영상(MRI)과 같은 복잡한 의료 영상을 분석할 때 전문의 수준의 성능을 보이고 있다. 그러나 AI가 어떤 근거로 결론을 내렸는지 파악하기 어려운 이른바 ‘블랙박스’ 문제로 인해 실제 진료 현장에 도입하는 데에는 어려움이 있었다.
고려대학교 인공지능학과 크리스티안 왈라븐(Christian Wallraven) 교수 연구팀은 고려대학교 안암병원 영상의학과 유성혜·김보규·박아림 교수 연구팀과의 융합 연구를 통해 의료 AI의 설명을 평가하는 여러 지표 가운데 ‘강건성’이 가장 신뢰할 수 있는 핵심 기준임을 입증했다.
강건성(Robustness)은 같은 구조의 AI를 서로 다른 조건에서 여러 차례 학습시켰을 때, AI가 제시하는 설명이 얼마나 일관되게 유지되는지를 나타내는 지표다. 강건성이 높을수록 AI의 설명이 특정 학습 과정에 우연히 의존하지 않고 안정적으로 유지된다는 의미다.
의료 AI의 신뢰도를 높이기 위해 최근에는 AI가 판단한 근거를 사람이 이해할 수 있도록 보여주는 ‘설명가능 인공지능(XAI)’ 기술이 활발하게 개발되고 있다. 이에 따라 AI의 진단과 설명이 얼마나 믿을 만한지를 평가하는 다양한 지표도 제안됐지만, 이러한 지표가 실제 임상적으로 의미가 있는지는 체계적으로 검증되지 않았다.
특히 유럽연합의 인공지능법을 비롯해 각국에서 의료 AI의 설명 의무를 강화하는 흐름이 이어지면서, 표준화된 검증 기준의 필요성이 더욱 커지고 있다.
연구팀은 영국 바이오뱅크(UK Biobank)와 알츠하이머병 신경영상 이니셔티브(ADNI)의 뇌 MRI 약 4만 건을 기초 데이터로 활용했다. 이어 서로 다른 9가지 딥러닝 모델 구조와 8가지 대표적인 설명 기법을 조합해 총 1만 건 이상의 대규모 시뮬레이션 분석을 수행했다. 이는 수십 건 수준에 그쳤던 기존 연구보다 분석 규모를 크게 확대한 것이다.
분석 결과, AI의 설명이 핵심을 얼마나 잘 짚었는지를 평가하는 ‘충실성’과 설명이 얼마나 직관적이고 단순한지를 살펴보는 ‘복잡성’ 등 기존에 널리 사용되던 평가 지표들은 실제 임상적 근거와 잘 맞지 않거나, AI 모델 구조에 따라 점수가 크게 달라지는 한계를 보였다.
반면 강건성은 뇌 형태 분석을 통한 병리학적 통계와 영상의학과 전문의의 판단에 모두 일관되게 부합했다. 또한 AI 모델이 달라져도 평가 결과가 흔들리지 않는 높은 범용성을 보였으며, 단 하나의 AI 모델만으로도 신속하고 효율적으로 계산할 수 있어 실제 의료 현장에서 활용하기에 적합한 것으로 나타났다.
이번 연구는 의료 AI가 제시한 설명이 얼마나 믿을 만한지를 평가하는 기준을 임상적 근거와 체계적으로 연결했다는 점에서 의미가 있다. 향후 병원 현장에서 신뢰할 수 있는 의료 AI의 설명을 평가하는 데 강건성 지표가 활용될 수 있을 것으로 기대된다.
크리스티안 왈라븐 교수는 “이번 연구는 의료 AI의 설명이 얼마나 믿을 만한지를 평가하는 기준을 임상적 근거와 체계적으로 연결했다는 데 의의가 있다”며 “안정적이고 효율적인 강건성 지표를 통해 병원 현장에서 신뢰할 수 있는 AI 설명을 가려낼 수 있을 것으로 기대한다”고 밝혔다.
유성혜 교수는 “의료 AI가 실제 진료 현장에서 활용되기 위해서는 높은 진단 성능뿐 아니라, AI가 제시한 판단 근거가 임상적으로 타당하고 일관된지도 확인해야 한다”며 “이번 연구에서 강건성이 영상의학과 전문의의 판단과 뇌 형태 분석 결과에 모두 부합한 만큼, 향후 신뢰할 수 있는 의료 AI를 선별하고 검증하는 데 중요한 기준으로 활용되길 기대한다”고 말했다.
이번 연구 ‘Establishing the robustness metric as a scalable proxy for clinical relevance in medical AI explainability’는 국제 학술지 ‘Medical Image Analysis’ 온라인판에 6월 16일 게재됐다.