[HAIE 2025-38] 헬스케어 AI 윤리 뉴스레터

들어가며

빠르게 기온이 내려가고 있네요. 비소식 가운데 잘 지내셨는지요! 헬스케어 AI 윤리 뉴스레터 김준혁입니다.

이번주엔 두 가지 소식에 초점을 맞추었습니다. 하나는 한 연구진이 발표한 정신건강 검토 데이터 세트, 다른 하나는 청소년의 AI 사용에 대한 우려와 대응입니다.

arXiv에 실린 논문은 "EthicsMH"라는 이름의 정신건강 AI 추론 평가를 위한 파일럿 데이터 세트를 발표했습니다. 이런 AI를 평가하기 위한 데이터 세트는 다양한 형식과 용도로 발표되고 있지만, 정신건강 AI의 윤리적 판단을 평가하는 것으로선 제가 아는 범위에서도 이 데이터 세트가 최초입니다. 일단 당장의 모델 비교에서도 중요하지만, 이런 평가용 데이터 세트는 실제 모델의 프로덕션에서 중요한데요.

알고계신 것처럼 현재의 생성형 AI가 일관된 결과를 제공하지 않으며, 중재를 위해서 사람이 개입하는 경우도 검토하고 있으나 주로 LLM-as-Judge가 활용되고 있기 때문입니다. 즉, LLM이 다른 LLM을 평가하여 지속, 개정, 중단을 명령하는 에이전트 시스템에선 이런 평가 데이터 세트가 있는지, 이를 잘 활용하는지가 중요하지요. 저도 한번 "EthicsMH" 데이터 세트를 검토해봐야 겠지만, 헬스케어 AI 윤리 영역에서 이런 데이터 세트의 필요성을 계속 논의해 온 저로서는 무척 반가운 소식입니다. 국내에서도 이런 데이터 세트 개발이 논의되어야 한다는 점, 다시 한번 소식을 경유해 강조드리고 싶고요.

제가 가능하면 기사 소식은 뒤로 배치합니다만 중요한 내용이라 청소년 AI 활용 및 보호에 관한 내용은 앞으로 옮겼습니다. 청소년이 상담 또는 친구, 즉 "동반자"로서 AI를 활용하는 빈도가 전 세계적으로 높게 나타나고 있으며, 이득도 있겠으나 이미 여러 피해가 발생한 상황이지요. 청소년의 극단적 선택에 대해 AI의 책임을 물은 최초의 소송, 애덤 레인 사례도 지금 진행 중에 있고요.

이미 미국에서 절차적인 검토나 입법이 이루어지고 있는 가운데, 우리는 어떻게 대응할 것인지에 대한 논의가 필요한 상황이 되었습니다. 지난달 말, 수업중 스마트폰 사용 금지법이 국회를 통과하면서 논쟁이 벌어지고 있는데요. 같은 논의로서 청소년 SNS 사용이나 AI 사용 또한 검토될 필요가 있으며 이미 청소년 SNS 사용의 폐해가 널리 알려진 가운데 AI 또한 살펴볼 필요가 있는 것이죠. 소개 드리는 미국 입법례 및 절차를 참고할 필요가 있을 거고요.

물론 저는 윤리학자로서 법으로만 모든 것을 해결하려는 논의를 반기지는 않습니다만, 경계 설정과 강제를 위한 법의 필요성은 명확합니다. AI의 남용이 청소년을 위협할 가능성이 있다면, 그리고 현재 국내에서 청소년의 "안전한" AI 활용에 대한 논의가 거의 이루어지고 있지 않다면 일단 제도적으로 검토해 볼 필요는 있다고 생각합니다.

구독자님들의 생각은 어떠신지요? 소개해 드리는 다른 소식들과 함께 검토해 보시면 좋겠습니다!

이번주 주목할 만한 소식

AI 시대, 정신건강 윤리 딜레마: ‘EthicsMH’로 본 새로운 판단 기준

From arXiv preprint: EthicsMH: A Pilot Benchmark for Ethical Reasoning in Mental Health AI^[1]

EthicsMH는 정신건강 분야에서 인공지능이 맞닥뜨리는 윤리적 딜레마를 평가하기 위한 최초의 시범 데이터 세트입니다. 본 연구는 LLM과 전문가 검토를 결합한 휴먼-인-더-루프(HITL) 방식을 통해 125개의 실제적이고 구조화된 윤리 시나리오를 개발하였으며, 자율성, 이익추구, 차별방지, 비밀보호 등 핵심 윤리 주제를 고루 반영했습니다. 각 시나리오는 복수의 선택지, 전문가 정렬 이유, 기대 모델 행동, 실질적 결과, 그리고 다양한 이해관계자 관점을 포함하여 다층적 평가가 가능하도록 설계되었습니다. 작지만 구조적 완성도가 높은 이 데이터 세트는 AI 시스템의 윤리적 정합성 및 설명력 평가의 기반을 제공합니다.

EthicsMH는 정신건강 AI의 윤리적 추론 평가를 위한 파일럿 데이터 세트로, 전문 인증과 반복 검증 과정을 통해 현실적인 사례와 다관점 시각을 확보하였습니다. 비록 소규모이며 문화적·지역적 다양성에는 한계가 있으나, 이 데이터셋은 차후 대규모, 다문화적 윤리 리소스 구축의 모범이자 출발점이 될 수 있습니다. EthicsMH는 기술적 성능을 넘어, 환자 중심의 신뢰와 공정성, 그리고 사회적 책임을 논의하는 척도로 기능할 전망입니다. 연구자들은 이 리소스를 통해 AI의 실질적 위험성 평가와 대비책 마련, 정책 개발 등에 활용할 수 있습니다.

다가오는 AI '동반자' 단속: 아동 보호와 책임의 윤리를 묻다

From MIT Technological Review: The looming crackdown on AI companionship^[2]

초지능, 일자리, 환경피해 등 기존 위험 담론과 달리, 최근에는 청소년이 AI와 형성하는 비건강적 유대가 규제의 전면 이슈로 부상했습니다. 최근 1년 사이 제기된 소송들은 동반자형 대화가 10대 자살에 기여했다고 주장했고, 공익단체 조사에서는 미국 청소년의 72%가 ‘동반자’ 용도로 AI를 사용한 것으로 나타났습니다. 끊임없는 챗봇 대화가 망상적 몰입을 부를 수 있다는 보도들이 AI가 “도움보다 해악”이 될 수 있다는 인식을 확산시켰습니다. 이러한 우려는 이번 주 세 가지 규제 움직임으로 구체화되기 시작했습니다.

캘리포니아 주의회는 미성년 이용자에게 AI 응답 고지, 자·자해 대응 프로토콜, 자살 관련 대화 보고를 의무화하는 법안을 통과시켰고, 주지사 서명을 앞두고 있습니다. 같은 날 연방거래위원회는 7개 기업의 동반자형 챗봇 개발·수익화·영향 평가 관행 전반을 조사에 착수해, 공개 수준에 따라 ‘몰입 유도’ 설계가 드러날 수 있습니다. 또한 오픈AI의 샘 올트먼은 심각한 자살 언급이 있는 청소년 사례에서 보호자 연락이 불가할 때 당국 통보를 검토하겠다고 밝혀, 기업의 보호 의무와 프라이버시 사이의 긴장을 인정했습니다. 정치권은 연령확인 중심 규제와 반독점·소비자보호 접근으로 갈라져 ‘누더기 규제’가 가시화되는 가운데, 대화 중단 기준과 치료자에 준하는 면허·책임 적용 등 핵심 윤리·정책 과제가 남아 있습니다.

미성년자 보호 강화: OpenAI, 청소년 대상 ChatGPT 사용 제한 전면 개편

From Techcrunch: OpenAI will apply new restrictions to ChatGPT users under 18^[3]

OpenAI의 샘 올트먼은 청소년의 안전을 프라이버시와 자율성보다 우선하는 새 정책을 발표했습니다. 성적 대화와 자살 관련 상상에 대한 상호작용을 차단하고, 심각한 위험 시 부모 또는 지역 경찰에 통지 시도를 포함합니다. 부모는 ‘블랙아웃 시간’ 설정과 경보 수신이 가능하며, 연령이 모호한 경우 더 엄격한 규칙을 적용합니다. 이번 조치는 관련 소송과 상원 청문회 등 사회적 우려 속에서 마련되었으며, 성인 사용자에게는 넓은 자유와 프라이버시를 유지하겠다는 입장도 병행합니다.

정책의 핵심은 미성년자와 성인의 이용 경험을 분리하고, 플러팅·자살 상상 등 위험 대화를 예방적으로 차단하는 것입니다. 연령 예측 시스템과 부모 계정 연동을 통해 보호를 강화하되, 성인 사용자에 대해서는 자율성과 프라이버시를 보장하는 이중 원칙을 천명합니다. 법적 분쟁과 정책 심의가 이어지는 가운데, 안전 최우선 접근이 오탐지·미탐지, 과도한 감시, 비의도적 위해를 초래할 수 있다는 윤리적 한계도 지적되고 있습니다. 향후 과제는 위기 개입의 정당성, 정보 최소화, 투명한 거버넌스를 통해 청소년의 권익과 자율성을 균형 있게 보호하는 데 있습니다.

의료 언어 격차 해소를 위한 신경기계번역의 임상 적용: 체계적 검토와 윤리적 함의

From Journal of the American Medical Informatics Association : JAMIA: Bridging language gaps in healthcare: a systematic review of the practical implementation of neural machine translation technologies in clinical settings^[4]

본 체계적 검토는 전문 통역사가 표준임에도 가용성의 한계를 보완하기 위해, 임상 현장에서 신경기계번역(NMT)을 활용한 통역·번역의 실제 적용을 평가했습니다. 2000년 이후 영어 문헌 2,867편을 검토해 10편을 포함했으며, 6편은 임상(실제/모의) 통역, 4편은 퇴원 문서 번역을 다루었고 Google Translate와 ChatGPT가 주요 도구로 분석되었습니다. 정확도는 언어에 따라 크게 달랐고 특히 저자원 언어에서 성능이 저조해 환자 안전과 형평성에 대한 우려가 제기됩니다. 넓은 언어 접근성과 비용 절감의 이점에도 불구하고 중대한 오류 가능성으로 현재 광범위한 임상 적용은 시기상조이며, 향후 연구는 평가 방법의 고도화와 실시간 임상 통합 전략에 집중되어야 합니다.

의료 AI 도입, 언제가 안전한가: 블랙박스 AI 윤리 구현을 위한 실무 결정 알고리즘

From Bioethics: When Is It Safe to Introduce an AI System Into Healthcare? A Practical Decision Algorithm for the Ethical Implementation of Black-Box AI in Medicine.^[5]

전 세계적으로 AI의 혁신 가능성에 대한 기대가 크지만, 의료 적용은 환자 안전과 자율성에 중대한 위험을 내포합니다. 블랙박스 AI는 설명 가능성의 제약으로 사전동의를 약화시킬 수 있고, 생성형 AI/LLM에서는 해석가능성이 사실상 불가할 수 있습니다. 이에 저자들은 해석가능성보다 ‘구현 위험’ 평가를 제안하며, 기술적 견고성·구현 가능성·위해–편익 분석을 바탕으로 최소/중간/고위험으로 분류하고 위험도에 비례한 감독을 권고합니다. 또한 비용-효과성과 환자 사전동의를 함께 고려하며, 수술 사전동의 지원 LLM 사례로 실무적 적용성을 제시합니다.

글로벌 보건 미션 윤리와 인공지능: 저·중소득국에서의 공정·지속가능한 돌봄과 교육

From The Journal of Craniofacial Surgery: Ethics of Global Health Missions and the Role of Artificial Intelligence in the Facilitation of Care and Medical Education in Low and Middle-Income Countries^[6]

저·중소득국에서 수행되는 글로벌 의료 및 외과 미션은 지속가능성, 지역 보건체계 교란, 설명에 입각한 동의, 의도치 않은 위해 등 중대한 윤리 문제에 직면하고 있습니다. 본 논문은 이러한 쟁점을 체계적으로 검토하고, 인공지능이 현지 임상 파트너(HCCPs)와 환자·지역사회(HCPPs)를 위한 교육·훈련을 강화함으로써 일부 문제를 완화할 잠재력을 고찰합니다. 특히 문화적으로 민감하고 지역 상황에 맞춘 AI 솔루션이 자원 제한 환경에서 공정하고 지속가능한 교육 기회를 보장하도록 설계되어야 함을 주장합니다.

의료 인공지능의 윤리적 쟁점과 이해관계자 참여: 신뢰 가능한 의료를 위한 길

From Brain and nerve = Shinkei kenkyu no shinpo: Ethical Considerations and Stakeholder Engagement in Medical AI^[7]

의료 인공지능은 진단 지원, 예후 예측, 의료 운영의 효율화에 활용될 잠재력을 지니고 있습니다. 그러나 의사결정의 불투명성, 제한된 설명가능성, 공평한 접근성 등은 광범위한 도입을 가로막는 핵심 윤리 과제로 지적됩니다. 아울러 의료 AI가 의사-환자 관계와 의료의 성격 자체에 영향을 미치는 만큼, 다양한 이해관계자의 관점을 포괄하는 숙의와 협력이 요구됩니다.

이번주 소식, 하이라이트

• 구조화된 윤리적 딜레마와 전문가 다각 검증을 동시에 반영한 최초의 정신건강 AI 윤리 파일럿 데이터 세트 EthicsMH가 발표되었습니다.
• 아동·청소년의 정신적 안전을 위해, AI가 인간적 돌봄을 가장하는 순간 적용되어야 할 선행·비해 원칙과 감독 표준을 신속히 확립해야 합니다.
• OpenAI는 미성년자 보호를 위해 안전을 최상위 가치로 두고, 위험 대화 차단·부모 연계·보수적 기본값을 포함한 예방 중심의 거버넌스를 도입합니다.
• 중대한 오류 위험과 언어 간 성능 편차로 인해 NMT(신경망 기계 번역)는 전문 통역사를 대체할 준비가 되어 있지 않으며, 환자 안전과 형평성을 최우선으로 하는 신중한 도입이 요구됩니다.
• 해석가능성보다 ‘구현 위험’에 근거해 블랙박스 AI의 임상 도입을 결정하도록 하는 실무 알고리듬이 제안되었습니다.
• 문화적으로 민감한 지역 맞춤형 AI는 저·중소득국에서 공정하고 지속가능한 교육과 역량 강화를 촉진할 수 있습니다.
• 의료 AI의 책임 있는 도입은 설명가능성과 형평성, 그리고 다학제적 이해관계자 참여에 달려 있습니다.

오늘 소개한 소식들, 어떻게 읽으셨나요? 매주 레터를 발행하는 저로선 그간의 변화가 직접 다가오는 내용이라 무척 흥미롭다고 생각하는데요!

뉴스레터를 넘어 여러 공공 담론에서 소개한 내용들 논의될 수 있도록 노력하겠습니다. 다음주 뉴스레터, 그리고 또 다른 자리에서 뵙겠습니다. 건강하십시오!

_{위 요약은 AI로 자동 수집, 요약 후 LLM-as-a-Judge를 통해 평가지표 기반 상위 7개 논문·기사를 선정한 것입니다(사용 모델: GPT-4.1 and GPT-5).}

Reference