[뉴스토마토 신상민 기자] 국제인공지능윤리협회가 국내 최초로 감정 교류 AI 윤리 가이드라인을 제정했다고 15일 밝혔습니다.
최근 전 세계적으로 AI 챗봇과 감정을 교류하고 정서적으로 의존하는 사례가 급증하고 있습니다. 이미 국내외에서 청소년들의 감정 교류 전문 AI 챗봇의 사용 시간이 챗GPT를 넘어서기도 했는데요. 이에 관련 윤리 기준 마련 필요성이 제기돼왔습니다.
국제인공지능윤리협회가 국내 최초로 감정 교류 AI 윤리 가이드라인을 제정·발표했다. (이미지=IAAE)
이번 가이드라인은 △총칙 △윤리적 기반 △국내외 동향 및 기준 △실천 지침 △행동 강령과 확산 체계 △부록으로 구성됐습니다. 감정 교류 AI의 개발·제공·이용 전 과정에서 모든 이해관계자가 준수해야 할 핵심 윤리 원칙과 실천 지침을 제시했습니다.
가이드라인은 먼저 감정 교류 AI의 확산 추세와 그에 따른 위험성을 경고했습니다. 오픈AI와 MIT 미디어랩의 공동 연구에 따르면 400만건 이상의 실제 대화를 분석한 결과 사용 시간 상위 10% 이용자 대화의 절반 이상에서 정서적 신호가 확인됐습니다. 또한 글로벌 감정 교류 AI 시장도 2024년 29억달러(약 4조1417억원)에서 2034년까지 연평균 21.7% 성장이 전망됩니다.
협회는 이러한 확산이 감정적 조작, 심리적 의존, 알고리즘 편향과 차별, 프라이버시 침해 등 복합적인 위험을 내포한다고 경고했습니다.
이에 가이드라인은 '인간 존엄성과 정서적 안전'을 가장 본질적인 과제로 제시했습니다. 또한 '감정 설계와 윤리의 경계'를 명확히 했습니다. 주요 위험 요소로는 △심리·정서적 위험(과도한 의존, 판단 왜곡) △정보·신뢰성 위험(개인정보 유출, 허위 정보) △사회·문화적 위험(편향 고착화, 차별 재생산) △기술·운영상 위험(환각 현상, 책임 전가) 등을 제시합니다.
특히 이번 가이드라인은 사용자·소비자·서비스 제공자·정책기관 및 입안자 등 주체별 역할과 책임을 명시했다는 점이 특징입니다.
사용자는 △AI가 인간이 아닌 기술적 모의임을 명확히 인식 △과도한 의존 경계 △개인정보 자기결정권 행사 △공정성·접근성 요구 △올바른 활용과 사회적 책임 등을 지켜야 합니다.
서비스 제공자는 △데이터 최소 수집 △AI임을 명확히 고지 △지속적 점검과 검증 △개인정보와 취약계층 보호 의무를 강조했습니다.
특히 서비스 제공자는 장시간 사용 시 휴식을 유도하고, 위험 키워드 감지 시 전문 기관으로 연결하며, 정서 의존 완화를 위한 기술적 조치를 도입해야 합니다.
가이드라인은 정책기관에 대해 △인간의 정신적 건강 보호 명시 △감정 교류 AI를 '고영향 인공지능' 범위에 포함 △영향 평가 및 인증 시스템 구축 △사업자 책무 강화 △고위험 분야 관리 기준 마련 △사용자 피해 구제 체계 마련 등의 역할 수행을 주문했습니다.
전창배 국제인공지능윤리협회 이사장은 "본 가이드라인의 가장 큰 특징은 선언적 원칙에 그치지 않고 사용자, 서비스 제공자, 정책기관 등 주체별로 구체적인 실천 지침과 행동강령을 제시했다는 점"이라며 "서비스 제공자를 위한 자가 점검 체크리스트를 부록으로 제공해 현장에서 바로 활용할 수 있도록 했다"고 설명했습니다.
또한 전 이사장은 "기술 발전 속도에 비해 사회적 규범과 제도 정비가 뒤처져 있는 상황”이라며 "이번 가이드라인이 산업계의 책임 있는 혁신과 정책의 합리적 수립을 위한 기반을 제공할 것"이라고 강조했습니다.
이번 가이드라인 연구와 제정에는 박미애 경북대 계약교수(집필 총괄)를 비롯해 서문길 단비아이엔씨 대표, 양진영 법무법인민후 대표변호사, 이인재 서울교대 교수, 임소연 우리은행 대화금융센터장, 조대근 부석고 교사 등 총 9명의 전문가가 참여했습니다.
감정 교류 AI 윤리 가이드라인 제정·집필진이 기념 촬영을 하고 있다. (사진=IAAE)
신상민 기자 lmez0810@etomato.com
이 기사는 뉴스토마토 보도준칙 및 윤리강령에 따라 김나볏 테크지식산업부장이 최종 확인·수정했습니다.
ⓒ 맛있는 뉴스토마토, 무단 전재 - 재배포 금지