카카오, AI 안전성 검증 모델 '카나나 세이프가드' 배포

카나나 기반, 한국어 특화 성능허깅페이스 통해 오픈소스 다운안전한 AI 생태계 기여 목적

[뉴스토마토 박재연 기자] 카카오(035720)가 인공지능(AI) 서비스의 안전성·신뢰성을 검증할 수 있는 AI 가드레일 모델, ‘카나나 세이프가드(Kanana Safeguard)’를 개발했습니다. 국내 기업 최초로 총 3종의 모델을 오픈소스로 공개해, AI 기술 환경 및 생태계 조성에도 이바지할 방침입니다.

 

카카오, AI 안전성 검증 위한 가드레일 모델 ‘Kanana Safeguard’ 공개 (사진=카카오)

 

27일 카카오는 이같이 밝히며 "카나나 세이프가드는 자체 개발한 언어모델 ‘카나나’를 기반 기술을 활용했으며 한국어 및 한국 문화를 반영한 자체 구축 데이터셋을 활용해 한국어에 특화된 성능을 보유하고 있다"고 강조했습니다. 특히 카나나 세이프가드는 AI 모델의 정밀도와 재현율을 평가하는 수치 F1 스코어(F1-Score)를 기준으로 한국어 성능에서 글로벌 모델 이상의 성과를 기록하기도 했습니다.

 

이번 오픈소스로 공개한 모델은 총 세 가지입니다. 각각의 모델은 리스크 유형에 따라 유해성 및 위험성에 대한 효과적 탐지가 가능한데요. △사용자의 발화 또는 AI의 답변에서 증오, 괴롭힘, 성적 콘텐츠 등에 대한 유해성을 탐지하는 ‘카나나 세이프가드’ △개인 정보나 지식재산권 등 법적 측면에서 주의가 필요한 요청을 탐지하는 ‘카나나 세이프가드-사이렌’ △AI 서비스를 악용하려는 사용자의 공격을 탐지하는 ‘카나나 세이프가드-프롬프트’ 등입니다. 이 모델들은 모두 글로벌 AI 플랫폼 허깅페이스를 통해 다운로드 할 수 있습니다.

 

최근 범람하는 생성형 AI 서비스들로 콘텐츠 위험성에 대한 사회적 우려가 증대되고 있는데요. 이러한 배경에서 카카오는 기술적·제도적 장치인 AI 가드레일 시스템 마련에 대한 필요성을 인식하고 ‘카나나 세이프가드’ 모델을 개발했다고 전했습니다. 아울러 안전한 AI 생태계의 구축에 기여하고자 ‘카나나 세이프가드’에 상업적 이용과 수정 및 재배포 등이 자유롭게 가능한 아파치2.0(Apache 2.0) 라이선스를 적용했습니다. 향후 지속적인 업데이트를 통해 모델을 고도화할 방침입니다.

 

김경훈 카카오 AI 세이프티 리더는 "생성형 AI의 등장 이래, 기술의 발전과 더불어 AI 윤리와 안전성에 대한 중요성이 국내외에서 점차 부각되고 있다"며 "책임감 있는 AI 구축에 대한 인식을 널리 확산시키고, 사회적 가치를 고려한 기술 개발이 이어질 수 있도록 선제적인 대응을 이어갈 계획"이라고 설명했습니다.

 

박재연 기자 [e-mail]

 

이 기사는 뉴스토마토 보도준칙 및 윤리강령에 따라 김나볏 테크지식산업부장이 최종 확인·수정했습니다.