카카오, ‘카나나’ AI 모델 오픈소스 배포

‘Kanana Nano 2.1B’ 깃허브 배포…연구자·개발자 활용 기대학습 효율 최적화로 글로벌 모델 대비 비용 50% 절감향후 AI 모델 고도화…음성·이미지·영상까지 확장

[뉴스토마토 신상민 기자] 카카오(035720)가 자체 인공지능(AI) 모델 ‘카나나(Kanana)’의 기술력 검증과 AI 생태계 확장에 본격 나섭니다.

 

이를 위해 카나나 언어모델의 연구 성과를 담은 테크니컬 리포트를 아카이브(arXiv)에 공개했으며, ‘Kanana Nano 2.1B’ 모델을 깃허브(GitHub)에 오픈소스로 배포했습니다.

 

카카오가 이번에 공개한 테크니컬 리포트는 AI 모델의 매개변수, 학습 방법, 학습 데이터 등 세부 사항을 담은 연구 논문입니다. 이번 리포트에는 카나나 언어모델의 사전학습(Pre-training)부터 사후학습(Post-training)까지 전 과정이 자세히 담겼으며, 모델 구조, 학습 전략, 글로벌 벤치마크 성과도 포함됐습니다.

 

카카오는 2023년 10월 개발자 컨퍼런스 ‘if(kakaoAI) 2024’에서 ‘카나나 언어모델’의 전체 라인업(Kanana Flag, Essence, Nano)을 공개한 바 있습니다. 특히, 카카오의 초거대 언어모델 ‘Kanana Flag’는 지난해 말 학습을 완료했으며, 글로벌 최고 수준의 한국어·영어 성능을 달성했습니다

 

한국어 성능을 평가하는 ‘LogicKor’, ‘KMMLU’ 벤치마크에서 타 모델을 압도하는 처리 능력을 입증했습니다. 영어 성능을 평가하는 ‘MT-bench’, ‘MMLU’ 벤치마크에서는 경쟁 모델과 유사한 성과를 기록했습니다. 

 

또한, 학습 자원 최적화를 통해 유사 사이즈의 모델 대비 50% 이상 비용을 절감하며, SOTA(State-of-the-Art) 수준의 효율성과 성능을 동시에 구현했습니다.

 

카카오는 대규모 언어모델의 학습 효율을 극대화하고자 △Staged pre-training △Pruning(모델 구성 요소를 가지치기해 중요 요소만 남기는 기법) △Distillation(큰 모델의 지식을 더 작은 모델로 전달하는 증류 기법) △DUS(Depth Upscaling, 깊이 업스케일링) 등 혁신적 학습 기법을 적용했습니다. 

 

이를 통해 경량 모델 ‘Kanana Nano 2.1B’부터 초거대 모델 ‘Kanana Flag 32.5B’까지 다양한 사이즈의 고성능 모델을 효율적으로 개발했으며 글로벌 유사 크기 모델 대비 절반 이하의 학습 비용을 실현했습니다.

 

카카오는 AI 생태계 활성화를 위해 자체 개발한 경량 모델 ‘Kanana Nano 2.1B’를 깃허브에 오픈소스로 배포했습니다. ‘Kanana Nano 2.1B’의 베이스 모델과, 인스트럭트(Instruct) 모델, 임베딩(Embedding) 모델이 오픈소스 커뮤니티인 깃허브를 통해 제공됩니다.

 

‘Kanana Nano 2.1B’는 연구자와 개발자가 활용하기 적절한 크기의 모델이자 온디바이스(On-device) 환경에서도 활용 가능한 고성능의 경량 AI 모델입니다. 비교적 작은 규모임에도 유사한 크기의 글로벌 모델과 견줄 만한 성능을 보이며, 한국어·영어 처리 능력에서도 우수한 결과를 기록했습니다.

 

카카오는 이번 오픈소스 공개를 통해 AI 기술의 접근성을 높이고자 하며, 연구자와 개발자들이 해당 모델을 토대로 다양한 응용을 시도할 수 있도록 모델의 업데이트를 지속 지원합니다.

 

카카오는 향후 카나나 모델에 강화학습(Reinforcement Learning)과 연속학습(Continual Learning) 기반의 최신 기술을 접목해 추론·수학·코딩 능력을 강화하고, 정렬(Alignment) 기술을 고도화해 사용자 요청의 수행 정확도를 높일 계획입니다. 

 

이를 통해 음성, 이미지, 영상 등 다양한 형태로 소통 가능하도록 지속적 모델 고도화를 이어가며, 일상에 실질적인 가치를 더하는 기술로 자리잡을 수 있도록 기술 경쟁력을 강화합니다.

 

김병학 카카오 카나나 성과리더는 “모델 최적화와 경량화 기술을 바탕으로 라마, 젬마 등 글로벌 AI 모델과 견줄 수 있는 고성능의 자체 언어모델 라인업을 효율적으로 확보하게 됐으며, 이번 오픈소스 공개를 통해 국내 AI 생태계 활성화에 기여할 수 있을 것으로 기대한다”며 “앞으로도 효율과 성능 중심의 실용적이고 안전한 AI 모델을 개발해가며, 지속적 기술 혁신을 통해 AI 경쟁력을 강화해갈 계획”이라고 말했습니다.

 

카카오가 카나나 언어모델의 연구 성과를 담은 테크니컬 리포트를 아카이브에 공개했으며, ‘Kanana Nano 2.1B’ 모델을 깃허브에 오픈소스로 배포했다.(사진=카카오)

 

신상민 기자 [e-mail]

 

이 기사는 뉴스토마토 보도준칙 및 윤리강령에 따라 김나볏 테크지식산업부장이 최종 확인·수정했습니다.