(헬스&사이언스)춤, 예술과 기술의 경계를 넘나든다

KAIST 연구진 개발한 티투아이레이와 코레오크래프트 안무 창작 새 지평 열어

여러 상황에 따른 동작을 창작해야 하는 안무가들의 고민을 보여주는 연구진의 학술대회 발표 자료 중 일부. (사진=KAIST)

 

[뉴스토마토 서경주 객원기자] 지금, 이 순간에도 안무가들은 무대 위 혹은 연습실에서 새로운 동작을 구상하며 머리를 싸매고 있습니다. 그러나 무용의 장르적 특성, 곧 기억에 의존하는 구술적 전통, 물리적 공간에 제약받는 창작 환경, 그리고 추상적이고 인상비평 수준의 피드백 등은 창의적인 사고를 방해하는 큰 장애물이기도 합니다. 

 

특히 현대의 안무가는 단지 무대 공연만을 위한 창작이 아니라 소셜미디어 콘텐츠, 광고, 영화, 뮤직비디오 등 다양한 플랫폼에서 끊임없이 새로운 안무를 요구받고 있습니다. 이러한 시장의 압박 속에서 안무가들은 짧은 기간에 완성도 높은 콘텐츠를 창출해야 하는 과제를 안고 있습니다. 그러나 그런 제약 조건에서 예술적 자율성과 창의성을 유지하는 일은 결코 쉽지 않습니다. 

 

이러한 배경에서 KAIST 문화기술대학원 윤상호 교수 연구팀이 미국 UCLA 양장(YangZhang) 교수와 공동연구로 개발한 ‘티투아이레이(T2IRay)’ 기술과 가상현실(VR)에서 안무가들이 창작 작업을 보다 자유롭고 창의적으로 진행할 수 있도록 돕는 ‘코레오크래프트(ChoreoCraft)’ 기술이 주목받고 있습니다. 이런 기술들은 지난 4월26일부터 5월1일까지 일본 요코하마에서 열린 미국 컴퓨터협회(ACM) 주관 국제 학술대회 'CHI 2025'(ACM Conference on Human Factors in Computing Systems, CHI 2025)에서 상위 5%에 주어지는 우수 논문상(Honorable Mention)을 동시에 수상했습니다. 

 

디지털 안무 도구, 코레오크래프트

 

코레오크래프트는 간단히 말해, VR 공간 안에서 안무를 창작할 수 있는 ‘디지털 안무 도구’입니다. 이 시스템은 두 가지 주요 기능으로 구성됩니다. 첫째는 맥락 인식형 안무 제안 시스템(Context-aware Suggestion System)이고, 둘째는 안무 분석 및 피드백 시스템(Choreography Analysis System)입니다. 

 

연구진은 먼저 여러 안무가와 가진 인터뷰와 관찰을 통해 창작 과정에서 일반적으로 나타나는 문제를 파악했습니다. 예를 들어, 한 안무가는 “좋은 아이디어가 떠올라도 동작을 반복하거나 기록해두지 않으면 금방 잊어버린다”고 토로했습니다. 또 다른 이들은 “창의력이 막힐 때 참고할 만한 시각적 자원이 부족하다”거나 “제3자의 객관적인 피드백 없이 작업이 막연하게 느껴진다”고 지적했습니다. 

 

코레오크래프트는 바로 이런 문제들을 해결하는 것을 목표로 삼았습니다. 안무가는 VR 헤드셋을 착용하고 자신이 직접 무대 위 무용수가 되어 동작을 만들 수 있고, 시스템은 실시간으로 동작의 패턴을 분석해 유사하거나 참신한 동작을 제안합니다. 또한, 이전에 만든 동작의 흐름을 시각적으로 재구성해주는 기능 덕분에, 기억에 의존하지 않고도 전체 안무의 맥락을 쉽게 파악할 수 있습니다. 

 

이 기술은 또 균형감, 안정성, 활성도 등 운동학적 요소를 분석하여 수치 기반 안무 피드백을 제공함으로써 창작 과정의 객관성도 높였습니다. 

 

안무가들이 창작 과정에서 직면하는 세 가지 문제에 대한 코레오크래프트의 해결 방안. (사진=KAIST)

 

 

손동작의 정확성과 일관성 유지해 주는 티투아이레이

 

티투아이레이는 기존의 단편적인 엄지와 검지 제스처를 확장하여, 가상 공간 안에서 자유롭고 정밀하게 동작할 수 있는 새로운 입력 방식을 제시했습니다. 기존에는 손의 위치나 방향이 달라지면 입력이 끊기거나 정확도가 떨어지는 문제가 있었지만 티투아이레이에서는 손의 위치나 방향과 관계없이 정밀한 포인팅이 가능해 사용자가 훨씬 자연스럽고 끊김 없는 동작을 할 수 있습니다. 

 

특히, 로컬 좌표계를 이용하여 손의 위치와 방향에 관계없이 연속적인 입력이 가능하도록 했습니다. 엄지의 섬세한 움직임을 좌표계 안에서 매핑(mapping)해 정밀하게 인식하고, 고개를 움직이는 자연스러운 동작까지 입력에 반영해 넓은 범위에서도 자유로운 동작이 가능합니다. 

 

윤상호 교수는 “티투아이레이는 손이 고정되지 않은 다양한 상황에서도 부드럽고 안정적인 동작을 가능하게 함으로써 증강현실·가상현실(AR/VR)에서도 사용자 경험을 획기적으로 향상시킬 수 있다”라고 설명했습니다. 

 

기술이 예술을 만났을 때

 

코레오크래프트는 단순한 연구 결과 이상의 의미를 갖습니다. 이는 예술과 기술이 만나 어떤 방식으로 창의성을 증진시킬 수 있는지를 보여주는 대표적인 사례입니다. 창작자 중심의 인터페이스 설계, 반복적인 실험과 인터뷰, 예술적 감수성과 기술적 구현의 조화를 통해, 이 시스템은 미래의 안무 창작 환경에 대한 새로운 가능성을 제시하고 있습니다. 

 

이 연구는 창작 지원 기술(Creativity Support Tools)의 진화를 보여주며, 음악, 미술, 디자인 등 다른 예술 장르로 확장될 가능성을 시사합니다. 궁극적으로 이러한 도구들은 예술가가 기술에 의해 통제되는 것이 아니라, 기술을 능동적으로 활용해 더욱 자유롭게 상상하고 표현할 수 있도록 하는 데 목적이 있습니다.

 

KAIST 김진아 박사과정이 제1저자인 이번 연구에는 정경은 박사과정, 한현영 석사과정 연구원이 참여했습니다. 

 

엄지와 검지손가락의 세밀한 움직임을  증강현실과 가상현실 포인팅에 활용할 수 있는 티투아이레이 프레임워크. (사진=KAIST)

 

서경주 객원기자 [e-mail]

이 기사는 뉴스토마토 보도준칙 및 윤리강령에 따라 김기성 편집국장이 최종 확인·수정했습니다.