챗 GPT와 AI 이미지 생성기의 등장으로 글과 이미지, 영상을 창작하는 방식에 새로운 가능성이 열렸습니다. 특히 코로나 시기와 맞물려서 메타버스가 확산되면서 사람들은 아바타를 만들고 가상 공간을 활보하며 타인과 소통하게 되었습니다. 인공지능과 VR 기술의 발달로 현실 세계는 가상 공간으로까지 확장되고 있습니다.
그렇다면, 인공지능과 VR 기술이 우리가 음악을 경험하는 방식에 어떤 영향을 미칠까요? 이에 대한 답으로 버시스는 ‘인터랙티브 뮤직’이라는 새로운 음악 경험을 제안합니다.
‘인터랙티브 뮤직’은 버시스가 제안하는 새로운 형태의 음악 소비 개념으로, 단순히 소리로만 이루어진 기존 음악에 비주얼, 인터랙티브 모션, 스토리, 세계관 등의 요소를 생성형 인공지능 기술로 결합한 공감각적인 음악 경험을 의미합니다.
“사운드와 다른 요소를 연결한다”는 것은 단순히 음악을 듣는 것을 넘어, 여러 감각적인 요소와 상호작용하여 음악을 더 풍부하고 몰입감 있게 경험한다는 의미입니다. 버시스의 인터랙티브 뮤직은 이러한 개념을 바탕으로 비주얼, 인터랙티브 모션, 스토리, 사용자 경험을 하나로 결합했습니다. 이 네 가지 요소는 각각의 특성에 따라 음악과 연결되며, 생성형 인공지능 기술을 통해 실시간으로 서로 상호작용하고 변화합니다.
1. 비주얼
인터랙티브 뮤직은 음악을 단순히 '듣는 것'에서 ‘보는 것'으로 확장해, 사용자에게 더욱 몰입감 있는 음악 경험을 제공합니다. 이 과정에서 음악과 상호작용할 수 있는 다양한 시각적 피드백이 적용되는데, 그 예로 음악의 리듬에 따라 변화하는 3D 물체, 음악의 흐름에 맞춰 변화하는 메타버스 환경, 그리고 사용자의 동작에 따라 연주 가능한 3D 가상 악기 등이 있습니다.
이러한 시각적 요소는 단순히 감상을 넘어서, 음악과 직접 상호작용할 수 있는 기회를 제공하며, 사용자가 더 직관적인 방식으로 음악을 경험할 수 있도록 돕습니다. 특히, 리듬과 함께 변화하는 시각적 이미지나 메타버스 환경의 변주는 음악에 생동감을 더해, 음악이 실시간으로 눈앞에서 펼쳐지는 것 같은 새로운 차원의 경험을 선사합니다.
2. 인터랙티브 모션
인터랙티브 뮤직의 또 다른 중요한 특징은 사용자의 인터랙티브 모션에 따라 음악이 변화하는 점입니다. 사용자가 핸드폰을 흔들거나 화면을 터치하면, 그 동작에 맞춰 음악의 흐름이 변형되고 새로운 비트가 생성됩니다. 이로써 사용자는 자신의 개성을 담아 음악을 재창작하는 경험을 할 수 있습니다.
예를 들어, 버시스가 선보인 아티스트 SUMIN의 인터랙티브 싱글 ‘FIGHTMAN’에서는 사용자가 화면을 터치하거나 스마트 기기를 흔들 때마다 음악이 리듬과 비트를 즉각적으로 반영하여 변형됩니다. 이는 사용자가 음악의 흐름에 직접 개입하고 변화를 만들어내는 크리에이티브한 경험을 제공하죠.
작은 움직임이나 터치에도 즉각적으로 반응하는 음악은 사용자가 음악과 긴밀히 상호작용하며, 음악이 선사하는 즐거움을 최대한으로 느낄 수 있도록 도와줍니다. 이처럼 사용자의 모션과 음악이 실시간으로 상호작용하며 만들어지는 음악 경험은, 몰입감과 참여감을 극대화해 새로운 차원의 음악 감상을 가능하게 합니다.
3. 스토리
메타버스 내의 세계관과 음악이 결합된 방식도 주목할 만한 점입니다. 사용자가 메타버스에서 자신의 아바타로 특정 행동을 취하면, 그 행동에 맞춰 음악이 실시간으로 반응하는 구조입니다. 예를 들어, 아바타가 메타버스 내의 오브젝트를 상호작용하거나 특정 경로를 걸으면, 그에 따라 새로운 음악적 요소가 추가되거나 변형됩니다.
이러한 방식은 단순히 음악을 수동적으로 감상하는 것을 넘어, 사용자가 스토리와 음악에 적극적으로 개입하는 경험을 제공합니다. 이 과정은 마치 비디오 게임과 같아서, 사용자는 메타버스의 가상 세계에서 ‘음악적 사건’을 만들어내는 주체가 됩니다. 이는 사용자에게 더욱 역동적이고 개인화된 음악 체험을 선사합니다.
4. 사용자 경험
인터랙티브 뮤직은 사용자가 앱 내에서 보여주는 모든 행동에 실시간으로 반응하는 고유한 특징을 가지고 있습니다. 비주얼, 인터랙티브 모션, 스토리와 같은 요소들이 음악과 상호작용할뿐 아니라, 이러한 요소들의 총합이 음악의 진화 방향을 결정합니다. 사용자는 이 상호작용을 통해 단순히 음악을 감상하는 차원을 넘어, 음악을 직접 창조하고 발전시키는 과정에 적극적으로 참여하게 됩니다.
특히 생성형 인공지능의 작동 원리가 인터랙티브 뮤직의 핵심을 이루고 있습니다. 생성형 인공지능은 사용자의 작은 움직임에도 즉각 반응하여 유기적이고 독창적인 음악을 실시간으로 생성해냅니다. 이로써 사용자는 쉽고 직관적인 방법으로 자신만의 개성이 담긴 음악을 만들고 경험할 수 있습니다.
결국 이러한 인터랙티브 경험은 단순히 음악을 듣는 것에서 한 발 나아가 음악 창작의 즐거움을 선사합니다. 사용자는 자신의 취향과 감각을 반영한 독창적인 음악 세계를 형성하게 되고, 그 과정에서 더욱 몰입감 있는 음악적 경험을 누리게 됩니다. 이로 인해 음악 감상이 보다 참여형, 창조적인 경험으로 진화하고 있으며, 이는 현대 음악 소비 방식의 중요한 진화로 평가됩니다.
인터랙티브 뮤직에서 사운드와 연결되는 네 가지 요소를 살펴봤습니다.
흥미로운 점은 각 요소들 간의 상호 연결도 함께 이루어진다는 것입니다. 예를 들어, 인터랙티브 모션과 비주얼이 결합하여 사용자의 움직임에 맞춰 영상의 흐름이 바뀌거나, 스토리와 비주얼이 반응하여 사용자 행동 양식에 따라 변화한 스토리 전개방식에 맞는 배경이 펼쳐질 수 있습니다. 이는 마치 유기체처럼 서로 피드백을 주고받는 시스템으로, 다채로운 청각적, 시각적 경험을 가능하게 합니다.
직접 경험해보는 것이 가장 좋은 방식
인터랙티브 뮤직의 개념을 제대로 이해하는 가장 좋은 방법은 직접 경험해보는 것입니다. 이론적으로 이해하는 것보다 실제 참여를 통해 감각적으로 느껴보는 것이 훨씬 효과적입니다. 이를 위해 몇 가지 추천할 만한 버시스의 대표 프로덕트를 소개합니다:
1.
‘에스파 월드’: 메타버스 플랫폼 제페토에서 아바타로 살아난 에스파 멤버들과 함께 인터랙티브한 음악적 경험을 할 수 있는 인터랙티브 뮤직 월드입니다.
2.
‘FIGHTMAN’: 아티스트 SUMIIN의 인터랙티브 싱글을 펼쳐보이는 앱으로 앱스토어에서 다운로드할 수 있습니다. 사용자의 인터랙티브 모션에 따라 실시간으로 흐름이 바뀌는 SUMIN의 음악을 즐길 수 있습니다.
3.
‘히치하이커의 메타버스 음악 공간’: 세계적인 EDM 뮤지션이자 프로듀서 히치하이커와 협업한 메타버스 뮤직 서비스입니다. 어느 행성에 불시착한 히치하이커가 음악을 통해 낯선 세계를 탈출한다는 시나리오를 배경으로 한 메타버스 공간이 펼쳐집니다.
버시스의 다섯 가지 대표 서비스
인터랙티브 뮤직의 개념을 살펴보았습니다. 버시스는 이 개념을 바탕으로 한 다섯 가지 대표적인 서비스를 선보이고 있습니다. 각 서비스마다 사운드와 다른 요소들이 연결되는 방식이 조금씩 다릅니다. 이제 버시스의 대표 서비스를 하나씩 소개하며, 인터랙티브 뮤직의 구체적인 실체를 더 자세히 알아보겠습니다.
1. 에스파 월드
‘에스파 월드’는 SM 엔터테인먼트와 버시스가 협력하여 메타버스 플랫폼 제페토에 구현한 인터랙티브 뮤직 월드입니다. 이 공간은 K-POP 그룹 에스파의 세계관을 가상 세계에 구현한 곳으로, 사용자는 자신의 아바타를 통해 참여할 수 있습니다. 에스파의 미니 4집 앨범 [Drama]의 출시와 함께 만들어진 이 가상 세계에서는 타이틀곡 ‘Drama’의 음원을 기반으로 한 인터랙티브 사운드가 곳곳에서 재생되며, 사용자가 가상 공간의 오브젝트를 터치할 때마다 그에 반응하는 사운드가 추가로 생겨납니다.
또한, 사용자는 다양한 아이템을 수집해 음원을 리믹스하거나 이를 콘텐츠로 제작하여 공유할 수 있습니다. 뿐만 아니라 에스파의 안무를 배우거나 아티스트가 착용한 패션 아이템을 자신의 아바타에 적용하는 등 다양한 상호작용을 통해 더욱 풍부한 팬 경험을 즐길 수 있습니다.
2. 비트 기반 인공지능 뮤직비디오 생성기
CES 2024에서 인공지능 부문 혁신상을 수상한 ‘비트 기반 인공지능 뮤직비디오 생성기(Beat-based AI Music Video Generator)’는 메타버스 상에서 숏폼 형태의 뮤직비디오를 간편하게 제작할 수 있는 툴입니다. 사용자가 비트에 맞춰 화면을 터치하면, 이에 반응한 인공지능이 자동으로 음악과 영상을 생성해냅니다. 복잡한 소프트웨어나 기술적 조작이 필요없이 직관적이고 쉬운 터치만으로 뮤직비디오를 만들 수 있어 놀이가 창작이 되는 순간을 경험할 수 있습니다.
3. 메타 뮤직 시스템
CES 2023에서 최고 혁신상을 수상한 ‘메타 뮤직 시스템’은 생성형 인공지능 기반의 메타버스 음악 플랫폼으로, ‘에스파 월드’를 구현하는 데 사용된 핵심 기술입니다. ‘메타 뮤직 시스템’은 메타버스에서 뮤지션의 세계관을 3D 가상 공간으로 재현합니다.
사용자는 아바타를 통해 이 세계관의 등장인물로 참여할 수 있습니다. 이로써 팬들은 더욱 적극적이고 긴밀한 팬 활동을 할 수 있습니다. 뮤지션의 세계관에서 한 등장인물로 등장하여 스토리의 전개를 바꾸고, 3D 오브젝트를 터치하여 음악을 리믹스할 수 있는 식이죠.
4. 히치하이커의 메타버스 음악 공간
‘히치하이커의 메타버스 음악 공간’은 세계적인 EDM 뮤지션이자 프로듀서인 히치하이커와 협력하여 만들어진 메타버스 기반 음악 서비스입니다. 이 서비스는 히치하이커가 어느 행성에 불시착한 후 음악을 활용해 그 낯선 세계에서 탈출하는 이야기를 중심으로 구성된 독특한 세계관을 제공합니다.
사용자는 은색 우주복을 입은 히치하이커 캐릭터로 메타버스를 자유롭게 탐험할 수 있으며, 게임처럼 다양한 인터랙션을 경험할 수 있습니다. 특히, 사용자의 행동에 따라 음악과 비주얼이 실시간으로 반응하며 생성되는 것이 특징입니다. 이를 통해 사용자는 역동적인 음악 경험을 할 수 있습니다.
사용자가 화면을 터치하면 히치하이커의 목소리가 작동되어 랩을 시작하게 되고, 이를 바탕으로 자신만의 음악을 창조할 수 있습니다. 이러한 독창적인 인터랙티브 기능을 통해 음악을 능동적으로 경험하고, 음악과 시각적 요소가 조화를 이루는 메타버스 공간에서 음악에 더욱 몰입할 수 있는 기회를 제공합니다.
5. FIGHTMAN
CES 2022 혁신상을 수상한 ‘FIGHTMAN’은 뮤지션 SUMIN과 협력하여 만들어진 인터랙티브 싱글입니다. 이 앱은 단순히 음악을 듣는 것에 그치지 않고, 사용자가 직접 음악에 참여할 수 있는 몰입형 경험을 제공합니다.
사용자는 ‘FIGHTMAN’ 앱이 구현한 세계 안에서 화면을 터치하거나 핸드폰을 움직이는 방식으로 음악과 상호작용할 수 있습니다. 이러한 인터랙션을 통해 비트의 흐름이 변형되고, 새로운 음악적 요소들이 실시간으로 생성되어 재생됩니다.
이를 통해 사용자는 자신만의 리믹스를 만들 수 있는 기회를 얻게 되고, 창의적인 음악적 경험을 만들어 나갈 수 있습니다. 'FIGHTMAN'은 전통적인 음악 감상 방식을 넘어, 사용자에게 음악을 창조하고 재해석할 수 있는 능동적 경험을 선사하는 인터랙티브 뮤직의 대표적인 사례입니다.
인터랙티브 뮤직은 사용자에게 전통적인 음악 소비 방식과는 다른 새로운 경험을 제공합니다. 아래에서 이러한 경험이 사용자에게 어떤 가치를 제공할 수 있는지 살펴보겠습니다.
1. 메타버스 시대에 걸맞는 음악 경험
인터랙티브 뮤직은 사용자가 뮤지션의 세계관에 깊이 참여하게 함으로써 몰입되는 소통을 가능하게 합니다. 사용자는 아바타를 통해 메타버스 세계를 탐험하고, 뮤지션의 이야기를 직접 체험하는 기회를 가집니다. 이러한 참여는 단순한 감상을 넘어, 팬이 뮤지션과 상호작용하고 자신의 팬심을 표현할 수 있는 새로운 미디엄으로 자리 잡고 있습니다. 생성형 인공지능 기술 덕분에 각 사용자의 행동에 맞춰 경험이 다르게 펼쳐지므로, 개인화된 즐거움과 참여가 극대화됩니다.
2. 놀이가 창작이 된다
인터랙티브 뮤직의 특징 중 하나는 사용자가 쉽고 재미있게 음악 콘텐츠를 만들고 공유할 수 있다는 점입니다. 예를 들어, ‘비트 기반 인공지능 뮤직비디오 생성기’는 사용자가 비트에 맞춰 화면을 터치하는 것만으로도 자신만의 뮤직비디오를 제작할 수 있게 해줍니다. 이렇게 창작 과정이 놀이처럼 느껴지면서도 실제 콘텐츠를 생성할 수 있는 기회를 제공합니다. 또한, ‘메타 뮤직 시스템’에서는 자신의 리믹스를 NFT로 발행할 수 있어 창작물을 하나의 결과물로 만들어낼 수 있습니다.
3. 공감각적 경험이 선사하는 차원이 다른 즐거움
인터랙티브 뮤직은 시각, 청각, 촉각 등 여러 감각이 동원되는 공감각적 경험을 제공합니다. 사운드와 3D 비주얼, 그리고 사용자의 행동 양식이 조화를 이루면서 펼쳐지기에 사용자는 음악에 더욱 몰입하게 됩니다. 또한, 자신의 행동에 따라 반응하는 음악을 통해 자신이 창조한 음악적 경험에 더 큰 행복과 만족감을 느낄 수 있습니다. 이러한 다차원적인 경험은 음악을 즐기는 방식을 한층 더 진화시키며, 사용자가 느끼는 감정적 반응을 극대화합니다.
인터랙티브 뮤직은 단순한 음악 소비를 넘어, 사용자가 능동적으로 참여하고 창조할 수 있는 새로운 형태의 음악 경험을 제시합니다. 이러한 혁신은 엔터테인먼트 업계와 뮤지션에게도 큰 변화를 가져올 것입니다. 다음 시리즈에서는 인터랙티브 뮤직이 가져올 반향을 엔터테인먼트 업계, 뮤지션, 그리고 리스너의 관점에서 살펴보겠습니다.
