여러 기업들이 인공지능(AI) 개발에 열을 올리고 있는 가운데 페이스북과 인스타그램을 운영하는 메타에서 오디오 크래프트(AudioCraft)를 출시하였습니다.
메타 오디오크래프트란?
오디오 크래프트는 텍스트를 입력하는 것만으로 음악을 만들 수 있으며 작곡과 작사도 할 수 있게 하는 인공지능 모델입니다. 오픈 소스로 공개하여 개인 사업자는 동영상 광고에 사운드 트랙을 추가하고 전문 음악가는 악기를 연주하지 않고 새로운 노래를 연구할 수 있게 되었습니다.
아래의 링크에서 80년대 드럼 비트, 타악기로 연주한 사막에서의 영화 장면 등 다양한 장르의 텍스트를 입력하면 오디오 크래프트가 생성한 샘플을 들어볼 수 있습니다.
메타 오디오크래프트 샘플 들어보기AI 모델 기반 오디오크래프트
오디오 크래프트는 MusicGen, AudioGen, EnCodec의 세 가지 AI 모델을 기반으로 만들어졌다고 밝혔습니다.
MusicGen은 프롬프트에 텍스트를 입력하면 멜로디를 생성해 주며 AudioGen은 오디오를 만듭니다. 오디오젠은 프롬프트에서 사람 음성을 생성할 수도 있고 이미지와 같이 완전히 노이즈로 구성된 데이터에서 프롬프트에 단계적으로 가까이 이동합니다.
Encodec은 오디오를 압축해 작업물의 잡음을 감소시키고 음악의 완성도를 높이는 기능을 가지고 있습니다.
지난 6월에 공개된 MusicGen은 2만 시간의 라이선스 음악을 학습했습니다. MusicGen은 오디오 크래프트 AI 오픈소스로 제공되고 있습니다.
AudioGen은 텍스트에서 소리를 생성하는 것에 중점을 두었습니다.
MusicGen은 사용자가 제공한 텍스트로 다양하고 긴 음악 샘플을 제공합니다.
오디오 크래프트의 작동 원리입니다.
메타의 AI 행보
메타는 여러모로 AI 기술을 개발해 자사 서비스에 도입하고 있습니다. 페이스북이나 인스타그램에 AI 기능을 넣기도 하였으며 이번에 오디오 크래프트를 공개함과 더불어 최근에 자체 개발한 대규모 언어 모델(LLM) “라마”를 공개하였습니다. 또한 라마로 마이크로소프트와의 AI 협력 관계를 구축했습니다.
메타는 이르면 9월 출시를 목표로 ‘페르소나’라는 AI 챗봇 개발을 진행 중입니다. 메타는 대중에 공개된 인공지능 관련 이미지, 영상, 텍스트에 관한 생성형 AI는 많지만 음성은 많이 뒤처져 있다고 밝혔습니다.
한편 구글의 모회사 알파벳은 메타의 오디오 크래프트 공개 이전에 MusicLM이라는 AI 도구를 출시하였습니다. 메타의 오디오 크래프트 출시는 구글을 겨냥한 것으로 보입니다.
또한 메타는 이번 오디오 크래프트의 출시에 대해 새로운 음악 창작의 패러다임을 이끌 수 있다고 긍정적인 반응을 보였고 AI 시장에서 비교적 뒤처져 있는 음성 부분에 대한 포부를 밝혔습니다.
마치며
이로 인해 음악 관련 작업도 AI를 통해 가능할 듯합니다. 이젠 AI로 음악도 만드는 시대가 왔습니다. 텍스트를 입력해도 음악을 출력할 수 있다는 것은 상상만 해봤었는데 현실로 다가오니 정말 신기하네요.
메타에서 오디오 크래프트를 출시하기 전에 구글에서도 MusicLM이라는 AI를 출시하였으니 다양한 사이트에서 음악 관련 AI를 활용해 보시는 것도 좋을 듯합니다.
