[R] AI기반 작곡 솔루션(AI MUSIC) 재현 01

목차

• Markov Chain(마코프 연쇄)

서론

 2009년 미국 University of California, Santa Cruz의 David Cope 교수가 개발한 인공지능 기반 작곡 소프트웨어가 <From Darkness> 앨범을 냈으며, 2014년에는 영국 스타트업 회사인 쥬크덱이 개발한 A.I.M이 전자음악을 발표했다. 이후, 알파고(AlphaGo)의 등장과 함께 딥러닝(Deep Learning Algorithm)의 활용과 관심으로 이 분야에서도 빠른 발전을 하고 있다.

 이번 프로젝트를 통해 R을 이용하여 Markov Chain(마코프 연쇄)기반의 인공지능 작곡 솔루션을 재현하는 것이 1차적인 목표이며, 향후 다양한 알고리즘을 확대 적용하고자 한다.

관련 연구

인공지능 기반 클래식 음악 작곡

 2015년 미국 예일대 Donya Quick 교수는 쿨리타 (Kulitta) 라는 이름으로 인공지능 기반 작곡 프로그램을 개발하였다. 바흐의 곡을 분석해서 만든 쿨리타의 작품을 두고 음악적 소양이 있는 100인에게 들려준 후 사람의 작품인지 인공지능의 작품인지 비교하는 실험을 하였으며, 구분하기 어려울 정도로 작품성이 높은 것으로 나타났다.

 2016년 아이바 테크놀로지 (AIVA Technologies)는 아이바(Aiva, Arificial Intelligence Virtual Artists) 라는 이름의 인공지능 작곡가를 개발하였고, 수많은 교향곡을 학습 데이터로 사용하여 완성도가 높은 작곡을 하였다. 특히, CNN기반의 알고리즘의 독창성 있는 차별화된 시스템을 구현하고자 했으며, 프랑스 음악저작권협회(SACEM)가 인정한 AI 아티스트로 등록되었다.

 2017년 구글은 인공신경망 기반의 인공지능 듀엣 (AI Duet)을 발표하면서 하드웨어와 소프트웨어를 결합한 형태의 상품도 개발하기 시작했다.

<표 1> 인공지능 기반 클래식 음악 작곡 비교표

구분	쿨리타 (Kulitta)	아이바 (Aiva)	듀엣 (AI Duet)
개발팀	Donya Quick	아이바 테크놀로지	구글
발표해	2015	2016	2017
특징	- 바흐 곡을 학습 데이터로 사용 - 쿨리타 작곡한 음악과 바흐 곡을 비교	- CNN 기반 알고리즘 사용 - 수 많은 교향곡을 학습데이터로 사용	- 하드웨어와 소프트웨어를 결합한 상품 개발

인공지능 기반 대중 음악 작곡

 2014년 New Yawwk Startup Amper Music은 인공지능 기반 작곡 플랫폼을 개발하기 위해 900만 달러의 모금을 하였다.

 2016년 소니 컴퓨터 과학 연구소가 유튜브 채널을 통해 세계 최초로 "Daddy's Car"와 "Mr. Shadow"를 작곡했으나, 모든 과정을 인공지능으로만 구현한 것은 아니었다.

 같은해, GIST의 안창욱 교수 연구팀에 의해 한국 최초 인공지능 작곡가 보이드(Boid)를 발표했으며, 향후에 이봄(EvoM) 이라는 이름으로 작품을 생성하고 있다.

<표 2> 인공지능 기반 대중 음악 작곡 비교표

구분	Amper Music	소니 컴퓨터 과학 연구소	보이드
개발팀	Amper Music	소니	GIST
발표해	2014	2016	2016
특징	- 플랫폼 개발을 위한 900만 달러 펀드 모금	- 유튜브 채널을 통해 세계 최초 대중 음악 작곡하여 발표 - 일부 과정만 인공지능으로 구현	- 향후, 이봄(EvoM)으로 이름을 변경하고 작품 활동을 함

인공지능 기반 목표 지향적 음악 작곡

 2016년 독일 회사 멜로드라이브 (Melodrive)는 사용자의 음악적 지식과 관계 없이 몰입감 있는 음악을 생성하는 것을 목적으로 인공지능 기반 프로그램을 출시했다.

 2017년 코클리어닷 AI는 애트모(Atmo, Generative Music for Spatial Atmosphere)를 제안했으며, 주변 상황과 분위기에 맞는 음악을 작곡하는 공간 맞춤형 작곡을 제공하는 특징을 가지고 있다.

 2018년 크리에이티브마인드는 뮤지아 (Musia)를 출시했는데, 사람의 표정을 인식하여 정서를 파악하고, 이와 일치한 음악을 작곡하여 제시하기도 했다.

<표 3> 인공지능 기반 목표 지향적 음악 작곡 비교표

구분	멜로드라이브 (Melodrive)	애트모 (Atmo)	뮤지아 (Musia)
개발팀	멜로드라이브	코클리어닷	크리에이티브마인드
발표해	2016	2017	2018
특징	- 음악적 지식과 관계없이 몰입감 있는 음악 생성을 목표	- 주변 상황과 분위기에 맞는 공간 맞춤형 작곡을 목표	- 사람 표정을 인식하여 정서 파악하고, 이와 일치하는 음악 작곡을 목표

연구 모형

 AI기반 작곡 솔루션(AI MUSIC) 재현을 위한 연구모형은 아래의 그림 1과 같이 크게 Modeling Process와 Compose Process로 나뉜다. Modeling Process는 학습 데이터를 수집하고, 가공 처리하여, 악보를 생성하기 위한 Markov Chain Model을 생성하게 된다. 반면, Compose Process의 경우 앞에서 만들어진 모델을 통과하여 이전의 음정과 박자에 맞춰 다음에 나올 음정과 박자를 나타내어 새로운 음악을 작곡하게 된다.

<그림 1> Markov Chain 기반 AI Composer(By Jay Data Graph)

Lesson Learned

 해당 연구 모형을 기반으로 실제 R을 이용한 AI Composer를 재연한 소스 코드를 리뷰할 예정이며, 현재 테스트로 생성하고 있는 결과는 유튜브 Jay Data Graph 채널에서 공개하고 있다. 블로그를 작성하는 시점인 2020년 4월 25일 기준으로 현재 8개의 음악이 게시되어 있으며, 최초에 작성했던 시점의 멜로디는 단음을 예측하는 형태의 시스템이었으며, 현재는 조금씩 개선하고 있는 상황이다. 기존에 많이 사용되는 산업분야에서의 알고리즘 활용이 아닌 음악에서의 활용에 대한 방법론과 결과물을 공유하여 관심도가 증가하길 기대한다.

<그림 2> Jay Data Graph 링크

Reference

 Lee Sunghoon, "Artificial Intelligence Applications to Music Composition", The Journal of the Convergence on Culture Technology, 2018.11

 Nanalyze, "AI Compose Music Startup - https://www.nanalyze.com/2018/05/11-startups-ai-compose-music/", Blog, 2018,05