🎼Smootify

2022.01 ToBig's Sound Conf. by TobigTonix

음악을 환승하다, Infinite AI Music Streaming.

Smootify는 음악 생성 기술을 활용해 두 음악을 자연스럽게 연결하여 진정한 무한 스트리밍을 이루고자 합니다.

Data

MIDI 형식으로 되어 있는 음악 파일들을 사용하여 프로젝트를 진행하였습니다.
Pop 음악들로 이루어진 Million Song Dataset에 기반한 Lakh Pianoroll Dataset을 활용하여 학습하였습니다.

Model

Mashup

• Mashup Point 탐색 방법으로 DTW(Dynamic Time Warping) 와 분포의 유사도를 활용하였습니다.
• Mashup을 할 때의 Mix Point를 구하는 알고리즘의 소스코드는 여기에서 확인하실 수 있습니다.

Music Transition

• MuseGAN의 convolution구조를 차용 및 U-Net 구조를 사용하여 두 음악간의 연결고리를 생성하였습니다.
• 기존의 음악에서 가운데 부분을 마스킹 후 이를 예측하는 방식으로 학습하였습니다.
  
• Smootify Music Transition 모델의 소스코드는 여기에서 확인하실 수 있습니다.

Result

Usage

학습 속도를 위해 GPU사용이 가능한 환경에서 실행하기를 권장합니다.

각 파라미터별 설명 및 보다 자세한 사용 방법은 Music Transition 모델 레포에서 확인하실 수 있습니다.

1. Installation

git clone https://github.com/ToBigsSound-1516/transition.git
cd trainsition
pip install -r requirements.txt

2. Prepare Data

python3 prepare_data.py ./{data-path} {0/-1} 

-1: multiprocessing

3. Train

python3 main.py --train

4. Mix Music!

python3 main.py --midi_path1 ./{song1} --midi_path2 ./{song2} --start1 {mixing point} --start2 {mixing point}

Web Demo

저희의 웹 데모는 여기에서 확인하실 수 있습니다.

이미지를 클릭 시 웹 페이지의 깃허브 레포로 이동합니다.

Reference

• AutoMashUpper: Automatic Creation of Multi-Song Music Mashups, 2014 (Matthew E. P. Davies, Philippe Hamel, Kazuyoshi Yoshii, Masataka Goto)
• MuseGAN: Multi-track Sequential Generative Adversarial Networks for Symbolic Music Generation and Accompaniment, 2017 (Hao-Wen Dong, Wen-Yi Hsiao, Li-Chia Yang, Yi-Hsuan Yang)
• U-Net: Convolutional Networks for Biomedical Image Segmentation, 2015 (Olaf Ronneberger, Philipp Fischer, Thomas Brox)
• MIDI-VAE: Modeling Dynamics and Instrumentation of Music with Applications to Style Transfer, 2018 (Gino Brunner, Andres Konrad, Yuyi Wang, Roger Wattenhofer)
• salu133445/musegan
• salu133445/lakh-pianoroll-dataset
• brunnergino/MIDI-VAE

Contributors

Ohyeon Kwon

Taehee Kim

Minjun An

JinKyoung Hwangbo

Yoonene Kim