/ NLP

Music Generation and AI, present and future

목차

AI Music Genration의 시초

  • 90년대 David Bowie 의 Verbasizer (앱)

  • 단어를 임의로 재배치하여 음악 가사에 사용될 수 있도록 재조합하는 앱이었음

  • 2016년 Sony의 App Flow Machine
    • 비틀즈 스타일 멜로디를 창조해 냄

Music Generation 도 크게 다르지 않아

  • 머신러닝에서 모델은 다량의 데이터를 학습하고 그 안에서 ‘패턴’을 찾아냅니다.
  • Music Generation에서는 그 패턴이 Chord, Tempo, lengths, note 간 관계성 등 이됩니다.

Symbolic approach, Non-symbolic approach

Music Generation의 고질적인 문제 1 : LONG TERM DEPENDENCY

  • 해결법 1 : autoencoder로 저차원 space로 mapping
    • 불필요한 정보를 버리게 됨
    • 이후 upsampling
  • MuseNet : midi data 기반 많은 양의 데이터 학습
  • Transfomer 계열 모델로 학습

아이디어 :

o learn a lower-dimensional encoding of the audio with the goal of losing the less important information but retaining most of the musical information

문제 2 : Diversity(variation)

JukeBox[Paper]

  • long context 를 autoregressiveTransformer 이용한 multi-sclae VQ-VAE로 해결

Lyric Conditioning

  • 노래의 duration에 linear 하게 가사의 문자들을 align하는 방법
  • 가사를 위한 encoder를 더하고, music decoder로부터 의 query로부터 가사 encoder로부터의 key, value 쌍 으로의 attetion layer를 적용함.

VQ-VAE codebook collapse

  • codebook에 mapping된 embedding vector들이 많이 쓰이지 않는 현상
  • Random Restart:codebook vector 사용량이 평균이하로 떨어지면 , encoder output 중 하나로 다시 reset

https://magenta.tensorflow.org/perceiver-ar

Sparse Transformer

  • sparsifies the attention pattern by reshaping the input sequence into a 2-D sequence of shape

Google Deepmind (2022.06)

[Paper]

Perceiver AR

  • modality 에 대하여 agnostic(인지불능)인 구조
    • cross attention : long-range input -> small latent
    • maintaining end-to-end causal masking https://soundraw.io/ https://magenta.tensorflow.org/ https://www.aiva.ai/ -> 음악 작곡

Datasets

  • https://paperswithcode.com/task/music-generation

Music Generation and Deep learning

1) 딥러닝 베이스 음악 생성의 컨셉 2) 음악 생성의 다양한 방법과 원리 3) 다양한 음악 생성의 개념적 분류 체계 4) 트렌드

abstract model이 generation을 위해 사용됨

  1. Sota models MuseGAN Melnet MidiNet

Reference

  • From artificial neural networks to deep learning for music generation: history, concepts and trends
  • https://towardsdatascience.com/generating-music-with-artificial-intelligence-9ce3c9eef806
  • https://topten.ai/music-generators-review/