nsynth

  • 説明

NSynthデータセットは、それぞれが固有のピッチ、音色、およびエンベロープを持つ最大300kの音符を含むオーディオデータセットです。各メモには、人間による評価とヒューリスティックアルゴリズムの組み合わせに基づいて、ソース、ファミリ、品質の3つの追加情報が注釈として付けられています。

@InProceedings{pmlr-v70-engel17a,
  title =    {Neural Audio Synthesis of Musical Notes with {W}ave{N}et Autoencoders},
  author =   {Jesse Engel and Cinjon Resnick and Adam Roberts and Sander Dieleman and Mohammad Norouzi and Douglas Eck and Karen Simonyan},
  booktitle =    {Proceedings of the 34th International Conference on Machine Learning},
  pages =    {1068--1077},
  year =     {2017},
  editor =   {Doina Precup and Yee Whye Teh},
  volume =   {70},
  series =   {Proceedings of Machine Learning Research},
  address =      {International Convention Centre, Sydney, Australia},
  month =    {06--11 Aug},
  publisher =    {PMLR},
  pdf =      {http://proceedings.mlr.press/v70/engel17a/engel17a.pdf},
  url =      {http://proceedings.mlr.press/v70/engel17a.html},
}

nsynth / full(デフォルト設定)

  • コンフィグの説明:フルNSynthデータセットは、電車セットと有効/テスト・セットの間で重複していない機器で、電車、有効、およびテスト・セットに分割されます。

  • ダウンロードサイズ73.07 GiB

  • データセットサイズ73.09 GiB

  • スプリット

スプリット
'test' 4,096
'train' 289,205
'valid' 12,678
  • 特長
FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=tf.float32),
    'id': tf.string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=tf.int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    }),
    'pitch': ClassLabel(shape=(), dtype=tf.int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': tf.bool,
        'dark': tf.bool,
        'distortion': tf.bool,
        'fast_decay': tf.bool,
        'long_release': tf.bool,
        'multiphonic': tf.bool,
        'nonlinear_env': tf.bool,
        'percussive': tf.bool,
        'reverb': tf.bool,
        'tempo-synced': tf.bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=tf.int64, num_classes=128),
})

nsynth / gansynth_subset

  • 設定の説明:NSynthデータセットは[24、84] MIDIピッチ間隔のアコースティック楽器に限定されるもの。トレインセットと有効/テストセットの間で楽器(正確な音符ではない)が重複している代替スプリットを使用します。この変異体は、もともとICLR 2019 GANSynth紙(で導入されましたhttps://arxiv.org/abs/1902.08710 )。

  • ダウンロードサイズ73.08 GiB

  • データセットサイズ20.73 GiB

  • スプリット

スプリット
'test' 8,518
'train' 60,788
'valid' 17,469
  • 特長
FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=tf.float32),
    'id': tf.string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=tf.int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    }),
    'pitch': ClassLabel(shape=(), dtype=tf.int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': tf.bool,
        'dark': tf.bool,
        'distortion': tf.bool,
        'fast_decay': tf.bool,
        'long_release': tf.bool,
        'multiphonic': tf.bool,
        'nonlinear_env': tf.bool,
        'percussive': tf.bool,
        'reverb': tf.bool,
        'tempo-synced': tf.bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=tf.int64, num_classes=128),
})

nsynth / gansynth_subset.f0_and_loudness

  • 設定の説明:NSynthデータセットは[24、84] MIDIピッチ間隔のアコースティック楽器に限定されるもの。トレインセットと有効/テストセットの間で楽器(正確な音符ではない)が重複している代替スプリットを使用します。この変異体は、もともとICLR 2019 GANSynth紙(で導入されましたhttps://arxiv.org/abs/1902.08710 )。このバージョンには、CREPE(Kim et al。、2018)を使用したF0の推定値と、デシベル単位のA加重知覚ラウドネスが追加で含まれています。両方の信号は250Hzのフレームレートで提供されます。

  • ダウンロードサイズ73.08 GiB

  • データセットサイズ22.03 GiB

  • スプリット

スプリット
'test' 8,518
'train' 60,788
'valid' 17,469
  • 特長
FeaturesDict({
    'audio': Audio(shape=(64000,), dtype=tf.float32),
    'f0': FeaturesDict({
        'confidence': Tensor(shape=(1000,), dtype=tf.float32),
        'hz': Tensor(shape=(1000,), dtype=tf.float32),
        'midi': Tensor(shape=(1000,), dtype=tf.float32),
    }),
    'id': tf.string,
    'instrument': FeaturesDict({
        'family': ClassLabel(shape=(), dtype=tf.int64, num_classes=11),
        'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=1006),
        'source': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    }),
    'loudness': FeaturesDict({
        'db': Tensor(shape=(1000,), dtype=tf.float32),
    }),
    'pitch': ClassLabel(shape=(), dtype=tf.int64, num_classes=128),
    'qualities': FeaturesDict({
        'bright': tf.bool,
        'dark': tf.bool,
        'distortion': tf.bool,
        'fast_decay': tf.bool,
        'long_release': tf.bool,
        'multiphonic': tf.bool,
        'nonlinear_env': tf.bool,
        'percussive': tf.bool,
        'reverb': tf.bool,
        'tempo-synced': tf.bool,
    }),
    'velocity': ClassLabel(shape=(), dtype=tf.int64, num_classes=128),
})