ted_hrlr_translate

  • 説明

一方が高リソースでもう一方が低リソースである類似の言語ペアを比較するためのTEDトークトランスクリプトから派生したデータセット。

@inproceedings{Ye2018WordEmbeddings,
  author  = {Ye, Qi and Devendra, Sachan and Matthieu, Felix and Sarguna, Padmanabhan and Graham, Neubig},
  title   = {When and Why are pre-trained word embeddings useful for Neural Machine Translation},
  booktitle = {HLT-NAACL},
  year    = {2018},
  }

ted_hrlr_translate / az_to_en(デフォルト設定)

  • コンフィグの説明:プレーンテキストでアンへAZから翻訳データセット。

  • スプリット

スプリット
'test' 903
'train' 5,946
'validation' 671
  • 特長
Translation({
    'az': Text(shape=(), dtype=tf.string),
    'en': Text(shape=(), dtype=tf.string),
})

ted_hrlr_translate / aztr_to_en

  • コンフィグの説明:プレーンテキストでaz_trからENへの翻訳データセット。

  • スプリット

スプリット
'test' 903
'train' 188,396
'validation' 671
  • 特長
Translation({
    'az_tr': Text(shape=(), dtype=tf.string),
    'en': Text(shape=(), dtype=tf.string),
})

ted_hrlr_translate / be_to_en

  • コンフィグの説明:プレーンテキストにするからENへの翻訳データセット。

  • スプリット

スプリット
'test' 664
'train' 4,509
'validation' 248
  • 特長
Translation({
    'be': Text(shape=(), dtype=tf.string),
    'en': Text(shape=(), dtype=tf.string),
})

ted_hrlr_translate / beru_to_en

  • コンフィグの説明:プレーンテキストでbe_ruからENへの翻訳データセット。

  • スプリット

スプリット
'test' 664
'train' 212,614
'validation' 248
  • 特長
Translation({
    'be_ru': Text(shape=(), dtype=tf.string),
    'en': Text(shape=(), dtype=tf.string),
})

ted_hrlr_translate / es_to_pt

  • コンフィグの説明:ESからの翻訳データセットは、プレーンテキストでPtに。

  • スプリット

スプリット
'test' 1,763
'train' 44,938
'validation' 1,016
  • 特長
Translation({
    'es': Text(shape=(), dtype=tf.string),
    'pt': Text(shape=(), dtype=tf.string),
})

ted_hrlr_translate / fr_to_pt

  • コンフィグの説明:プレーンテキストでPTへのFRから翻訳データセット。

  • スプリット

スプリット
'test' 1,494
'train' 43,873
'validation' 1,131
  • 特長
Translation({
    'fr': Text(shape=(), dtype=tf.string),
    'pt': Text(shape=(), dtype=tf.string),
})

ted_hrlr_translate / gl_to_en

  • コンフィグの説明:プレーンテキストでGLからENへの翻訳データセット。

  • スプリット

スプリット
'test' 1,007
'train' 10,017
'validation' 682
  • 特長
Translation({
    'en': Text(shape=(), dtype=tf.string),
    'gl': Text(shape=(), dtype=tf.string),
})

ted_hrlr_translate / glpt_to_en

  • コンフィグの説明:プレーンテキストでgl_ptからENへの翻訳データセット。

  • スプリット

スプリット
'test' 1,007
'train' 61,802
'validation' 682
  • 特長
Translation({
    'en': Text(shape=(), dtype=tf.string),
    'gl_pt': Text(shape=(), dtype=tf.string),
})

ted_hrlr_translate / he_to_pt

  • コンフィグの説明:彼からの翻訳データセットは、プレーンテキストでPtに。

  • スプリット

スプリット
'test' 1,623
'train' 48,511
'validation' 1,145
  • 特長
Translation({
    'he': Text(shape=(), dtype=tf.string),
    'pt': Text(shape=(), dtype=tf.string),
})

ted_hrlr_translate / it_to_pt

  • コンフィグの説明:それから、翻訳データセットは、プレーンテキストでPtに。

  • スプリット

スプリット
'test' 1,669
'train' 46,259
'validation' 1,162
  • 特長
Translation({
    'it': Text(shape=(), dtype=tf.string),
    'pt': Text(shape=(), dtype=tf.string),
})

ted_hrlr_translate / pt_to_en

  • コンフィグの説明:プレーンテキストでPTからENへの翻訳データセット。

  • スプリット

スプリット
'test' 1,803
'train' 51,785
'validation' 1,193
  • 特長
Translation({
    'en': Text(shape=(), dtype=tf.string),
    'pt': Text(shape=(), dtype=tf.string),
})

ted_hrlr_translate / ru_to_en

  • コンフィグの説明:プレーンテキストでアンへのRUからの翻訳データセット。

  • スプリット

スプリット
'test' 5,476
'train' 208,106
'validation' 4,805
  • 特長
Translation({
    'en': Text(shape=(), dtype=tf.string),
    'ru': Text(shape=(), dtype=tf.string),
})

ted_hrlr_translate / ru_to_pt

  • コンフィグの説明:RUからの翻訳データセットは、プレーンテキストでPtに。

  • スプリット

スプリット
'test' 1,588
'train' 47,278
'validation' 1,184
  • 特長
Translation({
    'pt': Text(shape=(), dtype=tf.string),
    'ru': Text(shape=(), dtype=tf.string),
})

ted_hrlr_translate / tr_to_en

  • コンフィグの説明:プレーンテキストでTRからENへの翻訳データセット。

  • スプリット

スプリット
'test' 5,029
'train' 182,450
'validation' 4,045
  • 特長
Translation({
    'en': Text(shape=(), dtype=tf.string),
    'tr': Text(shape=(), dtype=tf.string),
})