질문이있다? TensorFlow 포럼 방문 포럼 에서 커뮤니티와 연결

ted_hrlr_translate

  • 설명 :

하나는 자원이 많고 다른 하나는 자원이 적은 유사한 언어 쌍을 비교하기 위해 TED talk transcript에서 파생 된 데이터 세트입니다.

@inproceedings{Ye2018WordEmbeddings,
  author  = {Ye, Qi and Devendra, Sachan and Matthieu, Felix and Sarguna, Padmanabhan and Graham, Neubig},
  title   = {When and Why are pre-trained word embeddings useful for Neural Machine Translation},
  booktitle = {HLT-NAACL},
  year    = {2018},
  }

ted_hrlr_translate / az_to_en (기본 구성)

  • 구성 설명 : az에서 en으로 일반 텍스트로 변환 데이터 세트.

  • 분할 :

스플릿
'test' 903
'train' 5,946
'validation' 671
  • 특징 :
Translation({
    'az': Text(shape=(), dtype=tf.string),
    'en': Text(shape=(), dtype=tf.string),
})

ted_hrlr_translate / aztr_to_en

  • 구성 설명 : az_tr에서 en으로 일반 텍스트로 데이터 세트를 번역합니다.

  • 분할 :

스플릿
'test' 903
'train' 188,396
'validation' 671
  • 특징 :
Translation({
    'az_tr': Text(shape=(), dtype=tf.string),
    'en': Text(shape=(), dtype=tf.string),
})

ted_hrlr_translate / be_to_en

  • 구성 설명 : 일반 텍스트로 be에서 en으로 데이터 세트를 번역합니다.

  • 분할 :

스플릿
'test' 664
'train' 4,509
'validation' 248
  • 특징 :
Translation({
    'be': Text(shape=(), dtype=tf.string),
    'en': Text(shape=(), dtype=tf.string),
})

ted_hrlr_translate / beru_to_en

  • 구성 설명 : be_ru에서 en으로 일반 텍스트로 데이터 세트를 번역합니다.

  • 분할 :

스플릿
'test' 664
'train' 212,614
'validation' 248
  • 특징 :
Translation({
    'be_ru': Text(shape=(), dtype=tf.string),
    'en': Text(shape=(), dtype=tf.string),
})

ted_hrlr_translate / es_to_pt

  • 구성 설명 : 일반 텍스트로 es에서 pt로 데이터 세트를 번역합니다.

  • 분할 :

스플릿
'test' 1,763
'train' 44,938
'validation' 1,016
  • 특징 :
Translation({
    'es': Text(shape=(), dtype=tf.string),
    'pt': Text(shape=(), dtype=tf.string),
})

ted_hrlr_translate / fr_to_pt

  • 구성 설명 : 일반 텍스트로 fr에서 pt로 데이터 세트를 번역합니다.

  • 분할 :

스플릿
'test' 1,494
'train' 43,873
'validation' 1,131
  • 특징 :
Translation({
    'fr': Text(shape=(), dtype=tf.string),
    'pt': Text(shape=(), dtype=tf.string),
})

ted_hrlr_translate / gl_to_en

  • 구성 설명 : gl에서 en으로 일반 텍스트로 데이터 세트를 번역합니다.

  • 분할 :

스플릿
'test' 1,007
'train' 10,017
'validation' 682
  • 특징 :
Translation({
    'en': Text(shape=(), dtype=tf.string),
    'gl': Text(shape=(), dtype=tf.string),
})

ted_hrlr_translate / glpt_to_en

  • 구성 설명 : gl_pt에서 en으로 일반 텍스트로 데이터 세트를 번역합니다.

  • 분할 :

스플릿
'test' 1,007
'train' 61,802
'validation' 682
  • 특징 :
Translation({
    'en': Text(shape=(), dtype=tf.string),
    'gl_pt': Text(shape=(), dtype=tf.string),
})

ted_hrlr_translate / he_to_pt

  • 구성 설명 : he에서 pt로 일반 텍스트로 데이터 세트를 번역합니다.

  • 분할 :

스플릿
'test' 1,623
'train' 48,511
'validation' 1,145
  • 특징 :
Translation({
    'he': Text(shape=(), dtype=tf.string),
    'pt': Text(shape=(), dtype=tf.string),
})

ted_hrlr_translate / it_to_pt

  • 구성 설명 : 일반 텍스트로 데이터 세트를 pt로 번역합니다.

  • 분할 :

스플릿
'test' 1,669
'train' 46,259
'validation' 1,162
  • 특징 :
Translation({
    'it': Text(shape=(), dtype=tf.string),
    'pt': Text(shape=(), dtype=tf.string),
})

ted_hrlr_translate / pt_to_en

  • 구성 설명 : pt에서 en으로 일반 텍스트로 데이터 세트를 번역합니다.

  • 분할 :

스플릿
'test' 1,803
'train' 51,785
'validation' 1,193
  • 특징 :
Translation({
    'en': Text(shape=(), dtype=tf.string),
    'pt': Text(shape=(), dtype=tf.string),
})

ted_hrlr_translate / ru_to_en

  • 구성 설명 : 일반 텍스트로 ru에서 en으로 데이터 세트를 번역합니다.

  • 분할 :

스플릿
'test' 5,476
'train' 208,106
'validation' 4,805
  • 특징 :
Translation({
    'en': Text(shape=(), dtype=tf.string),
    'ru': Text(shape=(), dtype=tf.string),
})

ted_hrlr_translate / ru_to_pt

  • 구성 설명 : 일반 텍스트로 ru에서 pt로 데이터 세트를 번역합니다.

  • 분할 :

스플릿
'test' 1,588
'train' 47,278
'validation' 1,184
  • 특징 :
Translation({
    'pt': Text(shape=(), dtype=tf.string),
    'ru': Text(shape=(), dtype=tf.string),
})

ted_hrlr_translate / tr_to_en

  • 구성 설명 : tr에서 en으로 일반 텍스트로 데이터 세트를 번역합니다.

  • 분할 :

스플릿
'test' 5,029
'train' 182,450
'validation' 4,045
  • 특징 :
Translation({
    'en': Text(shape=(), dtype=tf.string),
    'tr': Text(shape=(), dtype=tf.string),
})