pattes_x_wiki

  • Description:

Cet ensemble de données contient 23 659 paires d'évaluation PAWS traduites humainement et 296 406 paires d'entraînement traduites automatiquement dans six langues typologiquement distinctes :

  • français
  • Espanol
  • Allemand
  • Chinois
  • Japonais
  • coréen

Pour plus de détails, voir le document d' accompagnement: PAWS-X: Une translinguistique accusatoire ensemble_données paraphrase identification à https://arxiv.org/abs/1908.11828

Semblable à PAWS Dataset, les exemples sont divisés en sections Train/Dev/Test. Tous les fichiers sont au format tsv avec quatre colonnes :

id Un identifiant unique pour chaque paire phrase1 La première phrase phrase2 La deuxième phrase (noisy_)label (Noisy) label pour chaque paire

Chaque étiquette a deux valeurs possibles : 0 indique que la paire a une signification différente, tandis que 1 indique que la paire est une paraphrase.

FeaturesDict({
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=tf.string),
    'sentence2': Text(shape=(), dtype=tf.string),
})
@InProceedings{pawsx2019emnlp,
  title = { {PAWS-X: A Cross-lingual Adversarial Dataset for Paraphrase Identification} },
  author = {Yang, Yinfei and Zhang, Yuan and Tar, Chris and Baldridge, Jason},
  booktitle = {Proc. of EMNLP},
  year = {2019}
}

paws_x_wiki/de (configuration par défaut)

  • Description Config: Traduit en de

  • Dataset Taille: 15.27 MiB

  • scissions:

Diviser Exemples
'test' 2 000
'train' 49 380
'validation' 2 000

pattes_x_wiki/fr

  • Description Config: Traduit en fr

  • Dataset Taille: 14.59 MiB

  • scissions:

Diviser Exemples
'test' 2 000
'train' 49 175
'validation' 2 000

paws_x_wiki/es

  • Description Config: Traduit en es

  • Dataset Taille: 15.27 MiB

  • scissions:

Diviser Exemples
'test' 2 000
'train' 49 401
'validation' 1.961

pattes_x_wiki/fr

  • Description Config: Traduit en fr

  • Dataset Taille: 15.79 MiB

  • scissions:

Diviser Exemples
'test' 2 000
'train' 49 399
'validation' 1 988

pattes_x_wiki/ja

  • Description Config: Traduit en ja

  • Dataset Taille: 17.77 MiB

  • scissions:

Diviser Exemples
'test' 2 000
'train' 49 401
'validation' 2 000

pattes_x_wiki/ko

  • Description Config: Traduit en ko

  • Dataset Taille: 16.42 MiB

  • scissions:

Diviser Exemples
'test' 1 999
'train' 49 164
'validation' 2 000

pattes_x_wiki/zh

  • Description Config: Traduit en zh

  • Dataset Taille: 13.20 MiB

  • scissions:

Diviser Exemples
'test' 2 000
'train' 49 401
'validation' 2 000