paws_x_wiki

  • Açıklama :

Bu veri kümesi, tipolojik olarak farklı altı dilde 23.659 insan tarafından çevrilmiş PAWS değerlendirme çifti ve 296.406 makine tarafından çevrilmiş eğitim çifti içerir:

  • Fransızca
  • İspanyol
  • Almanca
  • Çince
  • Japonca
  • Koreli

Daha fazla ayrıntı için ekteki belgeye bakın: PAWS-X: A Cross-lingual Adversarial Dataset for Açıklama Tanımlaması için https://arxiv.org/abs/1908.11828

PAWS Veri Kümesine benzer şekilde örnekler, Eğit/Geliştir/Test bölümlerine ayrılmıştır. Tüm dosyalar dört sütunlu tsv biçimindedir:

  1. id : Her çift için benzersiz bir kimlik.
  2. sentence1 : İlk cümle.
  3. sentence2 : İkinci cümle.
  4. (noisy_)label : Her çift için (Gürültülü) etiket.

Her etiketin iki olası değeri vardır: 0, çiftin farklı anlamlara sahip olduğunu, 1 ise çiftin bir açıklama olduğunu gösterir.

FeaturesDict({
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
etiket SınıfEtiketi int64
cümle1 Metin sicim
cümle2 Metin sicim
@InProceedings{pawsx2019emnlp,
  title = { {PAWS-X: A Cross-lingual Adversarial Dataset for Paraphrase Identification} },
  author = {Yang, Yinfei and Zhang, Yuan and Tar, Chris and Baldridge, Jason},
  booktitle = {Proc. of EMNLP},
  year = {2019}
}

paws_x_wiki/de (varsayılan yapılandırma)

  • Yapılandırma açıklaması : de'ye çevrildi

  • Veri kümesi boyutu : 15.27 MiB

  • bölmeler :

Bölmek örnekler
'test' 2.000
'train' 49.380
'validation' 2.000

paws_x_wiki/tr

  • Yapılandırma açıklaması : tr'ye çevrildi

  • Veri kümesi boyutu : 14.59 MiB

  • bölmeler :

Bölmek örnekler
'test' 2.000
'train' 49.175
'validation' 2.000

paws_x_wiki/es

  • Yapılandırma açıklaması : es'ye çevrildi

  • Veri kümesi boyutu : 15.27 MiB

  • bölmeler :

Bölmek örnekler
'test' 2.000
'train' 49.401
'validation' 1.961

paws_x_wiki/fr

  • Yapılandırma açıklaması : fr'ye çevrildi

  • Veri kümesi boyutu : 15.79 MiB

  • bölmeler :

Bölmek örnekler
'test' 2.000
'train' 49.399
'validation' 1.988

paws_x_wiki/ja

  • Yapılandırma açıklaması : ja'ya çevrildi

  • Veri kümesi boyutu : 17.77 MiB

  • bölmeler :

Bölmek örnekler
'test' 2.000
'train' 49.401
'validation' 2.000

paws_x_wiki/ko

  • Yapılandırma açıklaması : ko'ya çevrildi

  • Veri kümesi boyutu : 16.42 MiB

  • bölmeler :

Bölmek örnekler
'test' 1.999
'train' 49.164
'validation' 2.000

paws_x_wiki/zh

  • Yapılandırma açıklaması : zh'ye çevrildi

  • Veri kümesi boyutu : 13.20 MiB

  • bölmeler :

Bölmek örnekler
'test' 2.000
'train' 49.401
'validation' 2.000