- توضیحات :
این مجموعه داده شامل 23659 جفت ارزیابی PAWS ترجمه شده توسط انسان و 296406 جفت آموزش ترجمه شده ماشینی به شش زبان متمایز از نظر تیپولوژیکی است:
- فرانسوی
- اسپانیایی
- آلمانی
- چینی ها
- ژاپنی
- کره ای
برای جزئیات بیشتر ، به مقاله همراه مراجعه کنید: PAWS-X: یک مجموعه داده خصمانه متقابل زبانی برای شناسایی پارافره در https://arxiv.org/abs/1908.11828
مشابه مجموعه داده PAWS ، مثالها به بخشهای Train / Dev / Test تقسیم می شوند. همه پرونده ها در قالب tsv با چهار ستون هستند:
id یک شناسه منحصر به فرد برای هر جمله جفت 1 جمله جمله اول 2 برچسب جمله دوم (noisy_) برچسب (Noisy) برای هر جفت
هر برچسب دارای دو مقدار ممکن است: 0 نشانگر معنای متفاوت این جفت است ، در حالی که 1 نشان می دهد جفت یک عبارت است.
صفحه اصلی : https://github.com/google-research-datasets/paws/tree/master/pawsx
کد منبع :
tfds.text.paws_x_wiki.PawsXWiki
نسخه ها :
-
1.0.0
(پیش فرض): بدون یادداشت انتشار.
-
حجم دانلود :
28.88 MiB
ذخیره خودکار ( مستندات ): بله
ویژگی ها :
FeaturesDict({
'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
'sentence1': Text(shape=(), dtype=tf.string),
'sentence2': Text(shape=(), dtype=tf.string),
})
کلیدهای تحت نظارت (به
as_supervised
سند نظارت شده مراجعه کنید):None
نقل قول :
@InProceedings{pawsx2019emnlp,
title = { {PAWS-X: A Cross-lingual Adversarial Dataset for Paraphrase Identification} },
author = {Yang, Yinfei and Zhang, Yuan and Tar, Chris and Baldridge, Jason},
booktitle = {Proc. of EMNLP},
year = {2019}
}
- شکل ( tfds.show_examples ): پشتیبانی نمی شود.
paws_x_wiki / de (پیکربندی پیش فرض)
شرح پیکربندی : ترجمه شده به de
اندازه مجموعه داده :
15.27 MiB
تقسیم :
شکاف | مثال ها |
---|---|
'test' | 2000 |
'train' | 49،380 |
'validation' | 2000 |
- مثالها ( tfds.as_dataframe ):
paws_x_wiki / en
شرح پیکربندی : به en ترجمه شده است
اندازه مجموعه داده :
14.59 MiB
تقسیم :
شکاف | مثال ها |
---|---|
'test' | 2000 |
'train' | 49،175 |
'validation' | 2000 |
- مثالها ( tfds.as_dataframe ):
paws_x_wiki / es
شرح پیکربندی : ترجمه شده به es
اندازه مجموعه داده :
15.27 MiB
تقسیم :
شکاف | مثال ها |
---|---|
'test' | 2000 |
'train' | 49،401 |
'validation' | 1،961 |
- مثالها ( tfds.as_dataframe ):
paws_x_wiki / fr
شرح پیکربندی : به fr ترجمه شده است
اندازه مجموعه داده :
15.79 MiB
تقسیم :
شکاف | مثال ها |
---|---|
'test' | 2000 |
'train' | 49399 |
'validation' | 1،988 |
- مثالها ( tfds.as_dataframe ):
paws_x_wiki / ja
شرح پیکربندی : ترجمه شده به ja
اندازه مجموعه داده :
17.77 MiB
تقسیم :
شکاف | مثال ها |
---|---|
'test' | 2000 |
'train' | 49،401 |
'validation' | 2000 |
- مثالها ( tfds.as_dataframe ):
paws_x_wiki / ko
شرح پیکربندی : ترجمه شده به ko
اندازه مجموعه داده :
16.42 MiB
تقسیم :
شکاف | مثال ها |
---|---|
'test' | 1،999 |
'train' | 49،164 |
'validation' | 2000 |
- مثالها ( tfds.as_dataframe ):
paws_x_wiki / zh
شرح پیکربندی : به zh ترجمه شده است
اندازه مجموعه داده :
13.20 MiB
تقسیم :
شکاف | مثال ها |
---|---|
'test' | 2000 |
'train' | 49،401 |
'validation' | 2000 |
- مثالها ( tfds.as_dataframe ):