چسب

  • توضیحات :

GLUE، معیار ارزیابی درک عمومی زبان ( https://gluebenchmark.com/ ) مجموعه ای از منابع برای آموزش، ارزیابی، و تجزیه و تحلیل سیستم های درک زبان طبیعی است.

چسب/کولا (پیکربندی پیش فرض)

  • شرح پیکربندی : مجموعه مقبولیت زبانی شامل قضاوت‌های مقبولیت انگلیسی است که از کتاب‌ها و مقالات مجلات در مورد نظریه زبان‌شناختی استخراج شده است. هر مثال دنباله ای از کلمات است که در آن توضیح داده شده است که آیا یک جمله دستوری انگلیسی است یا خیر.

  • صفحه اصلی : https://nyu-mll.github.io/CoLA/

  • حجم دانلود : 368.14 KiB

  • اندازه مجموعه داده : 965.49 KiB

  • تقسیم ها :

شکاف مثال ها
'test' 1063
'train' 8551
'validation' 1,043
  • ساختار ویژگی :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence': Text(shape=(), dtype=string),
})
  • مستندات ویژگی :
ویژگی کلاس شکل نوع D شرح
FeaturesDict
idx تانسور int32
برچسب ClassLabel int64
جمله متن رشته
  • نقل قول :
@article{warstadt2018neural,
  title={Neural Network Acceptability Judgments},
  author={Warstadt, Alex and Singh, Amanpreet and Bowman, Samuel R},
  journal={arXiv preprint arXiv:1805.12471},
  year={2018}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

چسب/sst2

  • توضیحات پیکربندی : بانک درختی احساسات استنفورد شامل جملاتی از نقدهای فیلم و حاشیه نویسی های انسانی از احساسات آنها است. وظیفه پیش بینی احساس یک جمله معین است. ما از تقسیم کلاس دو طرفه (مثبت/منفی) استفاده می کنیم و فقط از برچسب های سطح جمله استفاده می کنیم.

  • صفحه اصلی : https://nlp.stanford.edu/sentiment/index.html

  • حجم دانلود : 7.09 MiB

  • حجم مجموعه داده : 7.22 MiB

  • تقسیم ها :

شکاف مثال ها
'test' 1,821
'train' 67,349
'validation' 872
  • ساختار ویژگی :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence': Text(shape=(), dtype=string),
})
  • مستندات ویژگی :
ویژگی کلاس شکل نوع D شرح
FeaturesDict
idx تانسور int32
برچسب ClassLabel int64
جمله متن رشته
  • نقل قول :
@inproceedings{socher2013recursive,
  title={Recursive deep models for semantic compositionality over a sentiment treebank},
  author={Socher, Richard and Perelygin, Alex and Wu, Jean and Chuang, Jason and Manning, Christopher D and Ng, Andrew and Potts, Christopher},
  booktitle={Proceedings of the 2013 conference on empirical methods in natural language processing},
  pages={1631--1642},
  year={2013}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

چسب / mrpc

  • شرح پیکربندی : مجموعه پارافراسی تحقیقاتی مایکروسافت (Dolan & Brockett، 2005) مجموعه ای از جفت جملات است که به طور خودکار از منابع خبری آنلاین استخراج می شود، با حاشیه نویسی های انسانی برای اینکه آیا جملات این جفت از نظر معنایی معادل هستند یا خیر.

  • صفحه اصلی : https://www.microsoft.com/en-us/download/details.aspx?id=52398

  • حجم دانلود : 1.43 MiB

  • حجم مجموعه داده : 1.74 MiB

  • تقسیم ها :

شکاف مثال ها
'test' 1,725
'train' 3,668
'validation' 408
  • ساختار ویژگی :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})
  • مستندات ویژگی :
ویژگی کلاس شکل نوع D شرح
FeaturesDict
idx تانسور int32
برچسب ClassLabel int64
جمله 1 متن رشته
جمله 2 متن رشته
  • نقل قول :
@inproceedings{dolan2005automatically,
  title={Automatically constructing a corpus of sentential paraphrases},
  author={Dolan, William B and Brockett, Chris},
  booktitle={Proceedings of the Third International Workshop on Paraphrasing (IWP2005)},
  year={2005}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

چسب / qqp

  • توضیحات پیکربندی : مجموعه داده Quora Question Pairs2 مجموعه‌ای از جفت‌های سؤال از وب‌سایت پاسخ‌گویی به سؤالات Quora است. وظیفه تعیین اینکه آیا یک جفت سوال از نظر معنایی معادل هستند یا خیر.

  • صفحه اصلی : https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs

  • حجم دانلود : 39.76 MiB

  • حجم مجموعه داده : 150.37 MiB

  • تقسیم ها :

شکاف مثال ها
'test' 390,965
'train' 363,846
'validation' 40,430
  • ساختار ویژگی :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'question1': Text(shape=(), dtype=string),
    'question2': Text(shape=(), dtype=string),
})
  • مستندات ویژگی :
ویژگی کلاس شکل نوع D شرح
FeaturesDict
idx تانسور int32
برچسب ClassLabel int64
سوال 1 متن رشته
سوال 2 متن رشته
  • نقل قول :
@online{WinNT,
  author = {Iyer, Shankar and Dandekar, Nikhil and Csernai, Kornel},
  title = {First Quora Dataset Release: Question Pairs},
  year = 2017,
  url = {https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs},
  urldate = {2019-04-03}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

چسب/stsb

  • شرح پیکربندی : معیار تشابه متنی معنایی (Cer et al., 2017) مجموعه ای از جفت جملات است که از عناوین اخبار، زیرنویس های ویدیویی و تصویری، و داده های استنتاج زبان طبیعی استخراج شده است. هر جفت دارای حاشیه نویسی انسانی با امتیاز شباهت از 0 تا 5 است.

  • صفحه اصلی : http://ixa2.si.ehu.es/stswiki/index.php/STSbenchmark

  • حجم دانلود : 784.05 KiB

  • حجم مجموعه داده : 1.58 MiB

  • تقسیم ها :

شکاف مثال ها
'test' 1,379
'train' 5749
'validation' 1500
  • ساختار ویژگی :
FeaturesDict({
    'idx': int32,
    'label': float32,
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})
  • مستندات ویژگی :
ویژگی کلاس شکل نوع D شرح
FeaturesDict
idx تانسور int32
برچسب تانسور float32
جمله 1 متن رشته
جمله 2 متن رشته
  • نقل قول :
@article{cer2017semeval,
  title={Semeval-2017 task 1: Semantic textual similarity-multilingual and cross-lingual focused evaluation},
  author={Cer, Daniel and Diab, Mona and Agirre, Eneko and Lopez-Gazpio, Inigo and Specia, Lucia},
  journal={arXiv preprint arXiv:1708.00055},
  year={2017}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

چسب / mnli

  • شرح پیکربندی : مجموعه استنتاج زبان طبیعی چند ژانر مجموعه‌ای از جفت‌های جمله با حاشیه‌نویسی متنی است. با در نظر گرفتن یک جمله مقدماتی و یک جمله فرضی، وظیفه پیش بینی این است که آیا این مقدمه مستلزم فرضیه (تضاد)، یا مخالف فرضیه (تضاد)، یا هیچ کدام (خنثی) نیست. جملات مقدماتی از ده منبع مختلف، از جمله گفتار رونویسی شده، داستان‌های داستانی و گزارش‌های دولتی جمع‌آوری شده‌اند. ما از مجموعه تست استاندارد استفاده می‌کنیم، که برای آن برچسب‌های خصوصی از نویسندگان دریافت کرده‌ایم، و در هر دو بخش تطبیق (در دامنه) و عدم تطابق (متقابل دامنه) ارزیابی می‌کنیم. ما همچنین از مجموعه SNLI به عنوان 550 هزار نمونه از داده های آموزشی کمکی استفاده و توصیه می کنیم.

  • صفحه اصلی : http://www.nyu.edu/projects/bowman/multinli/

  • حجم دانلود : 298.29 MiB

  • حجم مجموعه داده : 100.56 MiB

  • تقسیم ها :

شکاف مثال ها
'test_matched' 9796
'test_mismatched' 9,847
'train' 392702
'validation_matched' 9,815
'validation_mismatched' 9,832
  • ساختار ویژگی :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})
  • مستندات ویژگی :
ویژگی کلاس شکل نوع D شرح
FeaturesDict
فرضیه متن رشته
idx تانسور int32
برچسب ClassLabel int64
فرضیه متن رشته
  • نقل قول :
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

چسب/mnli_ناسازگار

  • شرح پیکربندی : اعتبار سنجی و آزمون ناهماهنگ از MNLI جدا می شود. برای اطلاعات بیشتر به "mnli" BuilderConfig مراجعه کنید.

  • صفحه اصلی : http://www.nyu.edu/projects/bowman/multinli/

  • حجم دانلود : 298.29 MiB

  • حجم مجموعه داده : 4.79 MiB

  • تقسیم ها :

شکاف مثال ها
'test' 9,847
'validation' 9,832
  • ساختار ویژگی :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})
  • مستندات ویژگی :
ویژگی کلاس شکل نوع D شرح
FeaturesDict
فرضیه متن رشته
idx تانسور int32
برچسب ClassLabel int64
فرضیه متن رشته
  • نقل قول :
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

چسب/mnli_matched

  • شرح پیکربندی : اعتبارسنجی و آزمایش منطبق از MNLI جدا می شود. برای اطلاعات بیشتر به "mnli" BuilderConfig مراجعه کنید.

  • صفحه اصلی : http://www.nyu.edu/projects/bowman/multinli/

  • حجم دانلود : 298.29 MiB

  • حجم مجموعه داده : 4.58 MiB

  • تقسیم ها :

شکاف مثال ها
'test' 9796
'validation' 9,815
  • ساختار ویژگی :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})
  • مستندات ویژگی :
ویژگی کلاس شکل نوع D شرح
FeaturesDict
فرضیه متن رشته
idx تانسور int32
برچسب ClassLabel int64
فرضیه متن رشته
  • نقل قول :
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

چسب / qnli

  • توضیحات پیکربندی : مجموعه داده پاسخ به پرسش استنفورد یک مجموعه داده پاسخگوی سؤال است که از جفت سؤال-پارگراف تشکیل شده است، که در آن یکی از جملات پاراگراف (برگرفته از ویکی پدیا) حاوی پاسخ سؤال مربوطه (نوشته شده توسط یک حاشیه نویس) است. ما با ایجاد یک جفت بین هر سوال و هر جمله در بافت مربوطه، و فیلتر کردن جفت هایی با همپوشانی واژگانی کم بین سوال و جمله متن، کار را به طبقه بندی جفت جمله تبدیل می کنیم. وظیفه تعیین این است که آیا جمله متن حاوی پاسخ سؤال است یا خیر. این نسخه اصلاح شده از تکلیف اصلی این الزام را که مدل پاسخ دقیق را انتخاب کند حذف می‌کند، اما این فرضیات ساده‌کننده را نیز حذف می‌کند که پاسخ همیشه در ورودی وجود دارد و همپوشانی واژگانی یک نشانه قابل اعتماد است.

  • صفحه اصلی : https://rajpurkar.github.io/SQuAD-explorer/

  • حجم دانلود : 10.14 MiB

  • حجم مجموعه داده : 32.99 MiB

  • تقسیم ها :

شکاف مثال ها
'test' 5,463
'train' 104,743
'validation' 5,463
  • ساختار ویژگی :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'question': Text(shape=(), dtype=string),
    'sentence': Text(shape=(), dtype=string),
})
  • مستندات ویژگی :
ویژگی کلاس شکل نوع D شرح
FeaturesDict
idx تانسور int32
برچسب ClassLabel int64
سوال متن رشته
جمله متن رشته
  • نقل قول :
@article{rajpurkar2016squad,
  title={Squad: 100,000+ questions for machine comprehension of text},
  author={Rajpurkar, Pranav and Zhang, Jian and Lopyrev, Konstantin and Liang, Percy},
  journal={arXiv preprint arXiv:1606.05250},
  year={2016}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

چسب/rte

  • توضیحات پیکربندی : مجموعه داده های Recognizing Textual Entailment (RTE) از یک سری چالش های مستلزم متنی سالانه می آیند. ما داده‌های RTE1 (Dagan et al., 2006)، RTE2 (Bar Haim et al., 2006)، RTE3 (Giampiccolo et al., 2007) و RTE5 (Bentivogli et al., 2009) را با هم ترکیب می کنیم. بر اساس اخبار و متن ویکی پدیا ساخته شده است. ما همه مجموعه‌های داده را به یک تقسیم دو کلاسه تبدیل می‌کنیم، که در آن برای مجموعه‌های داده سه کلاسه، خنثی و تناقض را به دلیل یکپارچگی به غیر مستلزم تبدیل می‌کنیم.

  • صفحه اصلی : https://aclweb.org/aclwiki/Recognizing_Textual_Entailment

  • حجم دانلود : 680.81 KiB

  • حجم مجموعه داده : 2.15 MiB

  • تقسیم ها :

شکاف مثال ها
'test' 3000
'train' 2,490
'validation' 277
  • ساختار ویژگی :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})
  • مستندات ویژگی :
ویژگی کلاس شکل نوع D شرح
FeaturesDict
idx تانسور int32
برچسب ClassLabel int64
جمله 1 متن رشته
جمله 2 متن رشته
  • نقل قول :
@inproceedings{dagan2005pascal,
  title={The PASCAL recognising textual entailment challenge},
  author={Dagan, Ido and Glickman, Oren and Magnini, Bernardo},
  booktitle={Machine Learning Challenges Workshop},
  pages={177--190},
  year={2005},
  organization={Springer}
}
@inproceedings{bar2006second,
  title={The second pascal recognising textual entailment challenge},
  author={Bar-Haim, Roy and Dagan, Ido and Dolan, Bill and Ferro, Lisa and Giampiccolo, Danilo and Magnini, Bernardo and Szpektor, Idan},
  booktitle={Proceedings of the second PASCAL challenges workshop on recognising textual entailment},
  volume={6},
  number={1},
  pages={6--4},
  year={2006},
  organization={Venice}
}
@inproceedings{giampiccolo2007third,
  title={The third pascal recognizing textual entailment challenge},
  author={Giampiccolo, Danilo and Magnini, Bernardo and Dagan, Ido and Dolan, Bill},
  booktitle={Proceedings of the ACL-PASCAL workshop on textual entailment and paraphrasing},
  pages={1--9},
  year={2007},
  organization={Association for Computational Linguistics}
}
@inproceedings{bentivogli2009fifth,
  title={The Fifth PASCAL Recognizing Textual Entailment Challenge.},
  author={Bentivogli, Luisa and Clark, Peter and Dagan, Ido and Giampiccolo, Danilo},
  booktitle={TAC},
  year={2009}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

چسب / wnli

  • شرح پیکربندی : چالش طرحواره وینوگراد (Levesque et al., 2011) یک کار درک مطلب است که در آن یک سیستم باید یک جمله را با یک ضمیر بخواند و مرجع آن ضمیر را از لیست انتخاب ها انتخاب کند. مثال‌ها به‌صورت دستی ساخته شده‌اند تا روش‌های آماری ساده را حذف کنند: هر یک مشروط به اطلاعات زمینه‌ای است که توسط یک کلمه یا عبارت واحد در جمله ارائه می‌شود. برای تبدیل مسئله به طبقه بندی جفت جمله، جفت جمله را با جایگزین کردن ضمیر مبهم با هر مرجع ممکن می سازیم. وظیفه این است که پیش‌بینی کنیم که آیا جمله با ضمیر جایگزین شده توسط جمله اصلی مستلزم است یا خیر. ما از یک مجموعه ارزیابی کوچک متشکل از نمونه‌های جدید مشتق شده از کتاب‌های داستانی استفاده می‌کنیم که به‌طور خصوصی توسط نویسندگان مجموعه اصلی به اشتراک گذاشته شده است. در حالی که مجموعه آموزشی شامل بین دو کلاس متعادل است، مجموعه آزمون بین آنها نامتعادل است (65٪ مستلزم آن نیست). همچنین، به دلیل یک اختالل داده، مجموعه توسعه متضاد است: فرضیه‌ها گاهی بین نمونه‌های آموزشی و توسعه به اشتراک گذاشته می‌شوند، بنابراین اگر مدلی نمونه‌های آموزشی را به خاطر بسپارد، برچسب اشتباه را در نمونه مجموعه توسعه مربوطه پیش‌بینی می‌کند. همانند QNLI، هر نمونه به طور جداگانه ارزیابی می‌شود، بنابراین تطابق سیستماتیکی بین امتیاز مدل در این کار و امتیاز آن در کار اصلی تبدیل نشده وجود ندارد. ما مجموعه داده تبدیل شده را WNLI (Winograd NLI) می نامیم.

  • صفحه اصلی : https://cs.nyu.edu/faculty/davise/papers/WinogradSchemas/WS.html

  • حجم دانلود : 28.32 KiB

  • حجم مجموعه داده : 198.88 KiB

  • تقسیم ها :

شکاف مثال ها
'test' 146
'train' 635
'validation' 71
  • ساختار ویژگی :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})
  • مستندات ویژگی :
ویژگی کلاس شکل نوع D شرح
FeaturesDict
idx تانسور int32
برچسب ClassLabel int64
جمله 1 متن رشته
جمله 2 متن رشته
  • نقل قول :
@inproceedings{levesque2012winograd,
  title={The winograd schema challenge},
  author={Levesque, Hector and Davis, Ernest and Morgenstern, Leora},
  booktitle={Thirteenth International Conference on the Principles of Knowledge Representation and Reasoning},
  year={2012}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

چسب / تبر

  • شرح پیکربندی : مجموعه داده ارزیابی با تنظیم دستی برای تجزیه و تحلیل دقیق عملکرد سیستم در طیف گسترده ای از پدیده های زبانی. این مجموعه داده درک جمله را از طریق مسائل استنتاج زبان طبیعی (NLI) ارزیابی می کند. از یک مدل آموزش دیده در MulitNLI برای تولید پیش بینی برای این مجموعه داده استفاده کنید.

  • صفحه اصلی : https://gluebenchmark.com/diagnostics

  • حجم دانلود : 217.05 KiB

  • حجم مجموعه داده : 299.16 KiB

  • تقسیم ها :

شکاف مثال ها
'test' 1,104
  • ساختار ویژگی :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})
  • مستندات ویژگی :
ویژگی کلاس شکل نوع D شرح
FeaturesDict
فرضیه متن رشته
idx تانسور int32
برچسب ClassLabel int64
فرضیه متن رشته
  • نقل قول :
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.