صمغ

  • الوصف :

GLUE ، معيار تقييم فهم اللغة العامة ( https://gluebenchmark.com/ ) عبارة عن مجموعة من الموارد للتدريب وتقييم وتحليل أنظمة فهم اللغة الطبيعية.

الغراء / الكولا (التكوين الافتراضي)

  • وصف التكوين : تتكون مجموعة القبول اللغوي من أحكام القبول باللغة الإنجليزية مستمدة من الكتب والمقالات الصحفية حول النظرية اللغوية. كل مثال عبارة عن سلسلة من الكلمات مشروحة بما إذا كانت جملة إنجليزية نحوية.

  • الصفحة الرئيسية : https://nyu-mll.github.io/CoLA/

  • حجم التحميل : 368.14 KiB

  • حجم مجموعة البيانات : 965.49 KiB

  • الانقسامات :

انشق، مزق أمثلة
'test' 1،063
'train' 8551
'validation' 1043
  • هيكل الميزة :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence': Text(shape=(), dtype=string),
})
  • وثائق الميزة :
ميزة فصل شكل نوع وصف
الميزات
معرف موتر int32
ضع الكلمة المناسبة ClassLabel int64
جملة او حكم على نص سلسلة
  • الاقتباس :
@article{warstadt2018neural,
  title={Neural Network Acceptability Judgments},
  author={Warstadt, Alex and Singh, Amanpreet and Bowman, Samuel R},
  journal={arXiv preprint arXiv:1805.12471},
  year={2018}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

الغراء / sst2

  • وصف التهيئة : The Stanford Sentiment Treebank يتكون من جمل من مراجعات الأفلام والتعليقات التوضيحية البشرية لمشاعرهم. المهمة هي التنبؤ بمشاعر جملة معينة. نستخدم تقسيم الفئة ثنائي الاتجاه (إيجابي / سلبي) ، ونستخدم تسميات على مستوى الجملة فقط.

  • الصفحة الرئيسية : https://nlp.stanford.edu/sentiment/index.html

  • حجم التحميل : 7.09 MiB

  • حجم مجموعة البيانات : 7.22 MiB

  • الانقسامات :

انشق، مزق أمثلة
'test' 1،821
'train' 67349
'validation' 872
  • هيكل الميزة :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence': Text(shape=(), dtype=string),
})
  • وثائق الميزة :
ميزة فصل شكل نوع وصف
الميزات
معرف موتر int32
ضع الكلمة المناسبة ClassLabel int64
جملة او حكم على نص سلسلة
  • الاقتباس :
@inproceedings{socher2013recursive,
  title={Recursive deep models for semantic compositionality over a sentiment treebank},
  author={Socher, Richard and Perelygin, Alex and Wu, Jean and Chuang, Jason and Manning, Christopher D and Ng, Andrew and Potts, Christopher},
  booktitle={Proceedings of the 2013 conference on empirical methods in natural language processing},
  pages={1631--1642},
  year={2013}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

الغراء / mrpc

  • وصف التكوين : مجموعة Microsoft Research Paraphrase Corpus (Dolan & Brockett ، 2005) عبارة عن مجموعة من أزواج الجمل المستخرجة تلقائيًا من مصادر الأخبار عبر الإنترنت ، مع التعليقات التوضيحية البشرية لمعرفة ما إذا كانت الجمل في الزوج متكافئة لغويًا أم لا.

  • الصفحة الرئيسية : https://www.microsoft.com/en-us/download/details.aspx؟

  • حجم التحميل : 1.43 MiB

  • حجم مجموعة البيانات : 1.74 MiB

  • الانقسامات :

انشق، مزق أمثلة
'test' 1،725
'train' 3،668
'validation' 408
  • هيكل الميزة :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})
  • وثائق الميزة :
ميزة فصل شكل نوع وصف
الميزات
معرف موتر int32
ضع الكلمة المناسبة ClassLabel int64
الجملة 1 نص سلسلة
الجملة 2 نص سلسلة
  • الاقتباس :
@inproceedings{dolan2005automatically,
  title={Automatically constructing a corpus of sentential paraphrases},
  author={Dolan, William B and Brockett, Chris},
  booktitle={Proceedings of the Third International Workshop on Paraphrasing (IWP2005)},
  year={2005}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

الغراء / qqp

  • وصف التكوين : مجموعة بيانات Quora Question Pairs2 عبارة عن مجموعة من أزواج الأسئلة من موقع Quora للإجابة على الأسئلة في المجتمع. المهمة هي تحديد ما إذا كان زوج من الأسئلة متكافئًا من الناحية اللغوية.

  • الصفحة الرئيسية https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs

  • حجم التحميل : 39.76 MiB

  • حجم مجموعة البيانات : 150.37 MiB

  • الانقسامات :

انشق، مزق أمثلة
'test' 390965
'train' 363846
'validation' 40430
  • هيكل الميزة :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'question1': Text(shape=(), dtype=string),
    'question2': Text(shape=(), dtype=string),
})
  • وثائق الميزة :
ميزة فصل شكل نوع وصف
الميزات
معرف موتر int32
ضع الكلمة المناسبة ClassLabel int64
السؤال رقم 1 نص سلسلة
السؤال 2 نص سلسلة
  • الاقتباس :
@online{WinNT,
  author = {Iyer, Shankar and Dandekar, Nikhil and Csernai, Kornel},
  title = {First Quora Dataset Release: Question Pairs},
  year = 2017,
  url = {https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs},
  urldate = {2019-04-03}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

الغراء / stsb

  • وصف التكوين : معيار تشابه النص الدلالي (Cer et al. ، 2017) عبارة عن مجموعة من أزواج الجمل المستمدة من عناوين الأخبار وتعليقات الفيديو والصور وبيانات استدلال اللغة الطبيعية. كل زوج مضاف إليه تعليقات بشرية بدرجة تشابه من 0 إلى 5.

  • الصفحة الرئيسية : http://ixa2.si.ehu.es/stswiki/index.php/STSbenchmark

  • حجم التحميل : 784.05 KiB

  • حجم مجموعة البيانات : 1.58 MiB

  • الانقسامات :

انشق، مزق أمثلة
'test' 1،379
'train' 5749
'validation' 1500
  • هيكل الميزة :
FeaturesDict({
    'idx': int32,
    'label': float32,
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})
  • وثائق الميزة :
ميزة فصل شكل نوع وصف
الميزات
معرف موتر int32
ضع الكلمة المناسبة موتر تعويم 32
الجملة 1 نص سلسلة
الجملة 2 نص سلسلة
  • الاقتباس :
@article{cer2017semeval,
  title={Semeval-2017 task 1: Semantic textual similarity-multilingual and cross-lingual focused evaluation},
  author={Cer, Daniel and Diab, Mona and Agirre, Eneko and Lopez-Gazpio, Inigo and Specia, Lucia},
  journal={arXiv preprint arXiv:1708.00055},
  year={2017}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

الغراء / منلي

  • وصف التكوين : مجموعة استدلال اللغة الطبيعية متعددة الأنواع عبارة عن مجموعة من أزواج الجمل مع التعليقات التوضيحية النصية. بالنظر إلى الجملة الافتتاحية وجملة الفرضية ، فإن المهمة هي التنبؤ بما إذا كانت الفرضية تستلزم الفرضية (الاستنتاج) ، أو تتعارض مع الفرضية (التناقض) ، أو لا (محايد). تم جمع الجمل الافتتاحية من عشرة مصادر مختلفة ، بما في ذلك الكلام المنسوخ والخيال والتقارير الحكومية. نحن نستخدم مجموعة الاختبار القياسية ، التي حصلنا عليها من الملصقات الخاصة من المؤلفين ، ونقيمها على كل من القسم المتطابق (في المجال) وغير المتطابق (عبر المجال). نستخدم أيضًا مجموعة SNLI ونوصي بها باعتبارها 550 ألف أمثلة لبيانات التدريب الإضافي.

  • الصفحة الرئيسية : http://www.nyu.edu/projects/bowman/multinli/

  • حجم التحميل : 298.29 MiB

  • حجم مجموعة البيانات : 100.56 MiB

  • الانقسامات :

انشق، مزق أمثلة
'test_matched' 9796
'test_mismatched' 9847
'train' 392702
'validation_matched' 9815
'validation_mismatched' 9832
  • هيكل الميزة :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})
  • وثائق الميزة :
ميزة فصل شكل نوع وصف
الميزات
فرضية نص سلسلة
معرف موتر int32
ضع الكلمة المناسبة ClassLabel int64
فرضية نص سلسلة
  • الاقتباس :
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

الغراء / mnli_ غير متطابقة

  • وصف التكوين : عدم تطابق التحقق من الصحة والاختبار من MNLI. راجع BuilderConfig "mnli" للحصول على معلومات إضافية.

  • الصفحة الرئيسية : http://www.nyu.edu/projects/bowman/multinli/

  • حجم التحميل : 298.29 MiB

  • حجم مجموعة البيانات : 4.79 MiB

  • الانقسامات :

انشق، مزق أمثلة
'test' 9847
'validation' 9832
  • هيكل الميزة :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})
  • وثائق الميزة :
ميزة فصل شكل نوع وصف
الميزات
فرضية نص سلسلة
معرف موتر int32
ضع الكلمة المناسبة ClassLabel int64
فرضية نص سلسلة
  • الاقتباس :
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

الغراء / mnli_matched

  • وصف التكوين : التحقق المتطابق واختبار الانقسامات من MNLI. راجع BuilderConfig "mnli" للحصول على معلومات إضافية.

  • الصفحة الرئيسية : http://www.nyu.edu/projects/bowman/multinli/

  • حجم التحميل : 298.29 MiB

  • حجم مجموعة البيانات : 4.58 MiB

  • الانقسامات :

انشق، مزق أمثلة
'test' 9796
'validation' 9815
  • هيكل الميزة :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})
  • وثائق الميزة :
ميزة فصل شكل نوع وصف
الميزات
فرضية نص سلسلة
معرف موتر int32
ضع الكلمة المناسبة ClassLabel int64
فرضية نص سلسلة
  • الاقتباس :
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

الغراء / qnli

  • وصف التكوين : مجموعة بيانات الإجابة على الأسئلة في ستانفورد هي مجموعة بيانات للإجابة على الأسئلة تتكون من أزواج من فقرات الأسئلة ، حيث تحتوي إحدى الجمل الموجودة في الفقرة (مأخوذة من ويكيبيديا) على إجابة السؤال المطابق (مكتوب بواسطة مضيف توضيحي). نقوم بتحويل المهمة إلى تصنيف زوج جمل من خلال تكوين زوج بين كل سؤال وكل جملة في السياق المقابل ، وتصفية الأزواج ذات التداخل المعجمي المنخفض بين السؤال وجملة السياق. المهمة هي تحديد ما إذا كانت جملة السياق تحتوي على إجابة السؤال. تزيل هذه النسخة المعدلة من المهمة الأصلية شرط تحديد النموذج للإجابة الدقيقة ، ولكنها تزيل أيضًا الافتراضات المبسطة بأن الإجابة موجودة دائمًا في الإدخال وأن التداخل المعجمي هو إشارة موثوقة.

  • الصفحة الرئيسية : https://rajpurkar.github.io/SQuAD-explorer/

  • حجم التحميل : 10.14 MiB

  • حجم مجموعة البيانات : 32.99 MiB

  • الانقسامات :

انشق، مزق أمثلة
'test' 5،463
'train' 104،743
'validation' 5،463
  • هيكل الميزة :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'question': Text(shape=(), dtype=string),
    'sentence': Text(shape=(), dtype=string),
})
  • وثائق الميزة :
ميزة فصل شكل نوع وصف
الميزات
معرف موتر int32
ضع الكلمة المناسبة ClassLabel int64
سؤال نص سلسلة
جملة او حكم على نص سلسلة
  • الاقتباس :
@article{rajpurkar2016squad,
  title={Squad: 100,000+ questions for machine comprehension of text},
  author={Rajpurkar, Pranav and Zhang, Jian and Lopyrev, Konstantin and Liang, Percy},
  journal={arXiv preprint arXiv:1606.05250},
  year={2016}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

الغراء / rte

  • وصف التكوين : تأتي مجموعات بيانات التعرف على الاستحواذ النصي (RTE) من سلسلة من تحديات النص السنوية. نقوم بدمج البيانات من RTE1 (Dagan et al.، 2006) و RTE2 (Bar Haim et al.، 2006) و RTE3 (Giampiccolo et al.، 2007) و RTE5 (Bentivogli et al.، 2009) .4 الأمثلة هي مبني على أساس الأخبار ونصوص ويكيبيديا. نقوم بتحويل جميع مجموعات البيانات إلى تقسيم من فئتين ، حيث بالنسبة لمجموعات البيانات المكونة من ثلاث فئات ، فإننا ننهار المحايد والتناقض إلى لا يستلزم ، من أجل الاتساق.

  • الصفحة الرئيسية : https://aclweb.org/aclwiki/Recognizing_Textual_Entailment

  • حجم التحميل : 680.81 KiB

  • حجم مجموعة البيانات : 2.15 MiB

  • الانقسامات :

انشق، مزق أمثلة
'test' 3000
'train' 2490
'validation' 277
  • هيكل الميزة :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})
  • وثائق الميزة :
ميزة فصل شكل نوع وصف
الميزات
معرف موتر int32
ضع الكلمة المناسبة ClassLabel int64
الجملة 1 نص سلسلة
الجملة 2 نص سلسلة
  • الاقتباس :
@inproceedings{dagan2005pascal,
  title={The PASCAL recognising textual entailment challenge},
  author={Dagan, Ido and Glickman, Oren and Magnini, Bernardo},
  booktitle={Machine Learning Challenges Workshop},
  pages={177--190},
  year={2005},
  organization={Springer}
}
@inproceedings{bar2006second,
  title={The second pascal recognising textual entailment challenge},
  author={Bar-Haim, Roy and Dagan, Ido and Dolan, Bill and Ferro, Lisa and Giampiccolo, Danilo and Magnini, Bernardo and Szpektor, Idan},
  booktitle={Proceedings of the second PASCAL challenges workshop on recognising textual entailment},
  volume={6},
  number={1},
  pages={6--4},
  year={2006},
  organization={Venice}
}
@inproceedings{giampiccolo2007third,
  title={The third pascal recognizing textual entailment challenge},
  author={Giampiccolo, Danilo and Magnini, Bernardo and Dagan, Ido and Dolan, Bill},
  booktitle={Proceedings of the ACL-PASCAL workshop on textual entailment and paraphrasing},
  pages={1--9},
  year={2007},
  organization={Association for Computational Linguistics}
}
@inproceedings{bentivogli2009fifth,
  title={The Fifth PASCAL Recognizing Textual Entailment Challenge.},
  author={Bentivogli, Luisa and Clark, Peter and Dagan, Ido and Giampiccolo, Danilo},
  booktitle={TAC},
  year={2009}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

الغراء / wnli

  • وصف التكوين : The Winograd Schema Challenge (Levesque et al.، 2011) هي مهمة لفهم القراءة حيث يجب على النظام قراءة جملة بضمير واختيار مرجع ذلك الضمير من قائمة الاختيارات. يتم إنشاء الأمثلة يدويًا لإحباط الأساليب الإحصائية البسيطة: كل واحد يعتمد على المعلومات السياقية المقدمة بواسطة كلمة أو عبارة واحدة في الجملة. لتحويل المشكلة إلى تصنيف زوج جمل ، نقوم ببناء أزواج الجمل عن طريق استبدال الضمير الغامض بكل مرجع محتمل. وتتمثل المهمة في توقع ما إذا كانت الجملة التي بها الضمير المستبدل تستلزمها الجملة الأصلية. نحن نستخدم مجموعة تقييم صغيرة تتكون من أمثلة جديدة مشتقة من كتب خيالية تمت مشاركتها بشكل خاص من قبل مؤلفي المجموعة الأصلية. في حين أن مجموعة التدريب المضمنة متوازنة بين فئتين ، فإن مجموعة الاختبار غير متوازنة بينهما (65٪ لا تستلزم). أيضًا ، نظرًا لمراوغة البيانات ، فإن مجموعة التطوير معارضة: يتم مشاركة الفرضيات أحيانًا بين أمثلة التدريب والتطوير ، لذلك إذا كان النموذج يحفظ أمثلة التدريب ، فسوف يتنبأ بالتسمية الخاطئة في مثال مجموعة التطوير المقابلة. كما هو الحال مع QNLI ، يتم تقييم كل مثال على حدة ، لذلك لا يوجد تطابق منهجي بين درجة النموذج في هذه المهمة ودرجاتها في المهمة الأصلية غير المحولة. نحن نسمي مجموعة البيانات المحولة WNLI (Winograd NLI).

  • الصفحة الرئيسية : https://cs.nyu.edu/faculty/davise/papers/WinogradSchemas/WS.html

  • حجم التحميل : 28.32 KiB

  • حجم مجموعة البيانات : 198.88 KiB

  • الانقسامات :

انشق، مزق أمثلة
'test' 146
'train' 635
'validation' 71
  • هيكل الميزة :
FeaturesDict({
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=string),
    'sentence2': Text(shape=(), dtype=string),
})
  • وثائق الميزة :
ميزة فصل شكل نوع وصف
الميزات
معرف موتر int32
ضع الكلمة المناسبة ClassLabel int64
الجملة 1 نص سلسلة
الجملة 2 نص سلسلة
  • الاقتباس :
@inproceedings{levesque2012winograd,
  title={The winograd schema challenge},
  author={Levesque, Hector and Davis, Ernest and Morgenstern, Leora},
  booktitle={Thirteenth International Conference on the Principles of Knowledge Representation and Reasoning},
  year={2012}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

الغراء / الفأس

  • وصف التكوين : مجموعة بيانات تقييم منسقة يدويًا لتحليل دقيق لأداء النظام على مجموعة واسعة من الظواهر اللغوية. تقوم مجموعة البيانات هذه بتقييم فهم الجملة من خلال مشاكل الاستدلال اللغوي الطبيعي (NLI). استخدم نموذجًا تم تدريبه على MulitNLI لإنتاج تنبؤات لمجموعة البيانات هذه.

  • الصفحة الرئيسية : https://gluebenchmark.com/diagnostics

  • حجم التحميل : 217.05 KiB

  • حجم مجموعة البيانات : 299.16 KiB

  • الانقسامات :

انشق، مزق أمثلة
'test' 1،104
  • هيكل الميزة :
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=string),
    'idx': int32,
    'label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'premise': Text(shape=(), dtype=string),
})
  • وثائق الميزة :
ميزة فصل شكل نوع وصف
الميزات
فرضية نص سلسلة
معرف موتر int32
ضع الكلمة المناسبة ClassLabel int64
فرضية نص سلسلة
  • الاقتباس :
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.