गोंद

  • विवरण:

GLUE, जनरल भाषा को समझना मूल्यांकन बेंचमार्क ( https://gluebenchmark.com/ ) प्रशिक्षण के लिए संसाधनों का एक संग्रह, मूल्यांकन, और प्राकृतिक समझने सिस्टम भाषा का विश्लेषण है।

  • स्रोत कोड: tfds.text.Glue

  • संस्करण:

    • 1.0.0 : नई विभाजन एपीआई ( https://tensorflow.org/datasets/splits )
    • 1.0.1 : अद्यतन मृत यूआरएल लिंक।
    • 2.0.0 (डिफ़ॉल्ट): गोंद / qqp के लिए अद्यतन डेटा स्रोत।
  • ऑटो-कैश ( प्रलेखन ): हाँ

  • पर्यवेक्षित कुंजियों (देखें as_supervised डॉक ): None

  • चित्रा ( tfds.show_examples ): समर्थित नहीं।

गोंद/कोला (डिफ़ॉल्ट कॉन्फ़िगरेशन)

  • कॉन्फ़िग विवरण: भाषाई स्वीकार्यता की कोर्पस अंग्रेजी स्वीकार्यता किताबें और भाषाई सिद्धांत पर पत्रिका लेख से तैयार निर्णय के होते हैं। प्रत्येक उदाहरण शब्दों का एक क्रम है जो इस बात के साथ एनोटेट किया गया है कि क्या यह एक व्याकरणिक अंग्रेजी वाक्य है।

  • होमपेज: https://nyu-mll.github.io/CoLA/

  • डाउनलोड का आकार: 368.14 KiB

  • डेटासेट का आकार: 965.49 KiB

  • विभाजन:

विभाजित करना उदाहरण
'test' 1,063
'train' 8,551
'validation' 1,043
  • विशेषताएं:
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence': Text(shape=(), dtype=tf.string),
})
  • प्रशस्ति पत्र:
@article{warstadt2018neural,
  title={Neural Network Acceptability Judgments},
  author={Warstadt, Alex and Singh, Amanpreet and Bowman, Samuel R},
  journal={arXiv preprint arXiv:1805.12471},
  year={2018}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

गोंद/sst2

  • कॉन्फ़िग विवरण: स्टैनफोर्ड भावना Treebank फिल्म समीक्षा और उनके भावना के मानव व्याख्याओं से होने वाले वाक्य के होते हैं। कार्य किसी दिए गए वाक्य की भावना की भविष्यवाणी करना है। हम दो-तरफा (सकारात्मक/नकारात्मक) वर्ग विभाजन का उपयोग करते हैं, और केवल वाक्य-स्तरीय लेबल का उपयोग करते हैं।

  • होमपेज: https://nlp.stanford.edu/sentiment/index.html

  • डाउनलोड का आकार: 7.09 MiB

  • डेटासेट का आकार: 7.22 MiB

  • विभाजन:

विभाजित करना उदाहरण
'test' 1,821
'train' 67,349
'validation' 872
  • विशेषताएं:
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence': Text(shape=(), dtype=tf.string),
})
  • प्रशस्ति पत्र:
@inproceedings{socher2013recursive,
  title={Recursive deep models for semantic compositionality over a sentiment treebank},
  author={Socher, Richard and Perelygin, Alex and Wu, Jean and Chuang, Jason and Manning, Christopher D and Ng, Andrew and Potts, Christopher},
  booktitle={Proceedings of the 2013 conference on empirical methods in natural language processing},
  pages={1631--1642},
  year={2013}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

गोंद/एमआरपीसी

  • कॉन्फ़िग विवरण: माइक्रोसॉफ्ट रिसर्च संक्षिप्त व्याख्या कोर्पस (डोलन और Brockett, 2005) की सजा जोड़े का एक कोष स्वचालित रूप से ऑनलाइन समाचार स्रोतों से निकाले गए, के लिए है कि क्या जोड़ी में वाक्य शब्दार्थ बराबर हैं मानव एनोटेशन के साथ है।

  • होमपेज: https://www.microsoft.com/en-us/download/details.aspx?id=52398

  • डाउनलोड का आकार: 1.43 MiB

  • डेटासेट का आकार: 1.74 MiB

  • विभाजन:

विभाजित करना उदाहरण
'test' 1,725
'train' 3,668
'validation' ४०८
  • विशेषताएं:
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=tf.string),
    'sentence2': Text(shape=(), dtype=tf.string),
})
  • प्रशस्ति पत्र:
@inproceedings{dolan2005automatically,
  title={Automatically constructing a corpus of sentential paraphrases},
  author={Dolan, William B and Brockett, Chris},
  booktitle={Proceedings of the Third International Workshop on Paraphrasing (IWP2005)},
  year={2005}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

गोंद/क्यूक्यूपी

  • कॉन्फ़िग विवरण: Quora प्रश्न Pairs2 डाटासेट समुदाय सवाल-जवाब देने वेबसाइट Quora से सवाल जोड़े का एक संग्रह है। कार्य यह निर्धारित करना है कि प्रश्नों की एक जोड़ी शब्दार्थ रूप से समतुल्य है या नहीं।

  • होमपेज: https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs

  • डाउनलोड का आकार: 39.76 MiB

  • डेटासेट का आकार: 150.37 MiB

  • विभाजन:

विभाजित करना उदाहरण
'test' 390,965
'train' 363,846
'validation' 40,430
  • विशेषताएं:
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'question1': Text(shape=(), dtype=tf.string),
    'question2': Text(shape=(), dtype=tf.string),
})
  • प्रशस्ति पत्र:
@online{WinNT,
  author = {Iyer, Shankar and Dandekar, Nikhil and Csernai, Kornel},
  title = {First Quora Dataset Release: Question Pairs},
  year = 2017,
  url = {https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs},
  urldate = {2019-04-03}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

गोंद/एसटीएसबी

  • कॉन्फ़िग विवरण: सिमेंटिक शाब्दिक समानता बेंचमार्क (। Cer एट अल, 2017) प्रमुख समाचार, वीडियो और छवि कैप्शन, और प्राकृतिक भाषा अनुमान डेटा से तैयार की सजा जोड़े का एक संग्रह है। प्रत्येक जोड़ी 1 से 5 के समानता स्कोर के साथ मानव-एनोटेट है।

  • होमपेज: http://ixa2.si.ehu.es/stswiki/index.php/STSbenchmark

  • डाउनलोड का आकार: 784.05 KiB

  • डेटासेट का आकार: 1.58 MiB

  • विभाजन:

विभाजित करना उदाहरण
'test' 1,379
'train' 5,749
'validation' १,५००
  • विशेषताएं:
FeaturesDict({
    'idx': tf.int32,
    'label': tf.float32,
    'sentence1': Text(shape=(), dtype=tf.string),
    'sentence2': Text(shape=(), dtype=tf.string),
})
  • प्रशस्ति पत्र:
@article{cer2017semeval,
  title={Semeval-2017 task 1: Semantic textual similarity-multilingual and cross-lingual focused evaluation},
  author={Cer, Daniel and Diab, Mona and Agirre, Eneko and Lopez-Gazpio, Inigo and Specia, Lucia},
  journal={arXiv preprint arXiv:1708.00055},
  year={2017}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

गोंद/mnli

  • कॉन्फ़िग विवरण: मल्टी शैली प्राकृतिक भाषा निष्कर्ष कोर्पस शाब्दिक अनुलाग एनोटेशन के साथ वाक्य जोड़े की एक क्राउडसोर्स संग्रह है। एक आधार वाक्य और एक परिकल्पना वाक्य को देखते हुए, कार्य यह अनुमान लगाना है कि क्या आधार परिकल्पना (एंटेलमेंट) पर जोर देता है, परिकल्पना (विरोधाभास) का खंडन करता है, या न ही (तटस्थ)। आधार वाक्य दस अलग-अलग स्रोतों से एकत्र किए जाते हैं, जिनमें लिखित भाषण, कथा और सरकारी रिपोर्ट शामिल हैं। हम मानक परीक्षण सेट का उपयोग करते हैं, जिसके लिए हमने लेखकों से निजी लेबल प्राप्त किए हैं, और मिलान (इन-डोमेन) और बेमेल (क्रॉस-डोमेन) अनुभाग दोनों पर मूल्यांकन करते हैं। हम सहायक प्रशिक्षण डेटा के 550k उदाहरणों के रूप में SNLI कॉर्पस का उपयोग और अनुशंसा भी करते हैं।

  • होमपेज: http://www.nyu.edu/projects/bowman/multinli/

  • डाउनलोड का आकार: 298.29 MiB

  • डेटासेट का आकार: 100.56 MiB

  • विभाजन:

विभाजित करना उदाहरण
'test_matched' 9,796
'test_mismatched' 9,847
'train' ३९२,७०२
'validation_matched' 9,815
'validation_mismatched' 9,832
  • विशेषताएं:
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=tf.string),
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'premise': Text(shape=(), dtype=tf.string),
})
  • प्रशस्ति पत्र:
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

गोंद/mnli_बेमेल

  • कॉन्फ़िग विवरण: बेमेल सत्यापन और MNLI से परीक्षण विभाजन। अतिरिक्त जानकारी के लिए "mnli" BuilderConfig देखें।

  • होमपेज: http://www.nyu.edu/projects/bowman/multinli/

  • डाउनलोड का आकार: 298.29 MiB

  • डेटासेट का आकार: 4.79 MiB

  • विभाजन:

विभाजित करना उदाहरण
'test' 9,847
'validation' 9,832
  • विशेषताएं:
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=tf.string),
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'premise': Text(shape=(), dtype=tf.string),
})
  • प्रशस्ति पत्र:
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

गोंद/mnli_matched

  • कॉन्फ़िग विवरण: MNLI से मेल नहीं खाते सत्यापन और परीक्षण विभाजन। अतिरिक्त जानकारी के लिए "mnli" BuilderConfig देखें।

  • होमपेज: http://www.nyu.edu/projects/bowman/multinli/

  • डाउनलोड का आकार: 298.29 MiB

  • डेटासेट का आकार: 4.58 MiB

  • विभाजन:

विभाजित करना उदाहरण
'test' 9,796
'validation' 9,815
  • विशेषताएं:
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=tf.string),
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'premise': Text(shape=(), dtype=tf.string),
})
  • प्रशस्ति पत्र:
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

गोंद/qnli

  • कॉन्फ़िग विवरण: स्टैनफोर्ड प्रश्न डेटासेट का जवाब एक सवाल का जवाब दे प्रश्न-पैरा जोड़े, जहां पैरा (विकिपीडिया से तैयार) में वाक्य में से एक इसी सवाल (एक व्याख्याकार द्वारा लिखित) का जवाब होता है से मिलकर डाटासेट है। हम संबंधित संदर्भ में प्रत्येक प्रश्न और प्रत्येक वाक्य के बीच एक जोड़ी बनाकर कार्य को वाक्य जोड़ी वर्गीकरण में परिवर्तित करते हैं, और प्रश्न और संदर्भ वाक्य के बीच कम शाब्दिक ओवरलैप वाले जोड़े को फ़िल्टर करते हैं। कार्य यह निर्धारित करना है कि संदर्भ वाक्य में प्रश्न का उत्तर है या नहीं। मूल कार्य का यह संशोधित संस्करण इस आवश्यकता को हटा देता है कि मॉडल सटीक उत्तर का चयन करता है, लेकिन सरलीकृत धारणाओं को भी हटा देता है कि उत्तर हमेशा इनपुट में मौजूद होता है और यह कि शाब्दिक ओवरलैप एक विश्वसनीय संकेत है।

  • होमपेज: https://rajpurkar.github.io/SQuAD-explorer/

  • डाउनलोड का आकार: 10.14 MiB

  • डेटासेट का आकार: 32.99 MiB

  • विभाजन:

विभाजित करना उदाहरण
'test' 5,463
'train' 104,743
'validation' 5,463
  • विशेषताएं:
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'question': Text(shape=(), dtype=tf.string),
    'sentence': Text(shape=(), dtype=tf.string),
})
  • प्रशस्ति पत्र:
@article{rajpurkar2016squad,
  title={Squad: 100,000+ questions for machine comprehension of text},
  author={Rajpurkar, Pranav and Zhang, Jian and Lopyrev, Konstantin and Liang, Percy},
  journal={arXiv preprint arXiv:1606.05250},
  year={2016}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

गोंद/आरटीई

  • कॉन्फ़िग विवरण: स्वीकार करते हुए शाब्दिक अनुलाग (आरटीई) डेटासेट वार्षिक शाब्दिक अनुलाग मुकाबलों की एक श्रंखला से आते हैं। हम RTE1 (Dagan et al।, 2006), RTE2 (Bar Haim et al।, 2006), RTE3 (Giampiccolo et al।, 2007), और RTE5 (Bentivogli et al।, 2009) से डेटा को मिलाते हैं। 4 उदाहरण हैं समाचार और विकिपीडिया पाठ के आधार पर निर्मित। हम सभी डेटासेट को दो-श्रेणी के विभाजन में बदल देते हैं, जहां तीन-श्रेणी के डेटासेट के लिए हम स्थिरता के लिए तटस्थ और अंतर्विरोध को नॉट एन्टेलमेंट में बदल देते हैं।

  • होमपेज: https://aclweb.org/aclwiki/Recognizing_Textual_Entailment

  • डाउनलोड का आकार: 680.81 KiB

  • डेटासेट का आकार: 2.15 MiB

  • विभाजन:

विभाजित करना उदाहरण
'test' 3,000
'train' 2,490
'validation' 277
  • विशेषताएं:
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=tf.string),
    'sentence2': Text(shape=(), dtype=tf.string),
})
  • प्रशस्ति पत्र:
@inproceedings{dagan2005pascal,
  title={The PASCAL recognising textual entailment challenge},
  author={Dagan, Ido and Glickman, Oren and Magnini, Bernardo},
  booktitle={Machine Learning Challenges Workshop},
  pages={177--190},
  year={2005},
  organization={Springer}
}
@inproceedings{bar2006second,
  title={The second pascal recognising textual entailment challenge},
  author={Bar-Haim, Roy and Dagan, Ido and Dolan, Bill and Ferro, Lisa and Giampiccolo, Danilo and Magnini, Bernardo and Szpektor, Idan},
  booktitle={Proceedings of the second PASCAL challenges workshop on recognising textual entailment},
  volume={6},
  number={1},
  pages={6--4},
  year={2006},
  organization={Venice}
}
@inproceedings{giampiccolo2007third,
  title={The third pascal recognizing textual entailment challenge},
  author={Giampiccolo, Danilo and Magnini, Bernardo and Dagan, Ido and Dolan, Bill},
  booktitle={Proceedings of the ACL-PASCAL workshop on textual entailment and paraphrasing},
  pages={1--9},
  year={2007},
  organization={Association for Computational Linguistics}
}
@inproceedings{bentivogli2009fifth,
  title={The Fifth PASCAL Recognizing Textual Entailment Challenge.},
  author={Bentivogli, Luisa and Clark, Peter and Dagan, Ido and Giampiccolo, Danilo},
  booktitle={TAC},
  year={2009}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

गोंद/wnli

  • कॉन्फ़िग विवरण: Winograd स्कीमा चैलेंज (। लेवेस्क एट अल, 2011) एक को पढ़ना शामिल काम है, जिसमें एक प्रणाली एक सर्वनाम के साथ एक वाक्य पढ़ सकते हैं और विकल्प की एक सूची से उस सर्वनाम की दिग्दर्शन का चयन करना होगा है। उदाहरण सरल सांख्यिकीय विधियों को विफल करने के लिए मैन्युअल रूप से बनाए गए हैं: प्रत्येक वाक्य में एक शब्द या वाक्यांश द्वारा प्रदान की गई प्रासंगिक जानकारी पर निर्भर है। समस्या को वाक्य जोड़ी वर्गीकरण में बदलने के लिए, हम प्रत्येक संभावित संदर्भ के साथ अस्पष्ट सर्वनाम को बदलकर वाक्य जोड़े बनाते हैं। कार्य यह भविष्यवाणी करना है कि क्या सर्वनाम के साथ वाक्य को मूल वाक्य द्वारा प्रतिस्थापित किया गया है। हम एक छोटे से मूल्यांकन सेट का उपयोग करते हैं जिसमें फिक्शन पुस्तकों से प्राप्त नए उदाहरण शामिल हैं जिन्हें मूल संग्रह के लेखकों द्वारा निजी तौर पर साझा किया गया था। जबकि शामिल प्रशिक्षण सेट दो वर्गों के बीच संतुलित है, परीक्षण सेट उनके बीच असंतुलित है (65% प्रवेश नहीं)। इसके अलावा, एक डेटा विचित्रता के कारण, विकास सेट प्रतिकूल है: परिकल्पनाओं को कभी-कभी प्रशिक्षण और विकास उदाहरणों के बीच साझा किया जाता है, इसलिए यदि कोई मॉडल प्रशिक्षण उदाहरणों को याद रखता है, तो वे संबंधित विकास सेट उदाहरण पर गलत लेबल की भविष्यवाणी करेंगे। क्यूएनएलआई के साथ के रूप में, प्रत्येक उदाहरण का मूल्यांकन अलग से किया जाता है, इसलिए इस कार्य पर एक मॉडल के स्कोर और अपरिवर्तित मूल कार्य पर उसके स्कोर के बीच एक व्यवस्थित पत्राचार नहीं है। हम परिवर्तित डेटासेट WNLI (विनोग्राद NLI) कहते हैं।

  • होमपेज: https://cs.nyu.edu/faculty/davise/papers/WinogradSchemas/WS.html

  • डाउनलोड का आकार: 28.32 KiB

  • डेटासेट का आकार: 198.88 KiB

  • विभाजन:

विभाजित करना उदाहरण
'test' १४६
'train' 635
'validation' ७१
  • विशेषताएं:
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=tf.string),
    'sentence2': Text(shape=(), dtype=tf.string),
})
  • प्रशस्ति पत्र:
@inproceedings{levesque2012winograd,
  title={The winograd schema challenge},
  author={Levesque, Hector and Davis, Ernest and Morgenstern, Leora},
  booktitle={Thirteenth International Conference on the Principles of Knowledge Representation and Reasoning},
  year={2012}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

गोंद/कुल्हाड़ी

  • कॉन्फ़िग विवरण: भाषाई घटना की एक विस्तृत रेंज पर प्रणाली के प्रदर्शन का सूक्ष्म विश्लेषण के लिए एक मैन्युअल रूप से क्यूरेट किया मूल्यांकन डाटासेट। यह डेटासेट प्राकृतिक भाषा अनुमान (एनएलआई) समस्याओं के माध्यम से वाक्य समझ का मूल्यांकन करता है। इस डेटासेट के लिए भविष्यवाणियां करने के लिए MulitNLI पर प्रशिक्षित मॉडल का उपयोग करें।

  • होमपेज: https://gluebenchmark.com/diagnostics

  • डाउनलोड का आकार: 217.05 KiB

  • डेटासेट का आकार: 299.16 KiB

  • विभाजन:

विभाजित करना उदाहरण
'test' १,१०४
  • विशेषताएं:
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=tf.string),
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'premise': Text(shape=(), dtype=tf.string),
})
  • प्रशस्ति पत्र:
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.