la colle

  • Description:

COLLE, la langue générale Comprendre l' évaluation de référence ( https://gluebenchmark.com/ ) est une collection de ressources pour la formation, l' évaluation et l' analyse des systèmes compréhension du langage naturel.

colle/cola (configuration par défaut)

  • Description Config: Le corpus de Acceptabilité linguistique se compose des jugements d'acceptabilité anglais tirés de livres et articles de revues sur la théorie linguistique. Chaque exemple est une séquence de mots annotée indiquant s'il s'agit d'une phrase grammaticale en anglais.

  • Page d' accueil: https://nyu-mll.github.io/CoLA/

  • Taille du téléchargement: 368.14 KiB

  • Dataset Taille: 965.49 KiB

  • scissions:

Diviser Exemples
'test' 1 063
'train' 8 551
'validation' 1 043
  • Caractéristiques:
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence': Text(shape=(), dtype=tf.string),
})
  • citation:
@article{warstadt2018neural,
  title={Neural Network Acceptability Judgments},
  author={Warstadt, Alex and Singh, Amanpreet and Bowman, Samuel R},
  journal={arXiv preprint arXiv:1805.12471},
  year={2018}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

colle/acier inoxydable2

  • Description Config: Le Stanford Treebank sentiment se compose de phrases de critiques de films et des annotations humaines de leur sentiment. La tâche consiste à prédire le sentiment d'une phrase donnée. Nous utilisons la division de classe bidirectionnelle (positive/négative) et n'utilisons que des étiquettes au niveau de la phrase.

  • Page d' accueil: https://nlp.stanford.edu/sentiment/index.html

  • Taille du téléchargement: 7.09 MiB

  • Dataset Taille: 7.22 MiB

  • scissions:

Diviser Exemples
'test' 1 821
'train' 67 349
'validation' 872
  • Caractéristiques:
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence': Text(shape=(), dtype=tf.string),
})
  • citation:
@inproceedings{socher2013recursive,
  title={Recursive deep models for semantic compositionality over a sentiment treebank},
  author={Socher, Richard and Perelygin, Alex and Wu, Jean and Chuang, Jason and Manning, Christopher D and Ng, Andrew and Potts, Christopher},
  booktitle={Proceedings of the 2013 conference on empirical methods in natural language processing},
  pages={1631--1642},
  year={2013}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

colle/mrpc

  • Description Config: Le Microsoft Research paraphrase Corpus (Dolan et Brockett, 2005) est un corpus de paires de phrases extraites automatiquement des sources d'information en ligne, avec des annotations pour l' homme si les phrases de la paire sont sémantiquement équivalentes.

  • Page d' accueil: https://www.microsoft.com/en-us/download/details.aspx?id=52398

  • Taille du téléchargement: 1.43 MiB

  • Dataset Taille: 1.74 MiB

  • scissions:

Diviser Exemples
'test' 1 725
'train' 3 668
'validation' 408
  • Caractéristiques:
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=tf.string),
    'sentence2': Text(shape=(), dtype=tf.string),
})
  • citation:
@inproceedings{dolan2005automatically,
  title={Automatically constructing a corpus of sentential paraphrases},
  author={Dolan, William B and Brockett, Chris},
  booktitle={Proceedings of the Third International Workshop on Paraphrasing (IWP2005)},
  year={2005}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

colle/qqp

  • Description Config: L'ensemble de données Quora Question Pairs2 est une collection de paires de questions à partir du site de question-réponse communautaire Quora. La tâche consiste à déterminer si une paire de questions est sémantiquement équivalente.

  • Page d' accueil: https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs

  • Taille du téléchargement: 39.76 MiB

  • Dataset Taille: 150.37 MiB

  • scissions:

Diviser Exemples
'test' 390 965
'train' 363 846
'validation' 40 430
  • Caractéristiques:
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'question1': Text(shape=(), dtype=tf.string),
    'question2': Text(shape=(), dtype=tf.string),
})
  • citation:
@online{WinNT,
  author = {Iyer, Shankar and Dandekar, Nikhil and Csernai, Kornel},
  title = {First Quora Dataset Release: Question Pairs},
  year = 2017,
  url = {https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs},
  urldate = {2019-04-03}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

colle/stsb

  • Description Config: L'indice de référence sémantique Justifications similarité (. Cer et al, 2017) est une collection de paires de phrases tirées des titres de l' actualité, des légendes et de l' image vidéo et les données d'inférence en langage naturel. Chaque paire est annotée humainement avec un score de similarité de 1 à 5.

  • Page d' accueil: http://ixa2.si.ehu.es/stswiki/index.php/STSbenchmark

  • Taille du téléchargement: 784.05 KiB

  • Dataset Taille: 1.58 MiB

  • scissions:

Diviser Exemples
'test' 1 379
'train' 5 749
'validation' 1 500
  • Caractéristiques:
FeaturesDict({
    'idx': tf.int32,
    'label': tf.float32,
    'sentence1': Text(shape=(), dtype=tf.string),
    'sentence2': Text(shape=(), dtype=tf.string),
})
  • citation:
@article{cer2017semeval,
  title={Semeval-2017 task 1: Semantic textual similarity-multilingual and cross-lingual focused evaluation},
  author={Cer, Daniel and Diab, Mona and Agirre, Eneko and Lopez-Gazpio, Inigo and Specia, Lucia},
  journal={arXiv preprint arXiv:1708.00055},
  year={2017}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

colle/mnli

  • Description Config: Le langage naturel multi-genres Inference Corpus est une collection crowdsourcing de paires de phrases avec annotations textuelles d'inférence. Étant donné une phrase de prémisse et une phrase d'hypothèse, la tâche consiste à prédire si la prémisse implique l'hypothèse (implication), contredit l'hypothèse (contradiction) ou ni l'une ni l'autre (neutre). Les phrases de prémisse sont recueillies à partir de dix sources différentes, y compris des discours transcrits, de la fiction et des rapports gouvernementaux. Nous utilisons l'ensemble de tests standard, pour lequel nous avons obtenu des labels privés des auteurs, et évaluons à la fois la section correspondante (dans le domaine) et la section non concordante (interdomaine). Nous utilisons et recommandons également le corpus SNLI comme 550 000 exemples de données d'entraînement auxiliaires.

  • Page d' accueil: http://www.nyu.edu/projects/bowman/multinli/

  • Taille du téléchargement: 298.29 MiB

  • Dataset Taille: 100.56 MiB

  • scissions:

Diviser Exemples
'test_matched' 9 796
'test_mismatched' 9 847
'train' 392 702
'validation_matched' 9 815
'validation_mismatched' 9 832
  • Caractéristiques:
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=tf.string),
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'premise': Text(shape=(), dtype=tf.string),
})
  • citation:
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

colle/mnli_mismatched

  • Description Config: La validation se divise et ne correspondent pas test à partir Mnll. Voir le BuilderConfig "mnli" pour plus d'informations.

  • Page d' accueil: http://www.nyu.edu/projects/bowman/multinli/

  • Taille du téléchargement: 298.29 MiB

  • Dataset Taille: 4.79 MiB

  • scissions:

Diviser Exemples
'test' 9 847
'validation' 9 832
  • Caractéristiques:
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=tf.string),
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'premise': Text(shape=(), dtype=tf.string),
})
  • citation:
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

colle/mnli_matched

  • Description Config: La validation adaptée et fractionnements de test de Mnll. Voir le BuilderConfig "mnli" pour plus d'informations.

  • Page d' accueil: http://www.nyu.edu/projects/bowman/multinli/

  • Taille du téléchargement: 298.29 MiB

  • Dataset Taille: 4.58 MiB

  • scissions:

Diviser Exemples
'test' 9 796
'validation' 9 815
  • Caractéristiques:
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=tf.string),
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'premise': Text(shape=(), dtype=tf.string),
})
  • citation:
@InProceedings{N18-1101,
  author = "Williams, Adina
            and Nangia, Nikita
            and Bowman, Samuel",
  title = "A Broad-Coverage Challenge Corpus for
           Sentence Understanding through Inference",
  booktitle = "Proceedings of the 2018 Conference of
               the North American Chapter of the
               Association for Computational Linguistics:
               Human Language Technologies, Volume 1 (Long
               Papers)",
  year = "2018",
  publisher = "Association for Computational Linguistics",
  pages = "1112--1122",
  location = "New Orleans, Louisiana",
  url = "http://aclweb.org/anthology/N18-1101"
}
@article{bowman2015large,
  title={A large annotated corpus for learning natural language inference},
  author={Bowman, Samuel R and Angeli, Gabor and Potts, Christopher and Manning, Christopher D},
  journal={arXiv preprint arXiv:1508.05326},
  year={2015}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

colle/qnli

  • Description Config: Le Stanford Question Réponse Dataset est un ensemble de données répondant à la question de paires question-paragraphe, où l' une des phrases du paragraphe (tirée de Wikipedia) contient la réponse à la question correspondante (écrite par un annotateur). Nous convertissons la tâche en classification de paires de phrases en formant une paire entre chaque question et chaque phrase dans le contexte correspondant, et en filtrant les paires avec un faible chevauchement lexical entre la question et la phrase de contexte. La tâche consiste à déterminer si la phrase contextuelle contient la réponse à la question. Cette version modifiée de la tâche d'origine supprime l'exigence que le modèle sélectionne la réponse exacte, mais supprime également les hypothèses simplificatrices selon lesquelles la réponse est toujours présente dans l'entrée et que le chevauchement lexical est un indice fiable.

  • Page d' accueil: https://rajpurkar.github.io/SQuAD-explorer/

  • Taille du téléchargement: 10.14 MiB

  • Dataset Taille: 32.99 MiB

  • scissions:

Diviser Exemples
'test' 5 463
'train' 104 743
'validation' 5 463
  • Caractéristiques:
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'question': Text(shape=(), dtype=tf.string),
    'sentence': Text(shape=(), dtype=tf.string),
})
  • citation:
@article{rajpurkar2016squad,
  title={Squad: 100,000+ questions for machine comprehension of text},
  author={Rajpurkar, Pranav and Zhang, Jian and Lopyrev, Konstantin and Liang, Percy},
  journal={arXiv preprint arXiv:1606.05250},
  year={2016}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

colle/rte

  • Description Config: Les ensembles de données textuels Reconnaissant Implication (RTE) proviennent d'une série de défis textuels annuels d' implication. Nous combinons les données de RTE1 (Dagan et al., 2006), RTE2 (Bar Haim et al., 2006), RTE3 (Giampiccolo et al., 2007) et RTE5 (Bentivogli et al., 2009).4 Des exemples sont construit sur la base des nouvelles et du texte de Wikipédia. Nous convertissons tous les ensembles de données en une division à deux classes, où pour les ensembles de données à trois classes, nous réduisons le neutre et la contradiction en non-implication, pour plus de cohérence.

  • Page d' accueil: https://aclweb.org/aclwiki/Recognizing_Textual_Entailment

  • Taille du téléchargement: 680.81 KiB

  • Dataset Taille: 2.15 MiB

  • scissions:

Diviser Exemples
'test' 3 000
'train' 2 490
'validation' 277
  • Caractéristiques:
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=tf.string),
    'sentence2': Text(shape=(), dtype=tf.string),
})
  • citation:
@inproceedings{dagan2005pascal,
  title={The PASCAL recognising textual entailment challenge},
  author={Dagan, Ido and Glickman, Oren and Magnini, Bernardo},
  booktitle={Machine Learning Challenges Workshop},
  pages={177--190},
  year={2005},
  organization={Springer}
}
@inproceedings{bar2006second,
  title={The second pascal recognising textual entailment challenge},
  author={Bar-Haim, Roy and Dagan, Ido and Dolan, Bill and Ferro, Lisa and Giampiccolo, Danilo and Magnini, Bernardo and Szpektor, Idan},
  booktitle={Proceedings of the second PASCAL challenges workshop on recognising textual entailment},
  volume={6},
  number={1},
  pages={6--4},
  year={2006},
  organization={Venice}
}
@inproceedings{giampiccolo2007third,
  title={The third pascal recognizing textual entailment challenge},
  author={Giampiccolo, Danilo and Magnini, Bernardo and Dagan, Ido and Dolan, Bill},
  booktitle={Proceedings of the ACL-PASCAL workshop on textual entailment and paraphrasing},
  pages={1--9},
  year={2007},
  organization={Association for Computational Linguistics}
}
@inproceedings{bentivogli2009fifth,
  title={The Fifth PASCAL Recognizing Textual Entailment Challenge.},
  author={Bentivogli, Luisa and Clark, Peter and Dagan, Ido and Giampiccolo, Danilo},
  booktitle={TAC},
  year={2009}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

colle/wnli

  • Description Config: Le défi du schéma Winograd (. Levesque et al, 2011) est une tâche de compréhension de lecture dans lequel un système doit lire une phrase avec un pronom et sélectionnez le référent de ce pronom à partir d' une liste de choix. Les exemples sont construits manuellement pour déjouer des méthodes statistiques simples : chacun dépend d'informations contextuelles fournies par un seul mot ou une seule phrase dans la phrase. Pour convertir le problème en classification de paires de phrases, nous construisons des paires de phrases en remplaçant le pronom ambigu par chaque référent possible. La tâche est de prédire si la phrase avec le pronom substitué est impliquée par la phrase originale. Nous utilisons un petit ensemble d'évaluation composé de nouveaux exemples dérivés de livres de fiction qui ont été partagés en privé par les auteurs du corpus original. Alors que l'ensemble d'entraînement inclus est équilibré entre deux classes, l'ensemble de test est déséquilibré entre elles (65% sans implication). De plus, en raison d'une bizarrerie de données, l'ensemble de développement est contradictoire : les hypothèses sont parfois partagées entre les exemples d'entraînement et de développement, donc si un modèle mémorise les exemples d'entraînement, ils prédisent la mauvaise étiquette sur l'exemple d'ensemble de développement correspondant. Comme avec QNLI, chaque exemple est évalué séparément, il n'y a donc pas de correspondance systématique entre le score d'un modèle sur cette tâche et son score sur la tâche d'origine non convertie. Nous appelons le jeu de données converti WNLI (Winograd NLI).

  • Page d' accueil: https://cs.nyu.edu/faculty/davise/papers/WinogradSchemas/WS.html

  • Taille du téléchargement: 28.32 KiB

  • Dataset Taille: 198.88 KiB

  • scissions:

Diviser Exemples
'test' 146
'train' 635
'validation' 71
  • Caractéristiques:
FeaturesDict({
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'sentence1': Text(shape=(), dtype=tf.string),
    'sentence2': Text(shape=(), dtype=tf.string),
})
  • citation:
@inproceedings{levesque2012winograd,
  title={The winograd schema challenge},
  author={Levesque, Hector and Davis, Ernest and Morgenstern, Leora},
  booktitle={Thirteenth International Conference on the Principles of Knowledge Representation and Reasoning},
  year={2012}
}
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.

colle/hache

  • Description Config: Un ensemble de données d'évaluation à des fins d' analyse organisée manuellement grains fins de la performance du système sur une large gamme de phénomènes linguistiques. Cet ensemble de données évalue la compréhension des phrases à travers des problèmes d'inférence du langage naturel (NLI). Utilisez un modèle entraîné sur MulitNLI pour produire des prédictions pour cet ensemble de données.

  • Page d' accueil: https://gluebenchmark.com/diagnostics

  • Taille du téléchargement: 217.05 KiB

  • Dataset Taille: 299.16 KiB

  • scissions:

Diviser Exemples
'test' 1 104
  • Caractéristiques:
FeaturesDict({
    'hypothesis': Text(shape=(), dtype=tf.string),
    'idx': tf.int32,
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'premise': Text(shape=(), dtype=tf.string),
})
  • citation:
@inproceedings{wang2019glue,
  title={ {GLUE}: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding},
  author={Wang, Alex and Singh, Amanpreet and Michael, Julian and Hill, Felix and Levy, Omer and Bowman, Samuel R.},
  note={In the Proceedings of ICLR.},
  year={2019}
}

Note that each GLUE dataset has its own citation. Please see the source to see
the correct citation for each contained dataset.