unified_qa

• Descriptif :

Le benchmark UnifiedQA se compose de 20 principaux ensembles de données de questions-réponses (QA) (chacun pouvant avoir plusieurs versions) qui ciblent différents formats ainsi que divers phénomènes linguistiques complexes. Ces ensembles de données sont regroupés en plusieurs formats/catégories, notamment : AQ extractive, AQ abstractive, AQ à choix multiples et AQ oui/non. De plus, des ensembles de contraste sont utilisés pour plusieurs ensembles de données (désignés par " ensembles de contraste"). Ces ensembles d'évaluation sont des perturbations générées par des experts qui s'écartent des modèles courants dans l'ensemble de données d'origine. Pour plusieurs ensembles de données qui ne sont pas accompagnés de paragraphes de preuves, deux variantes sont incluses : une où les ensembles de données sont utilisés tels quels et une autre qui utilise des paragraphes récupérés via un système de recherche d'informations comme preuves supplémentaires, indiquées par des balises "_ir".

Plus d'informations peuvent être trouvées sur: https://github.com/allenai/unifiedqa

• Page d' accueil : https://github.com/allenai/unifiedqa

• Code source : tfds.text.unifiedqa.UnifiedQA

• Versions :

  • 1.0.0 (par défaut) : version initiale.

• Structure des fonctionnalités :

FeaturesDict({
    'input': string,
    'output': string,
})

• Documentation des fonctionnalités :

• Clés supervisées (Voir as_supervised doc ): None

• Figure ( tfds.show_examples ) : non pris en charge.

unified_qa/ai2_science_elementary (configuration par défaut)

• Description de la configuration : L'ensemble de données AI2 Science Questions se compose de questions utilisées dans les évaluations des élèves aux États-Unis à tous les niveaux du primaire et du collège. Chaque question est un format à choix multiples à 4 questions et peut inclure ou non un élément de diagramme. Cet ensemble se compose de questions utilisées pour les niveaux scolaires élémentaires.

• Taille du téléchargement : 345.59 KiB

• Taille du jeu de données : 390.02 KiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

http://data.allenai.org/ai2-science-questions

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/ai2_science_middle

• Description de la configuration : L'ensemble de données AI2 Science Questions se compose de questions utilisées dans les évaluations des élèves aux États-Unis à tous les niveaux du primaire et du collège. Chaque question est un format à choix multiples à 4 questions et peut inclure ou non un élément de diagramme. Cet ensemble se compose de questions utilisées pour les niveaux de l'école intermédiaire.

• Taille du téléchargement : 428.41 KiB

• Taille du jeu de données : 477.40 KiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

http://data.allenai.org/ai2-science-questions

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/ambigqa

• Description de la configuration : AmbigQA est une tâche de réponse aux questions du domaine ouvert qui consiste à trouver toutes les réponses plausibles, puis à réécrire la question pour chacune afin de résoudre l'ambiguïté.

• Taille du téléchargement : 2.27 MiB

• Taille du jeu de données : 3.04 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{min-etal-2020-ambigqa,
    title = "{A}mbig{QA}: Answering Ambiguous Open-domain Questions",
    author = "Min, Sewon  and
      Michael, Julian  and
      Hajishirzi, Hannaneh  and
      Zettlemoyer, Luke",
    booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.emnlp-main.466",
    doi = "10.18653/v1/2020.emnlp-main.466",
    pages = "5783--5797",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/arc_easy

• Description de la configuration : cet ensemble de données se compose de véritables questions scientifiques à choix multiples de niveau scolaire, assemblées pour encourager la recherche dans les questions-réponses avancées. L'ensemble de données est divisé en un ensemble Challenge et un ensemble facile, où le premier ne contient que des questions auxquelles ont répondu de manière incorrecte à la fois par un algorithme basé sur la récupération et un algorithme de cooccurrence de mots. Cet ensemble se compose de questions "faciles".

• Taille du téléchargement : 1.24 MiB

• Taille du jeu de données : 1.42 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@article{clark2018think,
    title={Think you have solved question answering? try arc, the ai2 reasoning challenge},
    author={Clark, Peter and Cowhey, Isaac and Etzioni, Oren and Khot, Tushar and Sabharwal, Ashish and Schoenick, Carissa and Tafjord, Oyvind},
    journal={arXiv preprint arXiv:1803.05457},
    year={2018}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/arc_easy_dev

• Description de la configuration : cet ensemble de données se compose de véritables questions scientifiques à choix multiples de niveau scolaire, assemblées pour encourager la recherche dans les questions-réponses avancées. L'ensemble de données est divisé en un ensemble Challenge et un ensemble facile, où le premier ne contient que des questions auxquelles ont répondu de manière incorrecte à la fois par un algorithme basé sur la récupération et un algorithme de cooccurrence de mots. Cet ensemble se compose de questions "faciles".

• Taille du téléchargement : 1.24 MiB

• Taille du jeu de données : 1.42 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@article{clark2018think,
    title={Think you have solved question answering? try arc, the ai2 reasoning challenge},
    author={Clark, Peter and Cowhey, Isaac and Etzioni, Oren and Khot, Tushar and Sabharwal, Ashish and Schoenick, Carissa and Tafjord, Oyvind},
    journal={arXiv preprint arXiv:1803.05457},
    year={2018}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/arc_easy_with_ir

• Description de la configuration : cet ensemble de données se compose de véritables questions scientifiques à choix multiples de niveau scolaire, assemblées pour encourager la recherche dans les questions-réponses avancées. L'ensemble de données est divisé en un ensemble Challenge et un ensemble facile, où le premier ne contient que des questions auxquelles ont répondu de manière incorrecte à la fois par un algorithme basé sur la récupération et un algorithme de cooccurrence de mots. Cet ensemble se compose de questions "faciles". Cette version inclut des paragraphes récupérés via un système de recherche d'informations comme preuves supplémentaires.

• Taille du téléchargement : 7.00 MiB

• Taille du jeu de données : 7.17 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@article{clark2018think,
    title={Think you have solved question answering? try arc, the ai2 reasoning challenge},
    author={Clark, Peter and Cowhey, Isaac and Etzioni, Oren and Khot, Tushar and Sabharwal, Ashish and Schoenick, Carissa and Tafjord, Oyvind},
    journal={arXiv preprint arXiv:1803.05457},
    year={2018}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/arc_easy_with_ir_dev

• Description de la configuration : cet ensemble de données se compose de véritables questions scientifiques à choix multiples de niveau scolaire, assemblées pour encourager la recherche dans les questions-réponses avancées. L'ensemble de données est divisé en un ensemble Challenge et un ensemble facile, où le premier ne contient que des questions auxquelles ont répondu de manière incorrecte à la fois par un algorithme basé sur la récupération et un algorithme de cooccurrence de mots. Cet ensemble se compose de questions "faciles". Cette version inclut des paragraphes récupérés via un système de recherche d'informations comme preuves supplémentaires.

• Taille du téléchargement : 7.00 MiB

• Taille du jeu de données : 7.17 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@article{clark2018think,
    title={Think you have solved question answering? try arc, the ai2 reasoning challenge},
    author={Clark, Peter and Cowhey, Isaac and Etzioni, Oren and Khot, Tushar and Sabharwal, Ashish and Schoenick, Carissa and Tafjord, Oyvind},
    journal={arXiv preprint arXiv:1803.05457},
    year={2018}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/arc_hard

• Description de la configuration : cet ensemble de données se compose de véritables questions scientifiques à choix multiples de niveau scolaire, assemblées pour encourager la recherche dans les questions-réponses avancées. L'ensemble de données est divisé en un ensemble Challenge et un ensemble facile, où le premier ne contient que des questions auxquelles ont répondu de manière incorrecte à la fois par un algorithme basé sur la récupération et un algorithme de cooccurrence de mots. Cet ensemble se compose de questions "difficiles".

• Taille du téléchargement : 758.03 KiB

• Taille du jeu de données : 848.28 KiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@article{clark2018think,
    title={Think you have solved question answering? try arc, the ai2 reasoning challenge},
    author={Clark, Peter and Cowhey, Isaac and Etzioni, Oren and Khot, Tushar and Sabharwal, Ashish and Schoenick, Carissa and Tafjord, Oyvind},
    journal={arXiv preprint arXiv:1803.05457},
    year={2018}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/arc_hard_dev

• Description de la configuration : cet ensemble de données se compose de véritables questions scientifiques à choix multiples de niveau scolaire, assemblées pour encourager la recherche dans les questions-réponses avancées. L'ensemble de données est divisé en un ensemble Challenge et un ensemble facile, où le premier ne contient que des questions auxquelles ont répondu de manière incorrecte à la fois par un algorithme basé sur la récupération et un algorithme de cooccurrence de mots. Cet ensemble se compose de questions "difficiles".

• Taille du téléchargement : 758.03 KiB

• Taille du jeu de données : 848.28 KiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@article{clark2018think,
    title={Think you have solved question answering? try arc, the ai2 reasoning challenge},
    author={Clark, Peter and Cowhey, Isaac and Etzioni, Oren and Khot, Tushar and Sabharwal, Ashish and Schoenick, Carissa and Tafjord, Oyvind},
    journal={arXiv preprint arXiv:1803.05457},
    year={2018}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/arc_hard_with_ir

• Description de la configuration : cet ensemble de données se compose de véritables questions scientifiques à choix multiples de niveau scolaire, assemblées pour encourager la recherche dans les questions-réponses avancées. L'ensemble de données est divisé en un ensemble Challenge et un ensemble facile, où le premier ne contient que des questions auxquelles ont répondu de manière incorrecte à la fois par un algorithme basé sur la récupération et un algorithme de cooccurrence de mots. Cet ensemble se compose de questions "difficiles". Cette version inclut des paragraphes récupérés via un système de recherche d'informations comme preuves supplémentaires.

• Taille du téléchargement : 3.53 MiB

• Taille du jeu de données : 3.62 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@article{clark2018think,
    title={Think you have solved question answering? try arc, the ai2 reasoning challenge},
    author={Clark, Peter and Cowhey, Isaac and Etzioni, Oren and Khot, Tushar and Sabharwal, Ashish and Schoenick, Carissa and Tafjord, Oyvind},
    journal={arXiv preprint arXiv:1803.05457},
    year={2018}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/arc_hard_with_ir_dev

• Description de la configuration : cet ensemble de données se compose de véritables questions scientifiques à choix multiples de niveau scolaire, assemblées pour encourager la recherche dans les questions-réponses avancées. L'ensemble de données est divisé en un ensemble Challenge et un ensemble facile, où le premier ne contient que des questions auxquelles ont répondu de manière incorrecte à la fois par un algorithme basé sur la récupération et un algorithme de cooccurrence de mots. Cet ensemble se compose de questions "difficiles". Cette version inclut des paragraphes récupérés via un système de recherche d'informations comme preuves supplémentaires.

• Taille du téléchargement : 3.53 MiB

• Taille du jeu de données : 3.62 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@article{clark2018think,
    title={Think you have solved question answering? try arc, the ai2 reasoning challenge},
    author={Clark, Peter and Cowhey, Isaac and Etzioni, Oren and Khot, Tushar and Sabharwal, Ashish and Schoenick, Carissa and Tafjord, Oyvind},
    journal={arXiv preprint arXiv:1803.05457},
    year={2018}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/boolq

• Description de la configuration : BoolQ est un ensemble de données de réponse aux questions pour les questions oui/non. Ces questions se posent naturellement --- elles sont générées dans des contextes spontanés et sans contraintes. Chaque exemple est un triplet de (question, passage, réponse), avec le titre de la page comme contexte supplémentaire facultatif. La configuration de la classification des paires de textes est similaire aux tâches d'inférence en langage naturel existantes.

• Taille du téléchargement : 7.77 MiB

• Taille du jeu de données : 8.20 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{clark-etal-2019-boolq,
    title = "{B}ool{Q}: Exploring the Surprising Difficulty of Natural Yes/No Questions",
    author = "Clark, Christopher  and
      Lee, Kenton  and
      Chang, Ming-Wei  and
      Kwiatkowski, Tom  and
      Collins, Michael  and
      Toutanova, Kristina",
    booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
    month = jun,
    year = "2019",
    address = "Minneapolis, Minnesota",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N19-1300",
    doi = "10.18653/v1/N19-1300",
    pages = "2924--2936",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/boolq_np

• Description de la configuration : BoolQ est un ensemble de données de réponse aux questions pour les questions oui/non. Ces questions se posent naturellement --- elles sont générées dans des contextes spontanés et sans contraintes. Chaque exemple est un triplet de (question, passage, réponse), avec le titre de la page comme contexte supplémentaire facultatif. La configuration de la classification des paires de textes est similaire aux tâches d'inférence en langage naturel existantes. Cette version ajoute des perturbations naturelles à la version originale.

• Taille du téléchargement : 10.80 MiB

• Taille du jeu de données : 11.40 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{khashabi-etal-2020-bang,
    title = "More Bang for Your Buck: Natural Perturbation for Robust Question Answering",
    author = "Khashabi, Daniel  and
      Khot, Tushar  and
      Sabharwal, Ashish",
    booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.emnlp-main.12",
    doi = "10.18653/v1/2020.emnlp-main.12",
    pages = "163--170",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/commonsenseqa

• Description de la configuration : CommonsenseQA est un nouvel ensemble de données de réponses aux questions à choix multiples qui nécessite différents types de connaissances de bon sens pour prédire les bonnes réponses. Il contient des questions avec une réponse correcte et quatre réponses distractrices.

• Taille du téléchargement : 1.79 MiB

• Taille du jeu de données : 2.19 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{talmor-etal-2019-commonsenseqa,
    title = "{C}ommonsense{QA}: A Question Answering Challenge Targeting Commonsense Knowledge",
    author = "Talmor, Alon  and
      Herzig, Jonathan  and
      Lourie, Nicholas  and
      Berant, Jonathan",
    booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
    month = jun,
    year = "2019",
    address = "Minneapolis, Minnesota",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N19-1421",
    doi = "10.18653/v1/N19-1421",
    pages = "4149--4158",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/commonsenseqa_test

• Description de la configuration : CommonsenseQA est un nouvel ensemble de données de réponses aux questions à choix multiples qui nécessite différents types de connaissances de bon sens pour prédire les bonnes réponses. Il contient des questions avec une réponse correcte et quatre réponses distractrices.

• Taille du téléchargement : 1.79 MiB

• Taille du jeu de données : 2.19 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{talmor-etal-2019-commonsenseqa,
    title = "{C}ommonsense{QA}: A Question Answering Challenge Targeting Commonsense Knowledge",
    author = "Talmor, Alon  and
      Herzig, Jonathan  and
      Lourie, Nicholas  and
      Berant, Jonathan",
    booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
    month = jun,
    year = "2019",
    address = "Minneapolis, Minnesota",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N19-1421",
    doi = "10.18653/v1/N19-1421",
    pages = "4149--4158",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/contrast_sets_boolq

• Description de la configuration : BoolQ est un ensemble de données de réponse aux questions pour les questions oui/non. Ces questions se posent naturellement --- elles sont générées dans des contextes spontanés et sans contraintes. Chaque exemple est un triplet de (question, passage, réponse), avec le titre de la page comme contexte supplémentaire facultatif. La configuration de la classification des paires de textes est similaire aux tâches d'inférence en langage naturel existantes. Cette version utilise des ensembles de contraste. Ces ensembles d'évaluation sont des perturbations générées par des experts qui s'écartent des modèles courants dans l'ensemble de données d'origine.

• Taille du téléchargement : 438.51 KiB

• Taille du jeu de données : 462.35 KiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{clark-etal-2019-boolq,
    title = "{B}ool{Q}: Exploring the Surprising Difficulty of Natural Yes/No Questions",
    author = "Clark, Christopher  and
      Lee, Kenton  and
      Chang, Ming-Wei  and
      Kwiatkowski, Tom  and
      Collins, Michael  and
      Toutanova, Kristina",
    booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
    month = jun,
    year = "2019",
    address = "Minneapolis, Minnesota",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N19-1300",
    doi = "10.18653/v1/N19-1300",
    pages = "2924--2936",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/contrast_sets_drop

• Description de la configuration : DROP est un benchmark d'AQ créé de manière participative et contradictoire, dans lequel un système doit résoudre les références dans une question, peut-être à plusieurs positions d'entrée, et effectuer des opérations discrètes sur celles-ci (telles que l'addition, le comptage ou le tri). Ces opérations nécessitent une compréhension beaucoup plus complète du contenu des paragraphes que ce qui était nécessaire pour les ensembles de données antérieurs. Cette version utilise des ensembles de contraste. Ces ensembles d'évaluation sont des perturbations générées par des experts qui s'écartent des modèles courants dans l'ensemble de données d'origine.

• Taille du téléchargement : 2.20 MiB

• Taille du jeu de données : 2.26 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{dua-etal-2019-drop,
    title = "{DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs",
    author = "Dua, Dheeru  and
      Wang, Yizhong  and
      Dasigi, Pradeep  and
      Stanovsky, Gabriel  and
      Singh, Sameer  and
      Gardner, Matt",
    booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
    month = jun,
    year = "2019",
    address = "Minneapolis, Minnesota",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N19-1246",
    doi = "10.18653/v1/N19-1246",
    pages = "2368--2378",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/contrast_sets_quoref

• Description de la configuration : cet ensemble de données teste la capacité de raisonnement coréférentiel des systèmes de compréhension en lecture. Dans ce benchmark de sélection d'étendue contenant des questions sur des paragraphes de Wikipédia, un système doit résoudre les coréférences dures avant de sélectionner la ou les étendues appropriées dans les paragraphes pour répondre aux questions. Cette version utilise des ensembles de contraste. Ces ensembles d'évaluation sont des perturbations générées par des experts qui s'écartent des modèles courants dans l'ensemble de données d'origine.

• Taille du téléchargement : 2.60 MiB

• Taille du jeu de données : 2.65 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{dasigi-etal-2019-quoref,
    title = "{Q}uoref: A Reading Comprehension Dataset with Questions Requiring Coreferential Reasoning",
    author = "Dasigi, Pradeep  and
      Liu, Nelson F.  and
      Marasovi{'c}, Ana  and
      Smith, Noah A.  and
      Gardner, Matt",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-1606",
    doi = "10.18653/v1/D19-1606",
    pages = "5925--5932",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/contrast_sets_ropes

• Description de la configuration : cet ensemble de données teste la capacité d'un système à appliquer les connaissances d'un passage de texte à une nouvelle situation. Un système est présenté, un passage d'arrière-plan contenant une ou des relations causales ou qualitatives (par exemple, "les pollinisateurs animaux augmentent l'efficacité de la fertilisation des fleurs"), une nouvelle situation qui utilise cet arrière-plan et des questions qui nécessitent un raisonnement sur les effets des relations dans le passage de fond dans le contexte de la situation. Cette version utilise des ensembles de contraste. Ces ensembles d'évaluation sont des perturbations générées par des experts qui s'écartent des modèles courants dans l'ensemble de données d'origine.

• Taille du téléchargement : 1.97 MiB

• Taille du jeu de données : 2.04 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{lin-etal-2019-reasoning,
    title = "Reasoning Over Paragraph Effects in Situations",
    author = "Lin, Kevin  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Gardner, Matt",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5808",
    doi = "10.18653/v1/D19-5808",
    pages = "58--62",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/drop

• Description de la configuration : DROP est un benchmark d'AQ créé de manière participative et contradictoire, dans lequel un système doit résoudre les références dans une question, peut-être à plusieurs positions d'entrée, et effectuer des opérations discrètes sur celles-ci (telles que l'addition, le comptage ou le tri). Ces opérations nécessitent une compréhension beaucoup plus complète du contenu des paragraphes que ce qui était nécessaire pour les ensembles de données antérieurs.

• Taille du téléchargement : 105.18 MiB

• Taille du jeu de données : 108.16 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{dua-etal-2019-drop,
    title = "{DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs",
    author = "Dua, Dheeru  and
      Wang, Yizhong  and
      Dasigi, Pradeep  and
      Stanovsky, Gabriel  and
      Singh, Sameer  and
      Gardner, Matt",
    booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
    month = jun,
    year = "2019",
    address = "Minneapolis, Minnesota",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N19-1246",
    doi = "10.18653/v1/N19-1246",
    pages = "2368--2378",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/mctest

• Description de la configuration : MCTest nécessite que les machines répondent à des questions de compréhension de lecture à choix multiples sur des histoires fictives, s'attaquant directement à l'objectif de haut niveau de la compréhension de la machine en domaine ouvert. La compréhension de la lecture peut tester des capacités avancées telles que le raisonnement causal et la compréhension du monde, mais, en étant à choix multiples, elle fournit toujours une métrique claire. En étant fictif, la réponse ne peut généralement être trouvée que dans l'histoire elle-même. Les histoires et les questions sont également soigneusement limitées à celles qu'un jeune enfant comprendrait, réduisant ainsi la connaissance du monde requise pour la tâche.

• Taille du téléchargement : 2.14 MiB

• Taille du jeu de données : 2.20 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{richardson-etal-2013-mctest,
    title = "{MCT}est: A Challenge Dataset for the Open-Domain Machine Comprehension of Text",
    author = "Richardson, Matthew  and
      Burges, Christopher J.C.  and
      Renshaw, Erin",
    booktitle = "Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing",
    month = oct,
    year = "2013",
    address = "Seattle, Washington, USA",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D13-1020",
    pages = "193--203",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/mctest_corrected_the_separator

• Description de la configuration : MCTest nécessite que les machines répondent à des questions de compréhension de lecture à choix multiples sur des histoires fictives, s'attaquant directement à l'objectif de haut niveau de la compréhension de la machine en domaine ouvert. La compréhension de la lecture peut tester des capacités avancées telles que le raisonnement causal et la compréhension du monde, mais, en étant à choix multiples, elle fournit toujours une métrique claire. En étant fictif, la réponse ne peut généralement être trouvée que dans l'histoire elle-même. Les histoires et les questions sont également soigneusement limitées à celles qu'un jeune enfant comprendrait, réduisant ainsi la connaissance du monde requise pour la tâche.

• Taille du téléchargement : 2.15 MiB

• Taille du jeu de données : 2.21 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{richardson-etal-2013-mctest,
    title = "{MCT}est: A Challenge Dataset for the Open-Domain Machine Comprehension of Text",
    author = "Richardson, Matthew  and
      Burges, Christopher J.C.  and
      Renshaw, Erin",
    booktitle = "Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing",
    month = oct,
    year = "2013",
    address = "Seattle, Washington, USA",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D13-1020",
    pages = "193--203",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/multirc

• Description de la configuration : MultiRC est un défi de compréhension en lecture dans lequel les questions ne peuvent être résolues qu'en prenant en compte les informations de plusieurs phrases. Les questions et réponses pour ce défi ont été sollicitées et vérifiées par le biais d'une expérience de crowdsourcing en 4 étapes. L'ensemble de données contient des questions pour les paragraphes dans 7 domaines différents (sciences du primaire, actualités, guides de voyage, récits de fiction, etc.) apportant une diversité linguistique aux textes et aux formulations des questions.

• Taille du téléchargement : 897.09 KiB

• Taille du jeu de données : 918.42 KiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{khashabi-etal-2018-looking,
    title = "Looking Beyond the Surface: A Challenge Set for Reading Comprehension over Multiple Sentences",
    author = "Khashabi, Daniel  and
      Chaturvedi, Snigdha  and
      Roth, Michael  and
      Upadhyay, Shyam  and
      Roth, Dan",
    booktitle = "Proceedings of the 2018 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers)",
    month = jun,
    year = "2018",
    address = "New Orleans, Louisiana",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N18-1023",
    doi = "10.18653/v1/N18-1023",
    pages = "252--262",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/narrativeqa

• Description de la configuration : NarrativeQA est un ensemble de données en anglais d'histoires et de questions correspondantes conçues pour tester la compréhension en lecture, en particulier sur les documents longs.

• Taille du téléchargement : 308.28 MiB

• Taille du jeu de données : 311.22 MiB

• Mise en cache automatique ( documentation ): Non

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@article{kocisky-etal-2018-narrativeqa,
    title = "The {N}arrative{QA} Reading Comprehension Challenge",
    author = "Ko{
{c} }isk{'y}, Tom{'a}{
{s} }  and
      Schwarz, Jonathan  and
      Blunsom, Phil  and
      Dyer, Chris  and
      Hermann, Karl Moritz  and
      Melis, G{'a}bor  and
      Grefenstette, Edward",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "6",
    year = "2018",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q18-1023",
    doi = "10.1162/tacl_a_00023",
    pages = "317--328",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/narrativeqa_dev

• Description de la configuration : NarrativeQA est un ensemble de données en anglais d'histoires et de questions correspondantes conçues pour tester la compréhension en lecture, en particulier sur les documents longs.

• Taille du téléchargement : 308.28 MiB

• Taille du jeu de données : 311.22 MiB

• Mise en cache automatique ( documentation ): Non

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@article{kocisky-etal-2018-narrativeqa,
    title = "The {N}arrative{QA} Reading Comprehension Challenge",
    author = "Ko{
{c} }isk{'y}, Tom{'a}{
{s} }  and
      Schwarz, Jonathan  and
      Blunsom, Phil  and
      Dyer, Chris  and
      Hermann, Karl Moritz  and
      Melis, G{'a}bor  and
      Grefenstette, Edward",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "6",
    year = "2018",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q18-1023",
    doi = "10.1162/tacl_a_00023",
    pages = "317--328",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/natural_questions

• Description de la configuration : le corpus NQ contient des questions d'utilisateurs réels, et il nécessite des systèmes d'assurance qualité pour lire et comprendre un article Wikipédia entier qui peut ou non contenir la réponse à la question. L'inclusion de vraies questions d'utilisateurs et l'exigence selon laquelle les solutions doivent lire une page entière pour trouver la réponse font de NQ une tâche plus réaliste et plus difficile que les ensembles de données QA précédents.

• Taille du téléchargement : 6.95 MiB

• Taille du jeu de données : 9.88 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@article{kwiatkowski-etal-2019-natural,
    title = "Natural Questions: A Benchmark for Question Answering Research",
    author = "Kwiatkowski, Tom  and
      Palomaki, Jennimaria  and
      Redfield, Olivia  and
      Collins, Michael  and
      Parikh, Ankur  and
      Alberti, Chris  and
      Epstein, Danielle  and
      Polosukhin, Illia  and
      Devlin, Jacob  and
      Lee, Kenton  and
      Toutanova, Kristina  and
      Jones, Llion  and
      Kelcey, Matthew  and
      Chang, Ming-Wei  and
      Dai, Andrew M.  and
      Uszkoreit, Jakob  and
      Le, Quoc  and
      Petrov, Slav",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "7",
    year = "2019",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q19-1026",
    doi = "10.1162/tacl_a_00276",
    pages = "452--466",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/natural_questions_direct_ans

• Description de la configuration : le corpus NQ contient des questions d'utilisateurs réels, et il nécessite des systèmes d'assurance qualité pour lire et comprendre un article Wikipédia entier qui peut ou non contenir la réponse à la question. L'inclusion de vraies questions d'utilisateurs et l'exigence selon laquelle les solutions doivent lire une page entière pour trouver la réponse font de NQ une tâche plus réaliste et plus difficile que les ensembles de données QA précédents. Cette version se compose de questions à réponse directe.

• Taille du téléchargement : 6.82 MiB

• Taille du jeu de données : 10.19 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@article{kwiatkowski-etal-2019-natural,
    title = "Natural Questions: A Benchmark for Question Answering Research",
    author = "Kwiatkowski, Tom  and
      Palomaki, Jennimaria  and
      Redfield, Olivia  and
      Collins, Michael  and
      Parikh, Ankur  and
      Alberti, Chris  and
      Epstein, Danielle  and
      Polosukhin, Illia  and
      Devlin, Jacob  and
      Lee, Kenton  and
      Toutanova, Kristina  and
      Jones, Llion  and
      Kelcey, Matthew  and
      Chang, Ming-Wei  and
      Dai, Andrew M.  and
      Uszkoreit, Jakob  and
      Le, Quoc  and
      Petrov, Slav",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "7",
    year = "2019",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q19-1026",
    doi = "10.1162/tacl_a_00276",
    pages = "452--466",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/natural_questions_direct_ans_test

• Description de la configuration : le corpus NQ contient des questions d'utilisateurs réels, et il nécessite des systèmes d'assurance qualité pour lire et comprendre un article Wikipédia entier qui peut ou non contenir la réponse à la question. L'inclusion de vraies questions d'utilisateurs et l'exigence selon laquelle les solutions doivent lire une page entière pour trouver la réponse font de NQ une tâche plus réaliste et plus difficile que les ensembles de données QA précédents. Cette version se compose de questions à réponse directe.

• Taille du téléchargement : 6.82 MiB

• Taille du jeu de données : 10.19 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@article{kwiatkowski-etal-2019-natural,
    title = "Natural Questions: A Benchmark for Question Answering Research",
    author = "Kwiatkowski, Tom  and
      Palomaki, Jennimaria  and
      Redfield, Olivia  and
      Collins, Michael  and
      Parikh, Ankur  and
      Alberti, Chris  and
      Epstein, Danielle  and
      Polosukhin, Illia  and
      Devlin, Jacob  and
      Lee, Kenton  and
      Toutanova, Kristina  and
      Jones, Llion  and
      Kelcey, Matthew  and
      Chang, Ming-Wei  and
      Dai, Andrew M.  and
      Uszkoreit, Jakob  and
      Le, Quoc  and
      Petrov, Slav",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "7",
    year = "2019",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q19-1026",
    doi = "10.1162/tacl_a_00276",
    pages = "452--466",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/natural_questions_with_dpr_para

• Description de la configuration : le corpus NQ contient des questions d'utilisateurs réels, et il nécessite des systèmes d'assurance qualité pour lire et comprendre un article Wikipédia entier qui peut ou non contenir la réponse à la question. L'inclusion de vraies questions d'utilisateurs et l'exigence selon laquelle les solutions doivent lire une page entière pour trouver la réponse font de NQ une tâche plus réaliste et plus difficile que les ensembles de données QA précédents. Cette version comprend des paragraphes supplémentaires (obtenus à l'aide du moteur de récupération DPR) pour compléter chaque question.

• Taille du téléchargement : 319.22 MiB

• Taille du jeu de données : 322.91 MiB

• Mise en cache automatique ( documentation ): Non

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@article{kwiatkowski-etal-2019-natural,
    title = "Natural Questions: A Benchmark for Question Answering Research",
    author = "Kwiatkowski, Tom  and
      Palomaki, Jennimaria  and
      Redfield, Olivia  and
      Collins, Michael  and
      Parikh, Ankur  and
      Alberti, Chris  and
      Epstein, Danielle  and
      Polosukhin, Illia  and
      Devlin, Jacob  and
      Lee, Kenton  and
      Toutanova, Kristina  and
      Jones, Llion  and
      Kelcey, Matthew  and
      Chang, Ming-Wei  and
      Dai, Andrew M.  and
      Uszkoreit, Jakob  and
      Le, Quoc  and
      Petrov, Slav",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "7",
    year = "2019",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q19-1026",
    doi = "10.1162/tacl_a_00276",
    pages = "452--466",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/natural_questions_with_dpr_para_test

• Description de la configuration : le corpus NQ contient des questions d'utilisateurs réels, et il nécessite des systèmes d'assurance qualité pour lire et comprendre un article Wikipédia entier qui peut ou non contenir la réponse à la question. L'inclusion de vraies questions d'utilisateurs et l'exigence selon laquelle les solutions doivent lire une page entière pour trouver la réponse font de NQ une tâche plus réaliste et plus difficile que les ensembles de données QA précédents. Cette version comprend des paragraphes supplémentaires (obtenus à l'aide du moteur de récupération DPR) pour compléter chaque question.

• Taille du téléchargement : 306.94 MiB

• Taille du jeu de données : 310.48 MiB

• Mise en cache automatique ( documentation ): Non

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@article{kwiatkowski-etal-2019-natural,
    title = "Natural Questions: A Benchmark for Question Answering Research",
    author = "Kwiatkowski, Tom  and
      Palomaki, Jennimaria  and
      Redfield, Olivia  and
      Collins, Michael  and
      Parikh, Ankur  and
      Alberti, Chris  and
      Epstein, Danielle  and
      Polosukhin, Illia  and
      Devlin, Jacob  and
      Lee, Kenton  and
      Toutanova, Kristina  and
      Jones, Llion  and
      Kelcey, Matthew  and
      Chang, Ming-Wei  and
      Dai, Andrew M.  and
      Uszkoreit, Jakob  and
      Le, Quoc  and
      Petrov, Slav",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "7",
    year = "2019",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q19-1026",
    doi = "10.1162/tacl_a_00276",
    pages = "452--466",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/newsqa

• Description de la configuration : NewsQA est un jeu de données complexe de compréhension automatique de paires de questions-réponses générées par l'homme. Les crowdworkers fournissent des questions et des réponses basées sur un ensemble d'articles de presse de CNN, avec des réponses composées de textes extraits des articles correspondants.

• Taille du téléchargement : 283.33 MiB

• Taille du jeu de données : 285.94 MiB

• Mise en cache automatique ( documentation ): Non

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{trischler-etal-2017-newsqa,
    title = "{N}ews{QA}: A Machine Comprehension Dataset",
    author = "Trischler, Adam  and
      Wang, Tong  and
      Yuan, Xingdi  and
      Harris, Justin  and
      Sordoni, Alessandro  and
      Bachman, Philip  and
      Suleman, Kaheer",
    booktitle = "Proceedings of the 2nd Workshop on Representation Learning for {NLP}",
    month = aug,
    year = "2017",
    address = "Vancouver, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/W17-2623",
    doi = "10.18653/v1/W17-2623",
    pages = "191--200",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/openbookqa

• Description de la configuration : OpenBookQA vise à promouvoir la recherche dans les questions-réponses avancées, en sondant une compréhension plus approfondie à la fois du sujet (avec des faits saillants résumés sous forme de livre ouvert, également fourni avec l'ensemble de données) et de la langue dans laquelle il est exprimé. En particulier, il contient des questions qui nécessitent un raisonnement en plusieurs étapes, l'utilisation de connaissances supplémentaires communes et de bon sens et une compréhension de texte riche. OpenBookQA est un nouveau type d'ensemble de données de questions-réponses inspiré des examens à livre ouvert pour évaluer la compréhension humaine d'un sujet.

• Taille du téléchargement : 942.34 KiB

• Taille du jeu de données : 1.11 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{mihaylov-etal-2018-suit,
    title = "Can a Suit of Armor Conduct Electricity? A New Dataset for Open Book Question Answering",
    author = "Mihaylov, Todor  and
      Clark, Peter  and
      Khot, Tushar  and
      Sabharwal, Ashish",
    booktitle = "Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing",
    month = oct # "-" # nov,
    year = "2018",
    address = "Brussels, Belgium",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D18-1260",
    doi = "10.18653/v1/D18-1260",
    pages = "2381--2391",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/openbookqa_dev

• Description de la configuration : OpenBookQA vise à promouvoir la recherche dans les questions-réponses avancées, en sondant une compréhension plus approfondie à la fois du sujet (avec des faits saillants résumés sous forme de livre ouvert, également fourni avec l'ensemble de données) et de la langue dans laquelle il est exprimé. En particulier, il contient des questions qui nécessitent un raisonnement en plusieurs étapes, l'utilisation de connaissances supplémentaires communes et de bon sens et une compréhension de texte riche. OpenBookQA est un nouveau type d'ensemble de données de questions-réponses inspiré des examens à livre ouvert pour évaluer la compréhension humaine d'un sujet.

• Taille du téléchargement : 942.34 KiB

• Taille du jeu de données : 1.11 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{mihaylov-etal-2018-suit,
    title = "Can a Suit of Armor Conduct Electricity? A New Dataset for Open Book Question Answering",
    author = "Mihaylov, Todor  and
      Clark, Peter  and
      Khot, Tushar  and
      Sabharwal, Ashish",
    booktitle = "Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing",
    month = oct # "-" # nov,
    year = "2018",
    address = "Brussels, Belgium",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D18-1260",
    doi = "10.18653/v1/D18-1260",
    pages = "2381--2391",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/openbookqa_with_ir

• Description de la configuration : OpenBookQA vise à promouvoir la recherche dans les questions-réponses avancées, en sondant une compréhension plus approfondie à la fois du sujet (avec des faits saillants résumés sous forme de livre ouvert, également fourni avec l'ensemble de données) et de la langue dans laquelle il est exprimé. En particulier, il contient des questions qui nécessitent un raisonnement en plusieurs étapes, l'utilisation de connaissances supplémentaires communes et de bon sens et une compréhension de texte riche. OpenBookQA est un nouveau type d'ensemble de données de questions-réponses inspiré des examens à livre ouvert pour évaluer la compréhension humaine d'un sujet. Cette version inclut des paragraphes récupérés via un système de recherche d'informations comme preuves supplémentaires.

• Taille du téléchargement : 6.08 MiB

• Taille du jeu de données : 6.28 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{mihaylov-etal-2018-suit,
    title = "Can a Suit of Armor Conduct Electricity? A New Dataset for Open Book Question Answering",
    author = "Mihaylov, Todor  and
      Clark, Peter  and
      Khot, Tushar  and
      Sabharwal, Ashish",
    booktitle = "Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing",
    month = oct # "-" # nov,
    year = "2018",
    address = "Brussels, Belgium",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D18-1260",
    doi = "10.18653/v1/D18-1260",
    pages = "2381--2391",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/openbookqa_with_ir_dev

• Description de la configuration : OpenBookQA vise à promouvoir la recherche dans les questions-réponses avancées, en sondant une compréhension plus approfondie à la fois du sujet (avec des faits saillants résumés sous forme de livre ouvert, également fourni avec l'ensemble de données) et de la langue dans laquelle il est exprimé. En particulier, il contient des questions qui nécessitent un raisonnement en plusieurs étapes, l'utilisation de connaissances supplémentaires communes et de bon sens et une compréhension de texte riche. OpenBookQA est un nouveau type d'ensemble de données de questions-réponses inspiré des examens à livre ouvert pour évaluer la compréhension humaine d'un sujet. Cette version inclut des paragraphes récupérés via un système de recherche d'informations comme preuves supplémentaires.

• Taille du téléchargement : 6.08 MiB

• Taille du jeu de données : 6.28 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{mihaylov-etal-2018-suit,
    title = "Can a Suit of Armor Conduct Electricity? A New Dataset for Open Book Question Answering",
    author = "Mihaylov, Todor  and
      Clark, Peter  and
      Khot, Tushar  and
      Sabharwal, Ashish",
    booktitle = "Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing",
    month = oct # "-" # nov,
    year = "2018",
    address = "Brussels, Belgium",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D18-1260",
    doi = "10.18653/v1/D18-1260",
    pages = "2381--2391",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/physical_iqa

• Description de la configuration : il s'agit d'un ensemble de données permettant d'évaluer les progrès de la compréhension du bon sens physique. La tâche sous-jacente est la réponse à une question à choix multiples : étant donné une question q et deux solutions possibles s1, s2, un modèle ou un humain doit choisir la solution la plus appropriée, dont exactement une est correcte. L'ensemble de données se concentre sur des situations quotidiennes avec une préférence pour les solutions atypiques. L'ensemble de données est inspiré d'instructables.com, qui fournit aux utilisateurs des instructions sur la façon de construire, fabriquer, cuire ou manipuler des objets à l'aide de matériaux de tous les jours. Les annotateurs sont invités à fournir des perturbations sémantiques ou des approches alternatives qui sont autrement syntaxiquement et thématiquement similaires pour s'assurer que les connaissances physiques sont ciblées. L'ensemble de données est ensuite nettoyé des artefacts de base à l'aide de l'algorithme AFLite.

• Taille du téléchargement : 6.01 MiB

• Taille du jeu de données : 6.59 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{bisk2020piqa,
    title={Piqa: Reasoning about physical commonsense in natural language},
    author={Bisk, Yonatan and Zellers, Rowan and Gao, Jianfeng and Choi, Yejin and others},
    booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
    volume={34},
    number={05},
    pages={7432--7439},
    year={2020}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/qasc

• Description de la configuration : QASC est un ensemble de données de questions-réponses axé sur la composition de phrases. Il se compose de questions à choix multiples à 8 questions sur les sciences à l'école primaire et est accompagné d'un corpus de 17 millions de phrases.

• Taille du téléchargement : 1.75 MiB

• Taille du jeu de données : 2.09 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{khot2020qasc,
    title={Qasc: A dataset for question answering via sentence composition},
    author={Khot, Tushar and Clark, Peter and Guerquin, Michal and Jansen, Peter and Sabharwal, Ashish},
    booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
    volume={34},
    number={05},
    pages={8082--8090},
    year={2020}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/qasc_test

• Description de la configuration : QASC est un ensemble de données de questions-réponses axé sur la composition de phrases. Il se compose de questions à choix multiples à 8 questions sur les sciences à l'école primaire et est accompagné d'un corpus de 17 millions de phrases.

• Taille du téléchargement : 1.75 MiB

• Taille du jeu de données : 2.09 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{khot2020qasc,
    title={Qasc: A dataset for question answering via sentence composition},
    author={Khot, Tushar and Clark, Peter and Guerquin, Michal and Jansen, Peter and Sabharwal, Ashish},
    booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
    volume={34},
    number={05},
    pages={8082--8090},
    year={2020}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/qasc_with_ir

• Description de la configuration : QASC est un ensemble de données de questions-réponses axé sur la composition de phrases. Il se compose de questions à choix multiples à 8 questions sur les sciences à l'école primaire et est accompagné d'un corpus de 17 millions de phrases. Cette version inclut des paragraphes récupérés via un système de recherche d'informations comme preuves supplémentaires.

• Taille du téléchargement : 16.95 MiB

• Taille du jeu de données : 17.30 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{khot2020qasc,
    title={Qasc: A dataset for question answering via sentence composition},
    author={Khot, Tushar and Clark, Peter and Guerquin, Michal and Jansen, Peter and Sabharwal, Ashish},
    booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
    volume={34},
    number={05},
    pages={8082--8090},
    year={2020}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/qasc_with_ir_test

• Description de la configuration : QASC est un ensemble de données de questions-réponses axé sur la composition de phrases. Il se compose de questions à choix multiples à 8 questions sur les sciences à l'école primaire et est accompagné d'un corpus de 17 millions de phrases. Cette version inclut des paragraphes récupérés via un système de recherche d'informations comme preuves supplémentaires.

• Taille du téléchargement : 16.95 MiB

• Taille du jeu de données : 17.30 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{khot2020qasc,
    title={Qasc: A dataset for question answering via sentence composition},
    author={Khot, Tushar and Clark, Peter and Guerquin, Michal and Jansen, Peter and Sabharwal, Ashish},
    booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
    volume={34},
    number={05},
    pages={8082--8090},
    year={2020}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/quoref

• Description de la configuration : cet ensemble de données teste la capacité de raisonnement coréférentiel des systèmes de compréhension en lecture. Dans ce benchmark de sélection d'étendue contenant des questions sur des paragraphes de Wikipédia, un système doit résoudre les coréférences dures avant de sélectionner la ou les étendues appropriées dans les paragraphes pour répondre aux questions.

• Taille du téléchargement : 51.43 MiB

• Taille du jeu de données : 52.29 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{dasigi-etal-2019-quoref,
    title = "{Q}uoref: A Reading Comprehension Dataset with Questions Requiring Coreferential Reasoning",
    author = "Dasigi, Pradeep  and
      Liu, Nelson F.  and
      Marasovi{'c}, Ana  and
      Smith, Noah A.  and
      Gardner, Matt",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-1606",
    doi = "10.18653/v1/D19-1606",
    pages = "5925--5932",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/race_string

• Description de la configuration : Race est un ensemble de données de compréhension de lecture à grande échelle. L'ensemble de données est collecté à partir d'examens d'anglais en Chine, qui sont conçus pour les collégiens et lycéens. L'ensemble de données peut servir d'ensembles d'entraînement et de test pour la compréhension de la machine.

• Taille du téléchargement : 167.97 MiB

• Taille du jeu de données : 171.23 MiB

• Mise en cache automatique ( documentation ): Oui (test, validation), Uniquement lorsque shuffle_files=False (train)

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{lai-etal-2017-race,
    title = "{RACE}: Large-scale {R}e{A}ding Comprehension Dataset From Examinations",
    author = "Lai, Guokun  and
      Xie, Qizhe  and
      Liu, Hanxiao  and
      Yang, Yiming  and
      Hovy, Eduard",
    booktitle = "Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing",
    month = sep,
    year = "2017",
    address = "Copenhagen, Denmark",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D17-1082",
    doi = "10.18653/v1/D17-1082",
    pages = "785--794",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/race_string_dev

• Description de la configuration : Race est un ensemble de données de compréhension de lecture à grande échelle. L'ensemble de données est collecté à partir d'examens d'anglais en Chine, qui sont conçus pour les collégiens et lycéens. L'ensemble de données peut servir d'ensembles d'entraînement et de test pour la compréhension de la machine.

• Taille du téléchargement : 167.97 MiB

• Taille du jeu de données : 171.23 MiB

• Mise en cache automatique ( documentation ): Oui (test, validation), Uniquement lorsque shuffle_files=False (train)

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{lai-etal-2017-race,
    title = "{RACE}: Large-scale {R}e{A}ding Comprehension Dataset From Examinations",
    author = "Lai, Guokun  and
      Xie, Qizhe  and
      Liu, Hanxiao  and
      Yang, Yiming  and
      Hovy, Eduard",
    booktitle = "Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing",
    month = sep,
    year = "2017",
    address = "Copenhagen, Denmark",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D17-1082",
    doi = "10.18653/v1/D17-1082",
    pages = "785--794",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/cordes

• Description de la configuration : cet ensemble de données teste la capacité d'un système à appliquer les connaissances d'un passage de texte à une nouvelle situation. Un système est présenté, un passage d'arrière-plan contenant une ou des relations causales ou qualitatives (par exemple, "les pollinisateurs animaux augmentent l'efficacité de la fertilisation des fleurs"), une nouvelle situation qui utilise cet arrière-plan et des questions qui nécessitent un raisonnement sur les effets des relations dans le passage de fond dans le contexte de la situation.

• Taille du téléchargement : 12.91 MiB

• Taille du jeu de données : 13.35 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{lin-etal-2019-reasoning,
    title = "Reasoning Over Paragraph Effects in Situations",
    author = "Lin, Kevin  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Gardner, Matt",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5808",
    doi = "10.18653/v1/D19-5808",
    pages = "58--62",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/social_iqa

• Description de la configuration : Il s'agit d'une référence à grande échelle pour le raisonnement de bon sens sur les situations sociales. Social IQa contient des questions à choix multiples pour sonder l'intelligence émotionnelle et sociale dans une variété de situations quotidiennes. Grâce au crowdsourcing, des questions de bon sens ainsi que des réponses correctes et incorrectes sur les interactions sociales sont collectées, en utilisant un nouveau cadre qui atténue les artefacts stylistiques dans les réponses incorrectes en demandant aux travailleurs de fournir la bonne réponse à une question différente mais connexe.

• Taille du téléchargement : 7.08 MiB

• Taille du jeu de données : 8.22 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{sap-etal-2019-social,
    title = "Social {IQ}a: Commonsense Reasoning about Social Interactions",
    author = "Sap, Maarten  and
      Rashkin, Hannah  and
      Chen, Derek  and
      Le Bras, Ronan  and
      Choi, Yejin",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-1454",
    doi = "10.18653/v1/D19-1454",
    pages = "4463--4473",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/escouade1_1

• Description de la configuration : il s'agit d'un ensemble de données de compréhension de lecture composé de questions posées par des crowdworkers sur un ensemble d'articles de Wikipédia, où la réponse à chaque question est un segment de texte du passage de lecture correspondant.

• Taille du téléchargement : 80.62 MiB

• Taille du jeu de données : 83.99 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{rajpurkar-etal-2016-squad,
    title = "{SQ}u{AD}: 100,000+ Questions for Machine Comprehension of Text",
    author = "Rajpurkar, Pranav  and
      Zhang, Jian  and
      Lopyrev, Konstantin  and
      Liang, Percy",
    booktitle = "Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing",
    month = nov,
    year = "2016",
    address = "Austin, Texas",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D16-1264",
    doi = "10.18653/v1/D16-1264",
    pages = "2383--2392",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/escouade2

• Description de la configuration : cet ensemble de données combine l'ensemble de données original de Stanford Question Answering Dataset (SQuAD) avec des questions sans réponse écrites de manière contradictoire par des crowdworkers pour ressembler à celles auxquelles il est possible de répondre.

• Taille du téléchargement : 116.56 MiB

• Taille du jeu de données : 121.43 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{rajpurkar-etal-2018-know,
    title = "Know What You Don{'}t Know: Unanswerable Questions for {SQ}u{AD}",
    author = "Rajpurkar, Pranav  and
      Jia, Robin  and
      Liang, Percy",
    booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)",
    month = jul,
    year = "2018",
    address = "Melbourne, Australia",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/P18-2124",
    doi = "10.18653/v1/P18-2124",
    pages = "784--789",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/winogrande_l

• Description de la configuration : Cet ensemble de données est inspiré de la conception originale du Winograd Schema Challenge, mais ajusté pour améliorer à la fois l'échelle et la dureté de l'ensemble de données. Les étapes clés de la construction de l'ensemble de données consistent en (1) une procédure de crowdsourcing soigneusement conçue, suivie de (2) une réduction systématique des biais à l'aide d'un nouvel algorithme AfLite qui généralise les associations de mots détectables par l'homme aux associations d'intégration détectables par machine. Des ensembles d'entraînement de différentes tailles sont fournis. Cet ensemble correspond à la taille l .

• Taille du téléchargement : 1.49 MiB

• Taille du jeu de données : 1.83 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{sakaguchi2020winogrande,
  title={Winogrande: An adversarial winograd schema challenge at scale},
  author={Sakaguchi, Keisuke and Le Bras, Ronan and Bhagavatula, Chandra and Choi, Yejin},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={34},
  number={05},
  pages={8732--8740},
  year={2020}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/winogrande_m

• Description de la configuration : Cet ensemble de données est inspiré de la conception originale du Winograd Schema Challenge, mais ajusté pour améliorer à la fois l'échelle et la dureté de l'ensemble de données. Les étapes clés de la construction de l'ensemble de données consistent en (1) une procédure de crowdsourcing soigneusement conçue, suivie de (2) une réduction systématique des biais à l'aide d'un nouvel algorithme AfLite qui généralise les associations de mots détectables par l'homme aux associations d'intégration détectables par machine. Des ensembles d'entraînement de différentes tailles sont fournis. Cet ensemble correspond à la taille m .

• Taille du téléchargement : 507.46 KiB

• Taille du jeu de données : 623.15 KiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{sakaguchi2020winogrande,
  title={Winogrande: An adversarial winograd schema challenge at scale},
  author={Sakaguchi, Keisuke and Le Bras, Ronan and Bhagavatula, Chandra and Choi, Yejin},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={34},
  number={05},
  pages={8732--8740},
  year={2020}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/winogrande_s

• Description de la configuration : Cet ensemble de données est inspiré de la conception originale du Winograd Schema Challenge, mais ajusté pour améliorer à la fois l'échelle et la dureté de l'ensemble de données. Les étapes clés de la construction de l'ensemble de données consistent en (1) une procédure de crowdsourcing soigneusement conçue, suivie de (2) une réduction systématique des biais à l'aide d'un nouvel algorithme AfLite qui généralise les associations de mots détectables par l'homme aux associations d'intégration détectables par machine. Des ensembles d'entraînement de différentes tailles sont fournis. Cet ensemble correspond à la taille s .

• Taille du téléchargement : 479.24 KiB

• Taille du jeu de données : 590.47 KiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{sakaguchi2020winogrande,
  title={Winogrande: An adversarial winograd schema challenge at scale},
  author={Sakaguchi, Keisuke and Le Bras, Ronan and Bhagavatula, Chandra and Choi, Yejin},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={34},
  number={05},
  pages={8732--8740},
  year={2020}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."