Unified_qa

  • 説明:

UnifiedQA ベンチマークは、さまざまな形式やさまざまな複雑な言語現象を対象とする 20 の主要な質問応答 (QA) データセット (それぞれに複数のバージョンがある場合があります) で構成されています。これらのデータセットは、抽出的 QA、抽象的 QA、複数選択 QA、はい/いいえ QA など、いくつかの形式/カテゴリにグループ化されています。さらに、いくつかのデータセットにはコントラスト セットが使用されます (「コントラストセット」で示されます)。これらの評価セットは、元のデータセットで一般的なパターンから逸脱した専門家が生成した摂動です。証拠の段落が付属していないいくつかのデータセットについては、2 つのバリアントが含まれています。1 つはデータセットがそのまま使用されるもので、もう 1 つは情報検索システムを介して取得された段落を追加の証拠として使用するもので、「_ir」タグで示されます。

詳細については、 https ://github.com/allenai/unifiedqa をご覧ください。

FeaturesDict({
    'input': string,
    'output': string,
})
  • 機能のドキュメント:
特徴クラス形Dtype説明
特徴辞書
入力テンソルストリング
出力テンソルストリング

Unified_qa/ai2_science_elementary (デフォルト設定)

  • 構成の説明: AI2 Science Questions データセットは、米国の小中学校レベルの生徒の評価で使用される問題で構成されています。各質問は 4 択の多肢選択形式で、図の要素が含まれている場合と含まれていない場合があります。小学校低学年レベルの問題集です。

  • ダウンロードサイズ: 345.59 KiB

  • データセットサイズ: 390.02 KiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'test' 542
'train' 623
'validation' 123
  • 引用：
http://data.allenai.org/ai2-science-questions

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

Unified_qa/ai2_science_middle

  • 構成の説明: AI2 Science Questions データセットは、米国の小中学校レベルの生徒の評価で使用される問題で構成されています。各質問は 4 択の多肢選択形式で、図の要素が含まれている場合と含まれていない場合があります。このセットは、中学レベルの問題で構成されています。

  • ダウンロードサイズ: 428.41 KiB

  • データセットサイズ: 477.40 KiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'test' 679
'train' 605
'validation' 125
  • 引用：
http://data.allenai.org/ai2-science-questions

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/ambigqa

  • 構成の説明: AmbigQA はオープン ドメインの質問応答タスクであり、もっともらしい回答をすべて見つけてから、あいまいさを解決するためにそれぞれの質問を書き直します。

  • ダウンロードサイズ: 2.27 MiB

  • データセットサイズ: 3.04 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'train' 19,806
'validation' 5,674
  • 引用：
@inproceedings{min-etal-2020-ambigqa,
    title = "{A}mbig{QA}: Answering Ambiguous Open-domain Questions",
    author = "Min, Sewon  and
      Michael, Julian  and
      Hajishirzi, Hannaneh  and
      Zettlemoyer, Luke",
    booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.emnlp-main.466",
    doi = "10.18653/v1/2020.emnlp-main.466",
    pages = "5783--5797",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/arc_easy

  • 構成の説明: このデータセットは、高度な質問応答の研究を促進するために組み立てられた、正真正銘の小学校レベルの多肢選択式の科学問題で構成されています。データセットは、チャレンジ セットとイージー セットに分割されます。前者には、検索ベースのアルゴリズムと単語共起アルゴリズムの両方によって間違って回答された質問のみが含まれます。このセットは「簡単な」問題で構成されています。

  • ダウンロードサイズ: 1.24 MiB

  • データセットサイズ: 1.42 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'test' 2,376
'train' 2,251
'validation' 570
  • 引用：
@article{clark2018think,
    title={Think you have solved question answering? try arc, the ai2 reasoning challenge},
    author={Clark, Peter and Cowhey, Isaac and Etzioni, Oren and Khot, Tushar and Sabharwal, Ashish and Schoenick, Carissa and Tafjord, Oyvind},
    journal={arXiv preprint arXiv:1803.05457},
    year={2018}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

Unified_qa/arc_easy_dev

  • 構成の説明: このデータセットは、高度な質問応答の研究を促進するために組み立てられた、正真正銘の小学校レベルの多肢選択式の科学問題で構成されています。データセットは、チャレンジ セットとイージー セットに分割されます。前者には、検索ベースのアルゴリズムと単語共起アルゴリズムの両方によって間違って回答された質問のみが含まれます。このセットは「簡単な」問題で構成されています。

  • ダウンロードサイズ: 1.24 MiB

  • データセットサイズ: 1.42 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'test' 2,376
'train' 2,251
'validation' 570
  • 引用：
@article{clark2018think,
    title={Think you have solved question answering? try arc, the ai2 reasoning challenge},
    author={Clark, Peter and Cowhey, Isaac and Etzioni, Oren and Khot, Tushar and Sabharwal, Ashish and Schoenick, Carissa and Tafjord, Oyvind},
    journal={arXiv preprint arXiv:1803.05457},
    year={2018}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

Unified_qa/arc_easy_with_ir

  • 構成の説明: このデータセットは、高度な質問応答の研究を促進するために組み立てられた、正真正銘の小学校レベルの多肢選択式の科学問題で構成されています。データセットは、チャレンジ セットとイージー セットに分割されます。前者には、検索ベースのアルゴリズムと単語共起アルゴリズムの両方によって間違って回答された質問のみが含まれます。このセットは「簡単な」問題で構成されています。このバージョンには、追加の証拠として情報検索システムを介して取得された段落が含まれています。

  • ダウンロードサイズ: 7.00 MiB

  • データセットのサイズ: 7.17 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'test' 2,376
'train' 2,251
'validation' 570
  • 引用：
@article{clark2018think,
    title={Think you have solved question answering? try arc, the ai2 reasoning challenge},
    author={Clark, Peter and Cowhey, Isaac and Etzioni, Oren and Khot, Tushar and Sabharwal, Ashish and Schoenick, Carissa and Tafjord, Oyvind},
    journal={arXiv preprint arXiv:1803.05457},
    year={2018}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

Unified_qa/arc_easy_with_ir_dev

  • 構成の説明: このデータセットは、高度な質問応答の研究を促進するために組み立てられた、正真正銘の小学校レベルの多肢選択式の科学問題で構成されています。データセットは、チャレンジ セットとイージー セットに分割されます。前者には、検索ベースのアルゴリズムと単語共起アルゴリズムの両方によって間違って回答された質問のみが含まれます。このセットは「簡単な」問題で構成されています。このバージョンには、追加の証拠として情報検索システムを介して取得された段落が含まれています。

  • ダウンロードサイズ: 7.00 MiB

  • データセットのサイズ: 7.17 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'test' 2,376
'train' 2,251
'validation' 570
  • 引用：
@article{clark2018think,
    title={Think you have solved question answering? try arc, the ai2 reasoning challenge},
    author={Clark, Peter and Cowhey, Isaac and Etzioni, Oren and Khot, Tushar and Sabharwal, Ashish and Schoenick, Carissa and Tafjord, Oyvind},
    journal={arXiv preprint arXiv:1803.05457},
    year={2018}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/arc_hard

  • 構成の説明: このデータセットは、高度な質問応答の研究を促進するために組み立てられた、正真正銘の小学校レベルの多肢選択式の科学問題で構成されています。データセットは、チャレンジ セットとイージー セットに分割されます。前者には、検索ベースのアルゴリズムと単語共起アルゴリズムの両方によって間違って回答された質問のみが含まれます。このセットは「難しい」問題で構成されています。

  • ダウンロードサイズ: 758.03 KiB

  • データセットサイズ: 848.28 KiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'test' 1,172
'train' 1,119
'validation' 299
  • 引用：
@article{clark2018think,
    title={Think you have solved question answering? try arc, the ai2 reasoning challenge},
    author={Clark, Peter and Cowhey, Isaac and Etzioni, Oren and Khot, Tushar and Sabharwal, Ashish and Schoenick, Carissa and Tafjord, Oyvind},
    journal={arXiv preprint arXiv:1803.05457},
    year={2018}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/arc_hard_dev

  • 構成の説明: このデータセットは、高度な質問応答の研究を促進するために組み立てられた、正真正銘の小学校レベルの多肢選択式の科学問題で構成されています。データセットは、チャレンジ セットとイージー セットに分割されます。前者には、検索ベースのアルゴリズムと単語共起アルゴリズムの両方によって間違って回答された質問のみが含まれます。このセットは「難しい」問題で構成されています。

  • ダウンロードサイズ: 758.03 KiB

  • データセットサイズ: 848.28 KiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'test' 1,172
'train' 1,119
'validation' 299
  • 引用：
@article{clark2018think,
    title={Think you have solved question answering? try arc, the ai2 reasoning challenge},
    author={Clark, Peter and Cowhey, Isaac and Etzioni, Oren and Khot, Tushar and Sabharwal, Ashish and Schoenick, Carissa and Tafjord, Oyvind},
    journal={arXiv preprint arXiv:1803.05457},
    year={2018}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/arc_hard_with_ir

  • 構成の説明: このデータセットは、高度な質問応答の研究を促進するために組み立てられた、正真正銘の小学校レベルの多肢選択式の科学問題で構成されています。データセットは、チャレンジ セットとイージー セットに分割されます。前者には、検索ベースのアルゴリズムと単語共起アルゴリズムの両方によって間違って回答された質問のみが含まれます。このセットは「難しい」問題で構成されています。このバージョンには、追加の証拠として情報検索システムを介して取得された段落が含まれています。

  • ダウンロードサイズ: 3.53 MiB

  • データセットサイズ: 3.62 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'test' 1,172
'train' 1,119
'validation' 299
  • 引用：
@article{clark2018think,
    title={Think you have solved question answering? try arc, the ai2 reasoning challenge},
    author={Clark, Peter and Cowhey, Isaac and Etzioni, Oren and Khot, Tushar and Sabharwal, Ashish and Schoenick, Carissa and Tafjord, Oyvind},
    journal={arXiv preprint arXiv:1803.05457},
    year={2018}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

Unified_qa/arc_hard_with_ir_dev

  • 構成の説明: このデータセットは、高度な質問応答の研究を促進するために組み立てられた、正真正銘の小学校レベルの多肢選択式の科学問題で構成されています。データセットは、チャレンジ セットとイージー セットに分割されます。前者には、検索ベースのアルゴリズムと単語共起アルゴリズムの両方によって間違って回答された質問のみが含まれます。このセットは「難しい」問題で構成されています。このバージョンには、追加の証拠として情報検索システムを介して取得された段落が含まれています。

  • ダウンロードサイズ: 3.53 MiB

  • データセットサイズ: 3.62 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'test' 1,172
'train' 1,119
'validation' 299
  • 引用：
@article{clark2018think,
    title={Think you have solved question answering? try arc, the ai2 reasoning challenge},
    author={Clark, Peter and Cowhey, Isaac and Etzioni, Oren and Khot, Tushar and Sabharwal, Ashish and Schoenick, Carissa and Tafjord, Oyvind},
    journal={arXiv preprint arXiv:1803.05457},
    year={2018}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/boolq

  • 構成の説明: BoolQ は、はい/いいえの質問に対する質問応答データセットです。これらの質問は自然に発生するものであり、プロンプトや制約のない設定で生成されます。各例は、(質問、パッセージ、回答) のトリプレットであり、オプションの追加コンテキストとしてページのタイトルが付いています。テキスト ペア分類のセットアップは、既存の自然言語推論タスクに似ています。

  • ダウンロードサイズ: 7.77 MiB

  • データセットサイズ: 8.20 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'train' 9,427
'validation' 3,270
  • 引用：
@inproceedings{clark-etal-2019-boolq,
    title = "{B}ool{Q}: Exploring the Surprising Difficulty of Natural Yes/No Questions",
    author = "Clark, Christopher  and
      Lee, Kenton  and
      Chang, Ming-Wei  and
      Kwiatkowski, Tom  and
      Collins, Michael  and
      Toutanova, Kristina",
    booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
    month = jun,
    year = "2019",
    address = "Minneapolis, Minnesota",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N19-1300",
    doi = "10.18653/v1/N19-1300",
    pages = "2924--2936",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/boolq_np

  • 構成の説明: BoolQ は、はい/いいえの質問に対する質問応答データセットです。これらの質問は自然に発生するものであり、プロンプトや制約のない設定で生成されます。各例は、(質問、パッセージ、回答) のトリプレットであり、オプションの追加コンテキストとしてページのタイトルが付いています。テキスト ペア分類のセットアップは、既存の自然言語推論タスクに似ています。このバージョンは、元のバージョンに自然摂動を追加します。

  • ダウンロードサイズ: 10.80 MiB

  • データセットのサイズ: 11.40 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'train' 9,727
'validation' 7,596
  • 引用：
@inproceedings{khashabi-etal-2020-bang,
    title = "More Bang for Your Buck: Natural Perturbation for Robust Question Answering",
    author = "Khashabi, Daniel  and
      Khot, Tushar  and
      Sabharwal, Ashish",
    booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.emnlp-main.12",
    doi = "10.18653/v1/2020.emnlp-main.12",
    pages = "163--170",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/commonsenseqa

  • 構成の説明: CommonsenseQA は、正解を予測するためにさまざまな種類の常識的な知識を必要とする、新しい多肢選択式の質問応答データセットです。これには、1 つの正解と 4 つの注意散漫な答えを含む問題が含まれています。

  • ダウンロードサイズ: 1.79 MiB

  • データセットサイズ: 2.19 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'test' 1,140
'train' 9,741
'validation' 1,221
  • 引用：
@inproceedings{talmor-etal-2019-commonsenseqa,
    title = "{C}ommonsense{QA}: A Question Answering Challenge Targeting Commonsense Knowledge",
    author = "Talmor, Alon  and
      Herzig, Jonathan  and
      Lourie, Nicholas  and
      Berant, Jonathan",
    booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
    month = jun,
    year = "2019",
    address = "Minneapolis, Minnesota",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N19-1421",
    doi = "10.18653/v1/N19-1421",
    pages = "4149--4158",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

Unified_qa/commonsenseqa_test

  • 構成の説明: CommonsenseQA は、正解を予測するためにさまざまな種類の常識的な知識を必要とする、新しい多肢選択式の質問応答データセットです。これには、1 つの正解と 4 つの注意散漫な答えを含む問題が含まれています。

  • ダウンロードサイズ: 1.79 MiB

  • データセットサイズ: 2.19 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'test' 1,140
'train' 9,741
'validation' 1,221
  • 引用：
@inproceedings{talmor-etal-2019-commonsenseqa,
    title = "{C}ommonsense{QA}: A Question Answering Challenge Targeting Commonsense Knowledge",
    author = "Talmor, Alon  and
      Herzig, Jonathan  and
      Lourie, Nicholas  and
      Berant, Jonathan",
    booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
    month = jun,
    year = "2019",
    address = "Minneapolis, Minnesota",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N19-1421",
    doi = "10.18653/v1/N19-1421",
    pages = "4149--4158",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

Unified_qa/contrast_sets_boolq

  • 構成の説明: BoolQ は、はい/いいえの質問に対する質問応答データセットです。これらの質問は自然に発生するものであり、プロンプトや制約のない設定で生成されます。各例は、(質問、パッセージ、回答) のトリプレットであり、オプションの追加コンテキストとしてページのタイトルが付いています。テキスト ペア分類のセットアップは、既存の自然言語推論タスクに似ています。このバージョンでは、コントラスト セットを使用します。これらの評価セットは、元のデータセットで一般的なパターンから逸脱した専門家が生成した摂動です。

  • ダウンロードサイズ: 438.51 KiB

  • データセットサイズ: 462.35 KiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'train' 340
'validation' 340
  • 引用：
@inproceedings{clark-etal-2019-boolq,
    title = "{B}ool{Q}: Exploring the Surprising Difficulty of Natural Yes/No Questions",
    author = "Clark, Christopher  and
      Lee, Kenton  and
      Chang, Ming-Wei  and
      Kwiatkowski, Tom  and
      Collins, Michael  and
      Toutanova, Kristina",
    booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
    month = jun,
    year = "2019",
    address = "Minneapolis, Minnesota",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N19-1300",
    doi = "10.18653/v1/N19-1300",
    pages = "2924--2936",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

Unified_qa/contrast_sets_drop

  • 構成の説明: DROP は、クラウドソーシングによって作成された、敵対的に作成された QA ベンチマークです。システムは、質問内の参照をおそらく複数の入力位置に解決し、それらに対して個別の操作 (追加、カウント、並べ替えなど) を実行する必要があります。これらの操作では、以前のデータセットで必要だったよりも、段落の内容をより包括的に理解する必要があります。このバージョンでは、コントラスト セットを使用します。これらの評価セットは、元のデータセットで一般的なパターンから逸脱した専門家が生成した摂動です。

  • ダウンロードサイズ: 2.20 MiB

  • データセットサイズ: 2.26 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'train' 947
'validation' 947
  • 引用：
@inproceedings{dua-etal-2019-drop,
    title = "{DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs",
    author = "Dua, Dheeru  and
      Wang, Yizhong  and
      Dasigi, Pradeep  and
      Stanovsky, Gabriel  and
      Singh, Sameer  and
      Gardner, Matt",
    booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
    month = jun,
    year = "2019",
    address = "Minneapolis, Minnesota",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N19-1246",
    doi = "10.18653/v1/N19-1246",
    pages = "2368--2378",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

Unified_qa/contrast_sets_quoref

  • 構成の説明: このデータセットは、読解システムの相互参照推論機能をテストします。ウィキペディアからの段落に対する質問を含むこのスパン選択ベンチマークでは、システムは、質問に答えるために段落内の適切なスパンを選択する前に、ハード相互参照を解決する必要があります。このバージョンでは、コントラスト セットを使用します。これらの評価セットは、元のデータセットで一般的なパターンから逸脱した専門家が生成した摂動です。

  • ダウンロードサイズ: 2.60 MiB

  • データセットサイズ: 2.65 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'train' 700
'validation' 700
  • 引用：
@inproceedings{dasigi-etal-2019-quoref,
    title = "{Q}uoref: A Reading Comprehension Dataset with Questions Requiring Coreferential Reasoning",
    author = "Dasigi, Pradeep  and
      Liu, Nelson F.  and
      Marasovi{'c}, Ana  and
      Smith, Noah A.  and
      Gardner, Matt",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-1606",
    doi = "10.18653/v1/D19-1606",
    pages = "5925--5932",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

Unified_qa/contrast_sets_ropes

  • 構成の説明: このデータセットは、テキストのパッセージからの知識を新しい状況に適用するシステムの能力をテストします。システムには、因果関係または質的関係 (たとえば、「動物の授粉媒介者は花の受精効率を高める」) を含む背景の一節、この背景を使用する新しい状況、および関係の影響についての推論を必要とする質問が提示されます。状況の文脈における背景の一節。このバージョンでは、コントラスト セットを使用します。これらの評価セットは、元のデータセットで一般的なパターンから逸脱した専門家が生成した摂動です。

  • ダウンロードサイズ: 1.97 MiB

  • データセットサイズ: 2.04 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'train' 974
'validation' 974
  • 引用：
@inproceedings{lin-etal-2019-reasoning,
    title = "Reasoning Over Paragraph Effects in Situations",
    author = "Lin, Kevin  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Gardner, Matt",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5808",
    doi = "10.18653/v1/D19-5808",
    pages = "58--62",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

Unified_QA/ドロップ

  • 構成の説明: DROP は、クラウドソーシングによって作成された、敵対的に作成された QA ベンチマークです。システムは、質問内の参照をおそらく複数の入力位置に解決し、それらに対して個別の操作 (追加、カウント、並べ替えなど) を実行する必要があります。これらの操作では、以前のデータセットで必要だったよりも、段落の内容をより包括的に理解する必要があります。

  • ダウンロードサイズ: 105.18 MiB

  • データセットのサイズ: 108.16 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'train' 77,399
'validation' 9,536
  • 引用：
@inproceedings{dua-etal-2019-drop,
    title = "{DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs",
    author = "Dua, Dheeru  and
      Wang, Yizhong  and
      Dasigi, Pradeep  and
      Stanovsky, Gabriel  and
      Singh, Sameer  and
      Gardner, Matt",
    booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
    month = jun,
    year = "2019",
    address = "Minneapolis, Minnesota",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N19-1246",
    doi = "10.18653/v1/N19-1246",
    pages = "2368--2378",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/mctest

  • 構成の説明: MCTest では、マシンが架空の物語に関する多肢選択式の読解問題に答える必要があり、オープン ドメインのマシン理解という高レベルの目標に直接取り組みます。読解力は、因果関係の推論や世界の理解などの高度な能力をテストできますが、多肢選択式であるため、明確な指標を提供します。フィクションであるため、答えは通常、ストーリー自体の中にしかありません。ストーリーや質問も、幼い子供が理解できるものに限定されているため、タスクに必要な世界の知識が少なくなります。

  • ダウンロードサイズ: 2.14 MiB

  • データセットサイズ: 2.20 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'train' 1,480
'validation' 320
  • 引用：
@inproceedings{richardson-etal-2013-mctest,
    title = "{MCT}est: A Challenge Dataset for the Open-Domain Machine Comprehension of Text",
    author = "Richardson, Matthew  and
      Burges, Christopher J.C.  and
      Renshaw, Erin",
    booktitle = "Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing",
    month = oct,
    year = "2013",
    address = "Seattle, Washington, USA",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D13-1020",
    pages = "193--203",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

Unified_qa/mctest_corrected_the_separator

  • 構成の説明: MCTest では、マシンが架空の物語に関する多肢選択式の読解問題に答える必要があり、オープン ドメインのマシン理解という高レベルの目標に直接取り組みます。読解力は、因果関係の推論や世界の理解などの高度な能力をテストできますが、多肢選択式であるため、明確な指標を提供します。フィクションであるため、答えは通常、ストーリー自体の中にしかありません。ストーリーや質問も、幼い子供が理解できるものに限定されているため、タスクに必要な世界の知識が少なくなります。

  • ダウンロードサイズ: 2.15 MiB

  • データセットサイズ: 2.21 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'train' 1,480
'validation' 320
  • 引用：
@inproceedings{richardson-etal-2013-mctest,
    title = "{MCT}est: A Challenge Dataset for the Open-Domain Machine Comprehension of Text",
    author = "Richardson, Matthew  and
      Burges, Christopher J.C.  and
      Renshaw, Erin",
    booktitle = "Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing",
    month = oct,
    year = "2013",
    address = "Seattle, Washington, USA",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D13-1020",
    pages = "193--203",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/multirc

  • 構成の説明: MultiRC は、複数の文からの情報を考慮してのみ質問に答えることができる読解力の課題です。この課題に対する質問と回答は、4 段階のクラウドソーシング実験を通じて募集および検証されました。このデータセットには、7 つの異なるドメイン (小学校の科学、ニュース、旅行ガイド、フィクションの話など) の段落に対する質問が含まれており、テキストと質問の言い回しに言語の多様性をもたらします。

  • ダウンロードサイズ: 897.09 KiB

  • データセットサイズ: 918.42 KiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'train' 312
'validation' 312
  • 引用：
@inproceedings{khashabi-etal-2018-looking,
    title = "Looking Beyond the Surface: A Challenge Set for Reading Comprehension over Multiple Sentences",
    author = "Khashabi, Daniel  and
      Chaturvedi, Snigdha  and
      Roth, Michael  and
      Upadhyay, Shyam  and
      Roth, Dan",
    booktitle = "Proceedings of the 2018 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers)",
    month = jun,
    year = "2018",
    address = "New Orleans, Louisiana",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N18-1023",
    doi = "10.18653/v1/N18-1023",
    pages = "252--262",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

Unified_qa/narrativeqa

  • 構成の説明: NarrativeQA は、特に長いドキュメントの読解力をテストするために設計された、ストーリーと対応する質問の英語のデータセットです。

  • ダウンロードサイズ: 308.28 MiB

  • データセットサイズ: 311.22 MiB

  • 自動キャッシュ(ドキュメント): いいえ

  • スプリット:

スプリット例
'test' 21,114
'train' 65,494
'validation' 6,922
  • 引用：
@article{kocisky-etal-2018-narrativeqa,
    title = "The {N}arrative{QA} Reading Comprehension Challenge",
    author = "Ko{
{c} }isk{'y}, Tom{'a}{
{s} }  and
      Schwarz, Jonathan  and
      Blunsom, Phil  and
      Dyer, Chris  and
      Hermann, Karl Moritz  and
      Melis, G{'a}bor  and
      Grefenstette, Edward",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "6",
    year = "2018",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q18-1023",
    doi = "10.1162/tacl_a_00023",
    pages = "317--328",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

Unified_qa/narrativeqa_dev

  • 構成の説明: NarrativeQA は、特に長いドキュメントの読解力をテストするために設計された、ストーリーと対応する質問の英語のデータセットです。

  • ダウンロードサイズ: 308.28 MiB

  • データセットサイズ: 311.22 MiB

  • 自動キャッシュ(ドキュメント): いいえ

  • スプリット:

スプリット例
'test' 21,114
'train' 65,494
'validation' 6,922
  • 引用：
@article{kocisky-etal-2018-narrativeqa,
    title = "The {N}arrative{QA} Reading Comprehension Challenge",
    author = "Ko{
{c} }isk{'y}, Tom{'a}{
{s} }  and
      Schwarz, Jonathan  and
      Blunsom, Phil  and
      Dyer, Chris  and
      Hermann, Karl Moritz  and
      Melis, G{'a}bor  and
      Grefenstette, Edward",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "6",
    year = "2018",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q18-1023",
    doi = "10.1162/tacl_a_00023",
    pages = "317--328",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/natural_questions

  • 構成の説明: NQ コーパスには実際のユーザーからの質問が含まれており、質問に対する回答が含まれている場合と含まれていない場合があるウィキペディアの記事全体を読んで理解するために、QA システムが必要です。実際のユーザーの質問を含めること、および解決策が答えを見つけるためにページ全体を読む必要があるという要件により、NQ は以前の QA データセットよりも現実的で困難なタスクになります。

  • ダウンロードサイズ: 6.95 MiB

  • データセットサイズ: 9.88 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'train' 96,075
'validation' 2,295
  • 引用：
@article{kwiatkowski-etal-2019-natural,
    title = "Natural Questions: A Benchmark for Question Answering Research",
    author = "Kwiatkowski, Tom  and
      Palomaki, Jennimaria  and
      Redfield, Olivia  and
      Collins, Michael  and
      Parikh, Ankur  and
      Alberti, Chris  and
      Epstein, Danielle  and
      Polosukhin, Illia  and
      Devlin, Jacob  and
      Lee, Kenton  and
      Toutanova, Kristina  and
      Jones, Llion  and
      Kelcey, Matthew  and
      Chang, Ming-Wei  and
      Dai, Andrew M.  and
      Uszkoreit, Jakob  and
      Le, Quoc  and
      Petrov, Slav",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "7",
    year = "2019",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q19-1026",
    doi = "10.1162/tacl_a_00276",
    pages = "452--466",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/natural_questions_direct_ans

  • 構成の説明: NQ コーパスには実際のユーザーからの質問が含まれており、質問に対する回答が含まれている場合と含まれていない場合があるウィキペディアの記事全体を読んで理解するために、QA システムが必要です。実際のユーザーの質問を含めること、および解決策が答えを見つけるためにページ全体を読む必要があるという要件により、NQ は以前の QA データセットよりも現実的で困難なタスクになります。このバージョンは、直接回答の質問で構成されています。

  • ダウンロードサイズ: 6.82 MiB

  • データセットのサイズ: 10.19 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'test' 6,468
'train' 96,676
'validation' 10,693
  • 引用：
@article{kwiatkowski-etal-2019-natural,
    title = "Natural Questions: A Benchmark for Question Answering Research",
    author = "Kwiatkowski, Tom  and
      Palomaki, Jennimaria  and
      Redfield, Olivia  and
      Collins, Michael  and
      Parikh, Ankur  and
      Alberti, Chris  and
      Epstein, Danielle  and
      Polosukhin, Illia  and
      Devlin, Jacob  and
      Lee, Kenton  and
      Toutanova, Kristina  and
      Jones, Llion  and
      Kelcey, Matthew  and
      Chang, Ming-Wei  and
      Dai, Andrew M.  and
      Uszkoreit, Jakob  and
      Le, Quoc  and
      Petrov, Slav",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "7",
    year = "2019",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q19-1026",
    doi = "10.1162/tacl_a_00276",
    pages = "452--466",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

Unified_qa/natural_questions_direct_ans_test

  • 構成の説明: NQ コーパスには実際のユーザーからの質問が含まれており、質問に対する回答が含まれている場合と含まれていない場合があるウィキペディアの記事全体を読んで理解するために、QA システムが必要です。実際のユーザーの質問を含めること、および解決策が答えを見つけるためにページ全体を読む必要があるという要件により、NQ は以前の QA データセットよりも現実的で困難なタスクになります。このバージョンは、直接回答の質問で構成されています。

  • ダウンロードサイズ: 6.82 MiB

  • データセットのサイズ: 10.19 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'test' 6,468
'train' 96,676
'validation' 10,693
  • 引用：
@article{kwiatkowski-etal-2019-natural,
    title = "Natural Questions: A Benchmark for Question Answering Research",
    author = "Kwiatkowski, Tom  and
      Palomaki, Jennimaria  and
      Redfield, Olivia  and
      Collins, Michael  and
      Parikh, Ankur  and
      Alberti, Chris  and
      Epstein, Danielle  and
      Polosukhin, Illia  and
      Devlin, Jacob  and
      Lee, Kenton  and
      Toutanova, Kristina  and
      Jones, Llion  and
      Kelcey, Matthew  and
      Chang, Ming-Wei  and
      Dai, Andrew M.  and
      Uszkoreit, Jakob  and
      Le, Quoc  and
      Petrov, Slav",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "7",
    year = "2019",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q19-1026",
    doi = "10.1162/tacl_a_00276",
    pages = "452--466",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

Unified_qa/natural_questions_with_dpr_para

  • 構成の説明: NQ コーパスには実際のユーザーからの質問が含まれており、質問に対する回答が含まれている場合と含まれていない場合があるウィキペディアの記事全体を読んで理解するために、QA システムが必要です。実際のユーザーの質問を含めること、および解決策が答えを見つけるためにページ全体を読む必要があるという要件により、NQ は以前の QA データセットよりも現実的で困難なタスクになります。このバージョンには、各質問を補強するための追加の段落 (DPR 検索エンジンを使用して取得) が含まれています。

  • ダウンロードサイズ: 319.22 MiB

  • データセットサイズ: 322.91 MiB

  • 自動キャッシュ(ドキュメント): いいえ

  • スプリット:

スプリット例
'train' 96,676
'validation' 10,693
  • 引用：
@article{kwiatkowski-etal-2019-natural,
    title = "Natural Questions: A Benchmark for Question Answering Research",
    author = "Kwiatkowski, Tom  and
      Palomaki, Jennimaria  and
      Redfield, Olivia  and
      Collins, Michael  and
      Parikh, Ankur  and
      Alberti, Chris  and
      Epstein, Danielle  and
      Polosukhin, Illia  and
      Devlin, Jacob  and
      Lee, Kenton  and
      Toutanova, Kristina  and
      Jones, Llion  and
      Kelcey, Matthew  and
      Chang, Ming-Wei  and
      Dai, Andrew M.  and
      Uszkoreit, Jakob  and
      Le, Quoc  and
      Petrov, Slav",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "7",
    year = "2019",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q19-1026",
    doi = "10.1162/tacl_a_00276",
    pages = "452--466",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

Unified_qa/natural_questions_with_dpr_para_test

  • 構成の説明: NQ コーパスには実際のユーザーからの質問が含まれており、質問に対する回答が含まれている場合と含まれていない場合があるウィキペディアの記事全体を読んで理解するために、QA システムが必要です。実際のユーザーの質問を含めること、および解決策が答えを見つけるためにページ全体を読む必要があるという要件により、NQ は以前の QA データセットよりも現実的で困難なタスクになります。このバージョンには、各質問を補強するための追加の段落 (DPR 検索エンジンを使用して取得) が含まれています。

  • ダウンロードサイズ: 306.94 MiB

  • データセットのサイズ: 310.48 MiB

  • 自動キャッシュ(ドキュメント): いいえ

  • スプリット:

スプリット例
'test' 6,468
'train' 96,676
  • 引用：
@article{kwiatkowski-etal-2019-natural,
    title = "Natural Questions: A Benchmark for Question Answering Research",
    author = "Kwiatkowski, Tom  and
      Palomaki, Jennimaria  and
      Redfield, Olivia  and
      Collins, Michael  and
      Parikh, Ankur  and
      Alberti, Chris  and
      Epstein, Danielle  and
      Polosukhin, Illia  and
      Devlin, Jacob  and
      Lee, Kenton  and
      Toutanova, Kristina  and
      Jones, Llion  and
      Kelcey, Matthew  and
      Chang, Ming-Wei  and
      Dai, Andrew M.  and
      Uszkoreit, Jakob  and
      Le, Quoc  and
      Petrov, Slav",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "7",
    year = "2019",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q19-1026",
    doi = "10.1162/tacl_a_00276",
    pages = "452--466",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/newsqa

  • 構成の説明: NewsQA は、人間が生成した質問と回答のペアから成る、挑戦的な機械理解データセットです。クラウドワーカーは、CNN の一連のニュース記事に基づいて質問と回答を提供します。回答は、対応する記事の一連のテキストで構成されます。

  • ダウンロードサイズ: 283.33 MiB

  • データセットサイズ: 285.94 MiB

  • 自動キャッシュ(ドキュメント): いいえ

  • スプリット:

スプリット例
'train' 75,882
'validation' 4,309
  • 引用：
@inproceedings{trischler-etal-2017-newsqa,
    title = "{N}ews{QA}: A Machine Comprehension Dataset",
    author = "Trischler, Adam  and
      Wang, Tong  and
      Yuan, Xingdi  and
      Harris, Justin  and
      Sordoni, Alessandro  and
      Bachman, Philip  and
      Suleman, Kaheer",
    booktitle = "Proceedings of the 2nd Workshop on Representation Learning for {NLP}",
    month = aug,
    year = "2017",
    address = "Vancouver, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/W17-2623",
    doi = "10.18653/v1/W17-2623",
    pages = "191--200",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/openbookqa

  • 構成の説明: OpenBookQA は、高度な質問応答の研究を促進することを目的としており、トピック (重要な事実が公開された本として要約され、データセットも提供されます) とそれが表現される言語の両方をより深く理解することを目的としています。特に、多段階の推論、追加の一般的および常識的な知識の使用、およびリッチテキストの理解を必要とする質問が含まれています。 OpenBookQA は、主題に対する人間の理解を評価するためのオープンブック試験をモデルにした、新しい種類の質問応答データセットです。

  • ダウンロードサイズ: 942.34 KiB

  • データセットサイズ: 1.11 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'test' 500
'train' 4,957
'validation' 500
  • 引用：
@inproceedings{mihaylov-etal-2018-suit,
    title = "Can a Suit of Armor Conduct Electricity? A New Dataset for Open Book Question Answering",
    author = "Mihaylov, Todor  and
      Clark, Peter  and
      Khot, Tushar  and
      Sabharwal, Ashish",
    booktitle = "Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing",
    month = oct # "-" # nov,
    year = "2018",
    address = "Brussels, Belgium",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D18-1260",
    doi = "10.18653/v1/D18-1260",
    pages = "2381--2391",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

Unified_qa/openbookqa_dev

  • 構成の説明: OpenBookQA は、高度な質問応答の研究を促進することを目的としており、トピック (重要な事実が公開された本として要約され、データセットも提供されます) とそれが表現される言語の両方をより深く理解することを目的としています。特に、多段階の推論、追加の一般的および常識的な知識の使用、およびリッチテキストの理解を必要とする質問が含まれています。 OpenBookQA は、主題に対する人間の理解を評価するためのオープンブック試験をモデルにした、新しい種類の質問応答データセットです。

  • ダウンロードサイズ: 942.34 KiB

  • データセットサイズ: 1.11 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'test' 500
'train' 4,957
'validation' 500
  • 引用：
@inproceedings{mihaylov-etal-2018-suit,
    title = "Can a Suit of Armor Conduct Electricity? A New Dataset for Open Book Question Answering",
    author = "Mihaylov, Todor  and
      Clark, Peter  and
      Khot, Tushar  and
      Sabharwal, Ashish",
    booktitle = "Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing",
    month = oct # "-" # nov,
    year = "2018",
    address = "Brussels, Belgium",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D18-1260",
    doi = "10.18653/v1/D18-1260",
    pages = "2381--2391",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

Unified_qa/openbookqa_with_ir

  • 構成の説明: OpenBookQA は、高度な質問応答の研究を促進することを目的としており、トピック (重要な事実が公開された本として要約され、データセットも提供されます) とそれが表現される言語の両方をより深く理解することを目的としています。特に、多段階の推論、追加の一般的および常識的な知識の使用、およびリッチテキストの理解を必要とする質問が含まれています。 OpenBookQA は、主題に対する人間の理解を評価するためのオープンブック試験をモデルにした、新しい種類の質問応答データセットです。このバージョンには、追加の証拠として情報検索システムを介して取得された段落が含まれています。

  • ダウンロードサイズ: 6.08 MiB

  • データセットサイズ: 6.28 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'test' 500
'train' 4,957
'validation' 500
  • 引用：
@inproceedings{mihaylov-etal-2018-suit,
    title = "Can a Suit of Armor Conduct Electricity? A New Dataset for Open Book Question Answering",
    author = "Mihaylov, Todor  and
      Clark, Peter  and
      Khot, Tushar  and
      Sabharwal, Ashish",
    booktitle = "Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing",
    month = oct # "-" # nov,
    year = "2018",
    address = "Brussels, Belgium",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D18-1260",
    doi = "10.18653/v1/D18-1260",
    pages = "2381--2391",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

Unified_qa/openbookqa_with_ir_dev

  • 構成の説明: OpenBookQA は、高度な質問応答の研究を促進することを目的としており、トピック (重要な事実が公開された本として要約され、データセットも提供されます) とそれが表現される言語の両方をより深く理解することを目的としています。特に、多段階の推論、追加の一般的および常識的な知識の使用、およびリッチテキストの理解を必要とする質問が含まれています。 OpenBookQA は、主題に対する人間の理解を評価するためのオープンブック試験をモデルにした、新しい種類の質問応答データセットです。このバージョンには、追加の証拠として情報検索システムを介して取得された段落が含まれています。

  • ダウンロードサイズ: 6.08 MiB

  • データセットサイズ: 6.28 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'test' 500
'train' 4,957
'validation' 500
  • 引用：
@inproceedings{mihaylov-etal-2018-suit,
    title = "Can a Suit of Armor Conduct Electricity? A New Dataset for Open Book Question Answering",
    author = "Mihaylov, Todor  and
      Clark, Peter  and
      Khot, Tushar  and
      Sabharwal, Ashish",
    booktitle = "Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing",
    month = oct # "-" # nov,
    year = "2018",
    address = "Brussels, Belgium",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D18-1260",
    doi = "10.18653/v1/D18-1260",
    pages = "2381--2391",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/physical_iqa

  • 構成の説明: これは、物理的な常識の理解の進歩をベンチマークするためのデータセットです。基本的なタスクは多肢選択式の質問応答です。質問 q と 2 つの可能な解決策 s1、s2 が与えられた場合、モデルまたは人間は最も適切な解決策を選択する必要があります。そのうちの 1 つだけが正しいものです。このデータセットは、通常とは異なるソリューションを好む日常の状況に焦点を当てています。このデータセットは、instructables.com から着想を得ており、日常の材料を使用してオブジェクトを構築、作成、焼き付け、または操作する方法をユーザーに提供しています。アノテーターは、物理的な知識が確実に対象となるように、構文的およびトピック的に類似しているセマンティック摂動または代替アプローチを提供するよう求められます。 AFLite アルゴリズムを使用して、データセットから基本的なアーティファクトをさらに消去します。

  • ダウンロードサイズ: 6.01 MiB

  • データセットのサイズ: 6.59 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'train' 16,113
'validation' 1,838
  • 引用：
@inproceedings{bisk2020piqa,
    title={Piqa: Reasoning about physical commonsense in natural language},
    author={Bisk, Yonatan and Zellers, Rowan and Gao, Jianfeng and Choi, Yejin and others},
    booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
    volume={34},
    number={05},
    pages={7432--7439},
    year={2020}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/qasc

  • 構成の説明: QASC は、文の構成に焦点を当てた質問応答データセットです。小学校の科学に関する 8 通りの多肢選択問題で構成され、1,700 万文のコーパスが付属しています。

  • ダウンロードサイズ: 1.75 MiB

  • データセットサイズ: 2.09 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'test' 920
'train' 8,134
'validation' 926
  • 引用：
@inproceedings{khot2020qasc,
    title={Qasc: A dataset for question answering via sentence composition},
    author={Khot, Tushar and Clark, Peter and Guerquin, Michal and Jansen, Peter and Sabharwal, Ashish},
    booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
    volume={34},
    number={05},
    pages={8082--8090},
    year={2020}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

Unified_qa/qasc_test

  • 構成の説明: QASC は、文の構成に焦点を当てた質問応答データセットです。小学校の科学に関する 8 通りの多肢選択問題で構成され、1,700 万文のコーパスが付属しています。

  • ダウンロードサイズ: 1.75 MiB

  • データセットサイズ: 2.09 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'test' 920
'train' 8,134
'validation' 926
  • 引用：
@inproceedings{khot2020qasc,
    title={Qasc: A dataset for question answering via sentence composition},
    author={Khot, Tushar and Clark, Peter and Guerquin, Michal and Jansen, Peter and Sabharwal, Ashish},
    booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
    volume={34},
    number={05},
    pages={8082--8090},
    year={2020}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

Unified_qa/qasc_with_ir

  • 構成の説明: QASC は、文の構成に焦点を当てた質問応答データセットです。小学校の科学に関する 8 通りの多肢選択問題で構成され、1,700 万文のコーパスが付属しています。このバージョンには、追加の証拠として情報検索システムを介して取得された段落が含まれています。

  • ダウンロードサイズ: 16.95 MiB

  • データセットのサイズ: 17.30 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'test' 920
'train' 8,134
'validation' 926
  • 引用：
@inproceedings{khot2020qasc,
    title={Qasc: A dataset for question answering via sentence composition},
    author={Khot, Tushar and Clark, Peter and Guerquin, Michal and Jansen, Peter and Sabharwal, Ashish},
    booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
    volume={34},
    number={05},
    pages={8082--8090},
    year={2020}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

Unified_qa/qasc_with_ir_test

  • 構成の説明: QASC は、文の構成に焦点を当てた質問応答データセットです。小学校の科学に関する 8 通りの多肢選択問題で構成され、1,700 万文のコーパスが付属しています。このバージョンには、追加の証拠として情報検索システムを介して取得された段落が含まれています。

  • ダウンロードサイズ: 16.95 MiB

  • データセットのサイズ: 17.30 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'test' 920
'train' 8,134
'validation' 926
  • 引用：
@inproceedings{khot2020qasc,
    title={Qasc: A dataset for question answering via sentence composition},
    author={Khot, Tushar and Clark, Peter and Guerquin, Michal and Jansen, Peter and Sabharwal, Ashish},
    booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
    volume={34},
    number={05},
    pages={8082--8090},
    year={2020}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/quoref

  • 構成の説明: このデータセットは、読解システムの相互参照推論機能をテストします。ウィキペディアからの段落に対する質問を含むこのスパン選択ベンチマークでは、システムは、質問に答えるために段落内の適切なスパンを選択する前に、ハード相互参照を解決する必要があります。

  • ダウンロードサイズ: 51.43 MiB

  • データセットサイズ: 52.29 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'train' 22,265
'validation' 2,768
  • 引用：
@inproceedings{dasigi-etal-2019-quoref,
    title = "{Q}uoref: A Reading Comprehension Dataset with Questions Requiring Coreferential Reasoning",
    author = "Dasigi, Pradeep  and
      Liu, Nelson F.  and
      Marasovi{'c}, Ana  and
      Smith, Noah A.  and
      Gardner, Matt",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-1606",
    doi = "10.18653/v1/D19-1606",
    pages = "5925--5932",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/race_string

  • 構成の説明: Race は大規模な読解データセットです。このデータセットは、中学生と高校生を対象とした中国の英語試験から収集されています。データセットは、機械理解のトレーニング セットとテスト セットとして使用できます。

  • ダウンロードサイズ: 167.97 MiB

  • データセットのサイズ: 171.23 MiB

  • 自動キャッシュ(ドキュメント): はい (テスト、検証)、 shuffle_files=Falseの場合のみ (トレーニング)

  • スプリット:

スプリット例
'test' 4,934
'train' 87,863
'validation' 4,887
  • 引用：
@inproceedings{lai-etal-2017-race,
    title = "{RACE}: Large-scale {R}e{A}ding Comprehension Dataset From Examinations",
    author = "Lai, Guokun  and
      Xie, Qizhe  and
      Liu, Hanxiao  and
      Yang, Yiming  and
      Hovy, Eduard",
    booktitle = "Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing",
    month = sep,
    year = "2017",
    address = "Copenhagen, Denmark",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D17-1082",
    doi = "10.18653/v1/D17-1082",
    pages = "785--794",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/race_string_dev

  • 構成の説明: Race は大規模な読解データセットです。このデータセットは、中学生と高校生を対象とした中国の英語試験から収集されています。データセットは、機械理解のトレーニング セットとテスト セットとして使用できます。

  • ダウンロードサイズ: 167.97 MiB

  • データセットのサイズ: 171.23 MiB

  • 自動キャッシュ(ドキュメント): はい (テスト、検証)、 shuffle_files=Falseの場合のみ (トレーニング)

  • スプリット:

スプリット例
'test' 4,934
'train' 87,863
'validation' 4,887
  • 引用：
@inproceedings{lai-etal-2017-race,
    title = "{RACE}: Large-scale {R}e{A}ding Comprehension Dataset From Examinations",
    author = "Lai, Guokun  and
      Xie, Qizhe  and
      Liu, Hanxiao  and
      Yang, Yiming  and
      Hovy, Eduard",
    booktitle = "Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing",
    month = sep,
    year = "2017",
    address = "Copenhagen, Denmark",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D17-1082",
    doi = "10.18653/v1/D17-1082",
    pages = "785--794",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/ropes

  • 構成の説明: このデータセットは、テキストのパッセージからの知識を新しい状況に適用するシステムの能力をテストします。システムには、因果関係または質的関係 (たとえば、「動物の授粉媒介者は花の受精効率を高める」) を含む背景の一節、この背景を使用する新しい状況、および関係の影響についての推論を必要とする質問が提示されます。状況の文脈における背景の一節。

  • ダウンロードサイズ: 12.91 MiB

  • データセットのサイズ: 13.35 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'train' 10,924
'validation' 1,688
  • 引用：
@inproceedings{lin-etal-2019-reasoning,
    title = "Reasoning Over Paragraph Effects in Situations",
    author = "Lin, Kevin  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Gardner, Matt",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5808",
    doi = "10.18653/v1/D19-5808",
    pages = "58--62",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/social_iqa

  • 構成の説明: これは、社会的状況に関する常識的な推論のための大規模なベンチマークです。 Social IQa には、日常のさまざまな状況で感情的知性と社会的知性を調べるための多肢選択問題が含まれています。クラウドソーシングを通じて、社会的相互作用に関する常識的な質問と正解と不正解が収集されます。これには、労働者に異なるが関連する質問への正解を提供するよう求めることで、不正解の文体的なアーティファクトを軽減する新しいフレームワークが使用されます。

  • ダウンロードサイズ: 7.08 MiB

  • データセットサイズ: 8.22 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'train' 33,410
'validation' 1,954人
  • 引用：
@inproceedings{sap-etal-2019-social,
    title = "Social {IQ}a: Commonsense Reasoning about Social Interactions",
    author = "Sap, Maarten  and
      Rashkin, Hannah  and
      Chen, Derek  and
      Le Bras, Ronan  and
      Choi, Yejin",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-1454",
    doi = "10.18653/v1/D19-1454",
    pages = "4463--4473",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/squad1_1

  • 構成の説明: これは、ウィキペディアの一連の記事に対してクラウドワーカーによって提起された質問で構成される読解力のデータセットです。各質問への回答は、対応する読書の一節からのテキストのセグメントです。

  • ダウンロードサイズ: 80.62 MiB

  • データセットのサイズ: 83.99 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'train' 87,514
'validation' 10,570
  • 引用：
@inproceedings{rajpurkar-etal-2016-squad,
    title = "{SQ}u{AD}: 100,000+ Questions for Machine Comprehension of Text",
    author = "Rajpurkar, Pranav  and
      Zhang, Jian  and
      Lopyrev, Konstantin  and
      Liang, Percy",
    booktitle = "Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing",
    month = nov,
    year = "2016",
    address = "Austin, Texas",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D16-1264",
    doi = "10.18653/v1/D16-1264",
    pages = "2383--2392",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/squad2

  • 構成の説明: このデータセットは、元の Stanford Question Answering Dataset (SQuAD) データセットと、クラウドワーカーによって敵対的に書かれた答えられない質問を組み合わせて、答えられる質問に似せています。

  • ダウンロードサイズ: 116.56 MiB

  • データセットのサイズ: 121.43 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'train' 130,149
'validation' 11,873
  • 引用：
@inproceedings{rajpurkar-etal-2018-know,
    title = "Know What You Don{'}t Know: Unanswerable Questions for {SQ}u{AD}",
    author = "Rajpurkar, Pranav  and
      Jia, Robin  and
      Liang, Percy",
    booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)",
    month = jul,
    year = "2018",
    address = "Melbourne, Australia",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/P18-2124",
    doi = "10.18653/v1/P18-2124",
    pages = "784--789",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/winogrande_l

  • 構成の説明: このデータセットは、元の Winograd Schema Challenge の設計に触発されていますが、データセットの規模と硬度の両方を改善するように調整されています。データセット構築の重要なステップは、(1) 慎重に設計されたクラウドソーシング手順と、それに続く (2) 人間が検出できる単語の関連付けを機械が検出できる埋め込み関連付けに一般化する新しい AfLite アルゴリズムを使用した体系的なバイアスの削減で構成されます。さまざまなサイズのトレーニング セットが用意されています。このセットはサイズlに対応します。

  • ダウンロードサイズ: 1.49 MiB

  • データセットサイズ: 1.83 MiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'train' 10,234
'validation' 1,267
  • 引用：
@inproceedings{sakaguchi2020winogrande,
  title={Winogrande: An adversarial winograd schema challenge at scale},
  author={Sakaguchi, Keisuke and Le Bras, Ronan and Bhagavatula, Chandra and Choi, Yejin},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={34},
  number={05},
  pages={8732--8740},
  year={2020}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/winogrande_m

  • 構成の説明: このデータセットは、元の Winograd Schema Challenge の設計に触発されていますが、データセットの規模と硬度の両方を改善するように調整されています。データセット構築の重要なステップは、(1) 慎重に設計されたクラウドソーシング手順と、それに続く (2) 人間が検出できる単語の関連付けを機械が検出できる埋め込み関連付けに一般化する新しい AfLite アルゴリズムを使用した体系的なバイアスの削減で構成されます。さまざまなサイズのトレーニング セットが用意されています。このセットはサイズmに対応します。

  • ダウンロードサイズ: 507.46 KiB

  • データセットサイズ: 623.15 KiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'train' 2,558
'validation' 1,267
  • 引用：
@inproceedings{sakaguchi2020winogrande,
  title={Winogrande: An adversarial winograd schema challenge at scale},
  author={Sakaguchi, Keisuke and Le Bras, Ronan and Bhagavatula, Chandra and Choi, Yejin},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={34},
  number={05},
  pages={8732--8740},
  year={2020}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/winogrande_s

  • 構成の説明: このデータセットは、元の Winograd Schema Challenge の設計に触発されていますが、データセットの規模と硬度の両方を改善するように調整されています。データセット構築の重要なステップは、(1) 慎重に設計されたクラウドソーシング手順と、それに続く (2) 人間が検出できる単語の関連付けを機械が検出できる埋め込み関連付けに一般化する新しい AfLite アルゴリズムを使用した体系的なバイアスの削減で構成されます。さまざまなサイズのトレーニング セットが用意されています。このセットは、サイズsに対応します。

  • ダウンロードサイズ: 479.24 KiB

  • データセットサイズ: 590.47 KiB

  • 自動キャッシュ(ドキュメント): はい

  • スプリット:

スプリット例
'test' 1,767
'train' 640
'validation' 1,267
  • 引用：
@inproceedings{sakaguchi2020winogrande,
  title={Winogrande: An adversarial winograd schema challenge at scale},
  author={Sakaguchi, Keisuke and Le Bras, Ronan and Bhagavatula, Chandra and Choi, Yejin},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={34},
  number={05},
  pages={8732--8740},
  year={2020}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."