TFDS はCroissant 🥐 形式をサポートするようになりました。詳細については、ドキュメントをお読みください。

このページは Cloud Translation API によって翻訳されました。

mrqa

説明:

MRQA 2019 共有タスクは、質問応答の一般化に焦点を当てています。効果的な質問応答システムは、同じ分布から引き出されたテスト例に回答するためにトレーニングセットから補間するだけではなく、分布外の例を推定することもできる必要があります。これは非常に困難な課題です。

MRQA は、複数の個別の質問応答データセット (既存のデータセットの慎重に選択されたサブセット) を同じ形式 (SQuAD 形式) に適合させて統合します。そのうち、6 つのデータセットがトレーニング用に利用可能になり、6 つのデータセットがテスト用に利用可能になりました。トレーニングデータセットのごく一部は、開発に使用できるドメイン内データとして提供されました。テストデータセットには、ドメイン外のデータのみが含まれています。このベンチマークは、MRQA 2019 Shared Task の一部としてリリースされています。

詳細については、 <a href="https://mrqa.github.io/2019/shared.html">https://mrqa.github.io/2019/shared.html</a>をご覧ください。

追加のドキュメント:コードを使用したペーパーの探索
ホームページ: https://mrqa.github.io/2019/shared.html
ソースコード: tfds.text.mrqa.MRQA
バージョン:
- 1.0.0 (デフォルト): 初期リリース。
機能構造:

FeaturesDict({
    'answers': Sequence(string),
    'context': string,
    'context_tokens': Sequence({
        'offsets': int32,
        'tokens': string,
    }),
    'detected_answers': Sequence({
        'char_spans': Sequence({
            'end': int32,
            'start': int32,
        }),
        'text': string,
        'token_spans': Sequence({
            'end': int32,
            'start': int32,
        }),
    }),
    'qid': string,
    'question': string,
    'question_tokens': Sequence({
        'offsets': int32,
        'tokens': string,
    }),
    'subset': string,
})

機能のドキュメント:

特徴	クラス	形	Dtype
	特徴辞書
答え	シーケンス(テンソル)	（なし、）	ストリング
環境	テンソル		ストリング
context_tokens	順序
context_tokens/offsets	テンソル		int32
context_tokens/トークン	テンソル		ストリング
検出された回答	順序
検出された_回答/char_spans	順序
detected_answers/char_spans/end	テンソル		int32
detected_answers/char_spans/start	テンソル		int32
検出された_回答/テキスト	テンソル		ストリング
検出された_回答/トークン_スパン	順序
detected_answers/token_spans/end	テンソル		int32
検出された_回答/トークン_スパン/開始	テンソル		int32
キッド	テンソル		ストリング
質問	テンソル		ストリング
question_tokens	順序
question_tokens/offsets	テンソル		int32
question_tokens/トークン	テンソル		ストリング
サブセット	テンソル		ストリング

監視されたキー( as_supervised docを参照): None
図( tfds.show_examples ): サポートされていません。

mrqa/squad (デフォルト設定)

構成の説明: SQuAD (Stanford Question Answering Dataset) データセットは、共有タスク形式の基礎として使用されます。クラウドワーカーはウィキペディアの段落を見せられ、抽出的な回答を含む質問を書くよう求められます。
ダウンロードサイズ: 29.66 MiB
データセットサイズ: 271.43 MiB
自動キャッシュ(ドキュメント): いいえ
スプリット:

スプリット	例
`'train'`	86,588
`'validation'`	10,507

例( tfds.as_dataframe ):

引用：

@inproceedings{rajpurkar-etal-2016-squad,
    title = "{SQ}u{AD}: 100,000+ Questions for Machine Comprehension of Text",
    author = "Rajpurkar, Pranav  and
      Zhang, Jian  and
      Lopyrev, Konstantin  and
      Liang, Percy",
    booktitle = "Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing",
    month = nov,
    year = "2016",
    address = "Austin, Texas",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D16-1264",
    doi = "10.18653/v1/D16-1264",
    pages = "2383--2392",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/news_qa

構成の説明: 2 組のクラウドワーカーが、CNN のニュース記事に基づいて質問し、回答します。「質問者」には記事の見出しと要約のみが表示され、「回答者」には記事全体が表示されます。回答がない、またはデータセット内でアノテーターの同意がないというフラグが付けられている質問は破棄されます。
ダウンロードサイズ: 56.83 MiB
データセットのサイズ: 654.25 MiB
自動キャッシュ(ドキュメント): いいえ
スプリット:

スプリット	例
`'train'`	74,160
`'validation'`	4,212

例( tfds.as_dataframe ):

引用：

@inproceedings{trischler-etal-2017-newsqa,
        title = "{N}ews{QA}: A Machine Comprehension Dataset",
        author = "Trischler, Adam  and
          Wang, Tong  and
          Yuan, Xingdi  and
          Harris, Justin  and
          Sordoni, Alessandro  and
          Bachman, Philip  and
          Suleman, Kaheer",
        booktitle = "Proceedings of the 2nd Workshop on Representation Learning for {NLP}",
        month = aug,
        year = "2017",
        address = "Vancouver, Canada",
        publisher = "Association for Computational Linguistics",
        url = "https://aclanthology.org/W17-2623",
        doi = "10.18653/v1/W17-2623",
        pages = "191--200",
    }
#
@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/トリビア_qa

構成の説明: 質問と回答のペアは、トリビアやクイズリーグの Web サイトから提供されています。コンテキストが Bing 検索クエリの結果から取得される TriviaQA の Web バージョンが使用されます。
ダウンロードサイズ: 383.14 MiB
データセットのサイズ: 772.75 MiB
自動キャッシュ(ドキュメント): いいえ
スプリット:

スプリット	例
`'train'`	61,688
`'validation'`	7,785

例( tfds.as_dataframe ):

引用：

@inproceedings{joshi-etal-2017-triviaqa,
    title = "{T}rivia{QA}: A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension",
    author = "Joshi, Mandar  and
      Choi, Eunsol  and
      Weld, Daniel  and
      Zettlemoyer, Luke",
    booktitle = "Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2017",
    address = "Vancouver, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/P17-1147",
    doi = "10.18653/v1/P17-1147",
    pages = "1601--1611",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/search_qa

構成の説明: 質問と回答のペアは Jeopardy! から取得されます。テレビ番組。コンテキストは、Google 検索クエリから取得したスニペットで構成されています。
ダウンロードサイズ: 699.86 MiB
データセットサイズ: 1.38 GiB
自動キャッシュ(ドキュメント): いいえ
スプリット:

スプリット	例
`'train'`	117,384
`'validation'`	16,980

例( tfds.as_dataframe ):

引用：

@article{dunn2017searchqa,
    title={Searchqa: A new q\&a dataset augmented with context from a search engine},
    author={Dunn, Matthew and Sagun, Levent and Higgins, Mike and Guney, V Ugur and Cirik, Volkan and Cho, Kyunghyun},
    journal={arXiv preprint arXiv:1704.05179},
    year={2017}
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/hotpot_qa

構成の説明: クラウドワーカーは、ウィキペディアからエンティティにリンクされた 2 つの段落が表示され、解決するためにマルチホップの推論が必要な質問を作成して回答するよう求められます。元の設定では、これらのパラグラフは、推論をより困難にするために追加のディストラクタパラグラフと混合されています。ここでは、ディストラクターの段落は含まれていません。
ダウンロードサイズ: 111.98 MiB
データセットサイズ: 272.87 MiB
自動キャッシュ(ドキュメント): いいえ
スプリット:

スプリット	例
`'train'`	72,928
`'validation'`	5,901

例( tfds.as_dataframe ):

引用：

@inproceedings{yang-etal-2018-hotpotqa,
    title = "{H}otpot{QA}: A Dataset for Diverse, Explainable Multi-hop Question Answering",
    author = "Yang, Zhilin  and
      Qi, Peng  and
      Zhang, Saizheng  and
      Bengio, Yoshua  and
      Cohen, William  and
      Salakhutdinov, Ruslan  and
      Manning, Christopher D.",
    booktitle = "Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing",
    month = oct # "-" # nov,
    year = "2018",
    address = "Brussels, Belgium",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D18-1259",
    doi = "10.18653/v1/D18-1259",
    pages = "2369--2380",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/natural_questions

構成説明: 質問は、自然な条件下で実際のユーザーが Google 検索エンジンに情報を求めるクエリから収集されます。質問への回答は、クラウドワーカーによって検索されたウィキペディアのページに注釈が付けられます。 2 種類の注釈が収集されます。1) 質問に対する回答を完全に推測するのに十分な情報を含む HTML バウンディングボックス (ロングアンサー)、および 2) 実際の回答を構成するバウンディングボックス内のサブスパンまたはサブスパン (ショートアンサー)。）。短い答えを持つ例のみが使用され、長い答えがコンテキストとして使用されます。
ダウンロードサイズ: 121.15 MiB
データセットサイズ: 339.03 MiB
自動キャッシュ(ドキュメント): いいえ
スプリット:

スプリット	例
`'train'`	104,071
`'validation'`	12,836

例( tfds.as_dataframe ):

引用：

@article{kwiatkowski-etal-2019-natural,
    title = "Natural Questions: A Benchmark for Question Answering Research",
    author = "Kwiatkowski, Tom  and
      Palomaki, Jennimaria  and
      Redfield, Olivia  and
      Collins, Michael  and
      Parikh, Ankur  and
      Alberti, Chris  and
      Epstein, Danielle  and
      Polosukhin, Illia  and
      Devlin, Jacob  and
      Lee, Kenton  and
      Toutanova, Kristina  and
      Jones, Llion  and
      Kelcey, Matthew  and
      Chang, Ming-Wei  and
      Dai, Andrew M.  and
      Uszkoreit, Jakob  and
      Le, Quoc  and
      Petrov, Slav",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "7",
    year = "2019",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q19-1026",
    doi = "10.1162/tacl_a_00276",
    pages = "452--466",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/bio_asq

構成の説明: 大規模な生物医学的セマンティックインデックス作成と質問応答に関する課題である BioASQ には、ドメインの専門家によって作成された質問と回答のペアが含まれています。その後、関連する複数の科学 (PubMed) 記事に手動でリンクされます。リンクされた各記事の完全な要約がダウンロードされ、個別のコンテキストとして使用されます (たとえば、1 つの質問を複数の独立した記事にリンクして、複数の QA コンテキストのペアを作成できます)。回答が正確に含まれていない抄録は破棄されます。
ダウンロードサイズ: 2.54 MiB
データセットのサイズ: 6.70 MiB
自動キャッシュ(ドキュメント): はい
スプリット:

スプリット	例
`'test'`	1,504

例( tfds.as_dataframe ):

引用：

@article{tsatsaronis2015overview,
    title={An overview of the BIOASQ large-scale biomedical semantic indexing and question answering competition},
    author={Tsatsaronis, George and Balikas, Georgios and Malakasiotis, Prodromos and Partalas, Ioannis and Zschunke, Matthias and Alvers, Michael R and Weissenborn, Dirk and Krithara, Anastasia and Petridis, Sergios and Polychronopoulos, Dimitris and others},
    journal={BMC bioinformatics},
    volume={16},
    number={1},
    pages={1--28},
    year={2015},
    publisher={Springer}
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/ドロップ

構成の説明: DROP (パラグラフのコンテンツに対する離散推論) の例は、クラウドワーカーがウィキペディアのパラグラフから質問と回答のペアを作成するよう求められる SQuAD と同様に収集されました。質問は定量的推論に焦点を当てており、元のデータセットには、非抽出数値回答と抽出テキスト回答が含まれています。抽出的な質問のセットが使用されます。
ダウンロードサイズ: 578.25 KiB
データセットのサイズ: 5.41 MiB
自動キャッシュ(ドキュメント): はい
スプリット:

スプリット	例
`'test'`	1,503

例( tfds.as_dataframe ):

引用：

@inproceedings{dua-etal-2019-drop,
    title = "{DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs",
    author = "Dua, Dheeru  and
      Wang, Yizhong  and
      Dasigi, Pradeep  and
      Stanovsky, Gabriel  and
      Singh, Sameer  and
      Gardner, Matt",
    booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
    month = jun,
    year = "2019",
    address = "Minneapolis, Minnesota",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N19-1246",
    doi = "10.18653/v1/N19-1246",
    pages = "2368--2378",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/duo_rc

構成の説明: DuoRC データセットの ParaphraseRC 分割が使用されます。この設定では、同じ映画の 2 つの異なるあらすじ (1 つはウィキペディアから、もう 1 つは IMDb から) が収集されます。 2 組のクラウドワーカーが映画のあらすじについて質問し、回答します。「質問者」にはウィキペディアのページのみが表示され、「回答者」には IMDb ページのみが表示されます。回答不能としてマークされた質問は破棄されます。
ダウンロードサイズ: 1.14 MiB
データセットサイズ: 15.04 MiB
自動キャッシュ(ドキュメント): はい
スプリット:

スプリット	例
`'test'`	1,501

例( tfds.as_dataframe ):

引用：

@inproceedings{saha-etal-2018-duorc,
    title = "{D}uo{RC}: Towards Complex Language Understanding with Paraphrased Reading Comprehension",
    author = "Saha, Amrita  and
      Aralikatte, Rahul  and
      Khapra, Mitesh M.  and
      Sankaranarayanan, Karthik",
    booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2018",
    address = "Melbourne, Australia",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/P18-1156",
    doi = "10.18653/v1/P18-1156",
    pages = "1683--1693",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/レース

構成の説明: ReAding Comprehension Dataset From Examinations (RACE) は、中国の中高生向けの英語の読解力試験から収集されます。高校の分割 (より難しい) が使用され、暗黙の「穴埋め」スタイルの質問 (このタスクには不自然です) も除外されます。
ダウンロードサイズ: 1.49 MiB
データセットサイズ: 3.53 MiB
自動キャッシュ(ドキュメント): はい
スプリット:

スプリット	例
`'test'`	674

例( tfds.as_dataframe ):

引用：

@inproceedings{lai-etal-2017-race,
    title = "{RACE}: Large-scale {R}e{A}ding Comprehension Dataset From Examinations",
    author = "Lai, Guokun  and
      Xie, Qizhe  and
      Liu, Hanxiao  and
      Yang, Yiming  and
      Hovy, Eduard",
    booktitle = "Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing",
    month = sep,
    year = "2017",
    address = "Copenhagen, Denmark",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D17-1082",
    doi = "10.18653/v1/D17-1082",
    pages = "785--794",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/relation_extraction

構成の説明: スロットを埋めるデータセットが与えられると、エンティティ間の関係は、テンプレートを使用して体系的に質問と回答のペアに変換されます。たとえば、文に現れる 2 つのエンティティ x と y の間の educationd_at(x, y) 関係は、「x はどこで教育を受けましたか?」と表現できます。答えyで。リレーションのタイプごとに複数のテンプレートが収集されます。データセットのゼロショットベンチマーク分割 (目に見えない関係への一般化) が使用され、正の例のみが保持されます。
ダウンロードサイズ: 830.88 KiB
データセットサイズ: 3.71 MiB
自動キャッシュ(ドキュメント): はい
スプリット:

スプリット	例
`'test'`	2,948

例( tfds.as_dataframe ):

引用：

@inproceedings{levy-etal-2017-zero,
    title = "Zero-Shot Relation Extraction via Reading Comprehension",
    author = "Levy, Omer  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Zettlemoyer, Luke",
    booktitle = "Proceedings of the 21st Conference on Computational Natural Language Learning ({C}o{NLL} 2017)",
    month = aug,
    year = "2017",
    address = "Vancouver, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/K17-1034",
    doi = "10.18653/v1/K17-1034",
    pages = "333--342",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/textbook_qa

構成の説明: TextbookQA は、中学校の生命科学、地球科学、および物理科学の教科書の授業から収集されます。図付きの質問、または「正誤問題」の質問は含まれていません。
ダウンロードサイズ: 1.79 MiB
データセットのサイズ: 14.04 MiB
自動キャッシュ(ドキュメント): はい
スプリット:

スプリット	例
`'test'`	1,503

例( tfds.as_dataframe ):

引用：

@inproceedings{kembhavi2017you,
    title={Are you smarter than a sixth grader? textbook question answering for multimodal machine comprehension},
    author={Kembhavi, Aniruddha and Seo, Minjoon and Schwenk, Dustin and Choi, Jonghyun and Farhadi, Ali and Hajishirzi, Hannaneh},
    booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern recognition},
    pages={4999--5007},
    year={2017}
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."