Mrqa

• Descrição :

A Tarefa Compartilhada MRQA 2019 se concentra na generalização na resposta a perguntas. Um sistema eficaz de resposta a perguntas deve fazer mais do que meramente interpolar do conjunto de treinamento para responder a exemplos de teste extraídos da mesma distribuição: ele também deve ser capaz de extrapolar para exemplos fora da distribuição - um desafio significativamente mais difícil.

O MRQA adapta e unifica vários conjuntos de dados de resposta a perguntas distintas (subconjuntos cuidadosamente selecionados de conjuntos de dados existentes) no mesmo formato (formato SQuAD). Entre eles, seis conjuntos de dados foram disponibilizados para treinamento e seis conjuntos de dados foram disponibilizados para teste. Pequenas porções dos conjuntos de dados de treinamento foram mantidas como dados no domínio que podem ser usados ​​para desenvolvimento. Os conjuntos de dados de teste contêm apenas dados fora do domínio. Este benchmark é lançado como parte da Tarefa Compartilhada MRQA 2019.

Mais informações podem ser encontradas em: <a href="https://mrqa.github.io/2019/shared.html">https://mrqa.github.io/2019/shared.html</a> .

• Documentação Adicional : Explore em Papers With Code north_east

• Página inicial : https://mrqa.github.io/2019/shared.html

• Código -fonte: tfds.text.mrqa.MRQA

• Versões :

  • 1.0.0 (padrão): versão inicial.

• Estrutura de recursos :

FeaturesDict({
    'answers': Sequence(string),
    'context': string,
    'context_tokens': Sequence({
        'offsets': int32,
        'tokens': string,
    }),
    'detected_answers': Sequence({
        'char_spans': Sequence({
            'end': int32,
            'start': int32,
        }),
        'text': string,
        'token_spans': Sequence({
            'end': int32,
            'start': int32,
        }),
    }),
    'qid': string,
    'question': string,
    'question_tokens': Sequence({
        'offsets': int32,
        'tokens': string,
    }),
    'subset': string,
})

• Documentação do recurso:

• Chaves supervisionadas (Consulte as_supervised doc ): None

• Figura ( tfds.show_examples ): Não suportado.

mrqa/squad (configuração padrão)

• Descrição da configuração : O conjunto de dados SQuAD (Stanford Question Answering Dataset) é usado como base para o formato de tarefa compartilhada. Crowdworkers veem parágrafos da Wikipedia e são solicitados a escrever perguntas com respostas extrativas.

• Tamanho do download : 29.66 MiB

• Tamanho do conjunto de dados : 271.43 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

• Citação :

@inproceedings{rajpurkar-etal-2016-squad,
    title = "{SQ}u{AD}: 100,000+ Questions for Machine Comprehension of Text",
    author = "Rajpurkar, Pranav  and
      Zhang, Jian  and
      Lopyrev, Konstantin  and
      Liang, Percy",
    booktitle = "Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing",
    month = nov,
    year = "2016",
    address = "Austin, Texas",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D16-1264",
    doi = "10.18653/v1/D16-1264",
    pages = "2383--2392",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/news_qa

• Descrição da configuração : Dois conjuntos de crowdworkers fazem e respondem perguntas com base em artigos de notícias da CNN. Os “perguntadores” veem apenas o título e o resumo do artigo, enquanto os “responsáveis” veem o artigo completo. As perguntas que não têm resposta ou são marcadas no conjunto de dados como sem concordância do anotador são descartadas.

• Tamanho do download : 56.83 MiB

• Tamanho do conjunto de dados : 654.25 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

• Citação :

@inproceedings{trischler-etal-2017-newsqa,
        title = "{N}ews{QA}: A Machine Comprehension Dataset",
        author = "Trischler, Adam  and
          Wang, Tong  and
          Yuan, Xingdi  and
          Harris, Justin  and
          Sordoni, Alessandro  and
          Bachman, Philip  and
          Suleman, Kaheer",
        booktitle = "Proceedings of the 2nd Workshop on Representation Learning for {NLP}",
        month = aug,
        year = "2017",
        address = "Vancouver, Canada",
        publisher = "Association for Computational Linguistics",
        url = "https://aclanthology.org/W17-2623",
        doi = "10.18653/v1/W17-2623",
        pages = "191--200",
    }
#
@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/trivia_qa

• Descrição da configuração : Os pares de perguntas e respostas são provenientes de sites de trivia e quiz-league. A versão web do TriviaQA, onde os contextos são recuperados dos resultados de uma consulta de pesquisa do Bing, é usada.

• Tamanho do download : 383.14 MiB

• Tamanho do conjunto de dados : 772.75 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

• Citação :

@inproceedings{joshi-etal-2017-triviaqa,
    title = "{T}rivia{QA}: A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension",
    author = "Joshi, Mandar  and
      Choi, Eunsol  and
      Weld, Daniel  and
      Zettlemoyer, Luke",
    booktitle = "Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2017",
    address = "Vancouver, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/P17-1147",
    doi = "10.18653/v1/P17-1147",
    pages = "1601--1611",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/search_qa

• Descrição da configuração : Os pares de perguntas e respostas são provenientes do Jeopardy! Programa de TV. Os contextos são compostos de trechos recuperados de uma consulta de pesquisa do Google.

• Tamanho do download : 699.86 MiB

• Tamanho do conjunto de dados : 1.38 GiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

• Citação :

@article{dunn2017searchqa,
    title={Searchqa: A new q\&a dataset augmented with context from a search engine},
    author={Dunn, Matthew and Sagun, Levent and Higgins, Mike and Guney, V Ugur and Cirik, Volkan and Cho, Kyunghyun},
    journal={arXiv preprint arXiv:1704.05179},
    year={2017}
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/hotpot_qa

• Descrição da configuração : Crowdworkers veem dois parágrafos vinculados a entidades da Wikipedia e são solicitados a escrever e responder a perguntas que exigem raciocínio multi-salto para resolver. No cenário original, esses parágrafos são misturados com parágrafos de distração adicionais para tornar a inferência mais difícil. Aqui, os parágrafos distratores não estão incluídos.

• Tamanho do download : 111.98 MiB

• Tamanho do conjunto de dados : 272.87 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

• Citação :

@inproceedings{yang-etal-2018-hotpotqa,
    title = "{H}otpot{QA}: A Dataset for Diverse, Explainable Multi-hop Question Answering",
    author = "Yang, Zhilin  and
      Qi, Peng  and
      Zhang, Saizheng  and
      Bengio, Yoshua  and
      Cohen, William  and
      Salakhutdinov, Ruslan  and
      Manning, Christopher D.",
    booktitle = "Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing",
    month = oct # "-" # nov,
    year = "2018",
    address = "Brussels, Belgium",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D18-1259",
    doi = "10.18653/v1/D18-1259",
    pages = "2369--2380",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/natural_questions

• Descrição da configuração : As perguntas são coletadas de consultas de busca de informações ao mecanismo de pesquisa do Google por usuários reais em condições naturais. As respostas às perguntas são anotadas em uma página recuperada da Wikipedia por crowdworkers. Dois tipos de anotações são coletados: 1) a caixa delimitadora HTML contendo informações suficientes para inferir completamente a resposta para a pergunta (resposta longa) e 2) o subspan ou subspans dentro da caixa delimitadora que compreende a resposta real (resposta curta ). Apenas os exemplos que possuem respostas curtas são usados, e a resposta longa é usada como contexto.

• Tamanho do download : 121.15 MiB

• Tamanho do conjunto de dados : 339.03 MiB

• Armazenado em cache automaticamente ( documentação ): Não

• Divisões :

• Exemplos ( tfds.as_dataframe ):

• Citação :

@article{kwiatkowski-etal-2019-natural,
    title = "Natural Questions: A Benchmark for Question Answering Research",
    author = "Kwiatkowski, Tom  and
      Palomaki, Jennimaria  and
      Redfield, Olivia  and
      Collins, Michael  and
      Parikh, Ankur  and
      Alberti, Chris  and
      Epstein, Danielle  and
      Polosukhin, Illia  and
      Devlin, Jacob  and
      Lee, Kenton  and
      Toutanova, Kristina  and
      Jones, Llion  and
      Kelcey, Matthew  and
      Chang, Ming-Wei  and
      Dai, Andrew M.  and
      Uszkoreit, Jakob  and
      Le, Quoc  and
      Petrov, Slav",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "7",
    year = "2019",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q19-1026",
    doi = "10.1162/tacl_a_00276",
    pages = "452--466",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/bio_asq

• Descrição da configuração : BioASQ, um desafio de indexação semântica biomédica em larga escala e resposta a perguntas, contém pares de perguntas e respostas criados por especialistas do domínio. Eles são então manualmente vinculados a vários artigos científicos relacionados (PubMed). O resumo completo de cada um dos artigos vinculados é baixado e usado como contextos individuais (por exemplo, uma única pergunta pode ser vinculada a vários artigos independentes para criar vários pares de contexto de controle de qualidade). Resumos que não contenham exatamente a resposta são descartados.

• Tamanho do download : 2.54 MiB

• Tamanho do conjunto de dados : 6.70 MiB

• Cache automático ( documentação ): Sim

• Divisões :

• Exemplos ( tfds.as_dataframe ):

• Citação :

@article{tsatsaronis2015overview,
    title={An overview of the BIOASQ large-scale biomedical semantic indexing and question answering competition},
    author={Tsatsaronis, George and Balikas, Georgios and Malakasiotis, Prodromos and Partalas, Ioannis and Zschunke, Matthias and Alvers, Michael R and Weissenborn, Dirk and Krithara, Anastasia and Petridis, Sergios and Polychronopoulos, Dimitris and others},
    journal={BMC bioinformatics},
    volume={16},
    number={1},
    pages={1--28},
    year={2015},
    publisher={Springer}
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/gota

• Descrição da configuração : Exemplos de DROP (Discrete Reasoning Over the content of Paragraphs) foram coletados de forma semelhante ao SQuAD, onde os crowdworkers são solicitados a criar pares de perguntas e respostas a partir de parágrafos da Wikipedia. As perguntas se concentram no raciocínio quantitativo, e o conjunto de dados original contém respostas numéricas não extrativas, bem como respostas de texto extrativas. O conjunto de perguntas que são extrativas é usado.

• Tamanho do download : 578.25 KiB

• Tamanho do conjunto de dados : 5.41 MiB

• Cache automático ( documentação ): Sim

• Divisões :

• Exemplos ( tfds.as_dataframe ):

• Citação :

@inproceedings{dua-etal-2019-drop,
    title = "{DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs",
    author = "Dua, Dheeru  and
      Wang, Yizhong  and
      Dasigi, Pradeep  and
      Stanovsky, Gabriel  and
      Singh, Sameer  and
      Gardner, Matt",
    booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
    month = jun,
    year = "2019",
    address = "Minneapolis, Minnesota",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N19-1246",
    doi = "10.18653/v1/N19-1246",
    pages = "2368--2378",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/duo_rc

• Descrição da configuração : A divisão ParaphraseRC do conjunto de dados DuoRC é usada. Nesse cenário, dois resumos de enredo diferentes do mesmo filme são coletados - um da Wikipedia e outro do IMDb. Dois conjuntos diferentes de crowdworkers fazem e respondem perguntas sobre o enredo do filme, onde os “questionadores” são mostrados apenas na página da Wikipedia, e os “respondentes” são mostrados apenas na página do IMDb. As perguntas marcadas como irrespondíveis são descartadas.

• Tamanho do download : 1.14 MiB

• Tamanho do conjunto de dados : 15.04 MiB

• Cache automático ( documentação ): Sim

• Divisões :

• Exemplos ( tfds.as_dataframe ):

• Citação :

@inproceedings{saha-etal-2018-duorc,
    title = "{D}uo{RC}: Towards Complex Language Understanding with Paraphrased Reading Comprehension",
    author = "Saha, Amrita  and
      Aralikatte, Rahul  and
      Khapra, Mitesh M.  and
      Sankaranarayanan, Karthik",
    booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2018",
    address = "Melbourne, Australia",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/P18-1156",
    doi = "10.18653/v1/P18-1156",
    pages = "1683--1693",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/raça

• Descrição da configuração : Conjunto de dados de compreensão de leitura de exames (RACE) é coletado de exames de compreensão de leitura em inglês para alunos chineses do ensino fundamental e médio. A divisão do ensino médio (que é mais desafiadora) é usada e também as perguntas implícitas no estilo “preencher os espaços em branco” (que não são naturais para esta tarefa) são filtradas.

• Tamanho do download : 1.49 MiB

• Tamanho do conjunto de dados : 3.53 MiB

• Cache automático ( documentação ): Sim

• Divisões :

• Exemplos ( tfds.as_dataframe ):

• Citação :

@inproceedings{lai-etal-2017-race,
    title = "{RACE}: Large-scale {R}e{A}ding Comprehension Dataset From Examinations",
    author = "Lai, Guokun  and
      Xie, Qizhe  and
      Liu, Hanxiao  and
      Yang, Yiming  and
      Hovy, Eduard",
    booktitle = "Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing",
    month = sep,
    year = "2017",
    address = "Copenhagen, Denmark",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D17-1082",
    doi = "10.18653/v1/D17-1082",
    pages = "785--794",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/relation_extraction

• Descrição da configuração : Dado um conjunto de dados de preenchimento de slot, as relações entre as entidades são sistematicamente transformadas em pares de perguntas e respostas usando modelos. Por exemplo, o relacionamento educado_em(x, y) entre duas entidades x e y que aparecem em uma frase pode ser expresso como “Onde x foi educado?” com resposta y. Vários modelos para cada tipo de relação são coletados. A divisão do benchmark zeroshot do conjunto de dados (generalização para relações invisíveis) é usada e apenas os exemplos positivos são mantidos.

• Tamanho do download : 830.88 KiB

• Tamanho do conjunto de dados : 3.71 MiB

• Cache automático ( documentação ): Sim

• Divisões :

• Exemplos ( tfds.as_dataframe ):

• Citação :

@inproceedings{levy-etal-2017-zero,
    title = "Zero-Shot Relation Extraction via Reading Comprehension",
    author = "Levy, Omer  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Zettlemoyer, Luke",
    booktitle = "Proceedings of the 21st Conference on Computational Natural Language Learning ({C}o{NLL} 2017)",
    month = aug,
    year = "2017",
    address = "Vancouver, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/K17-1034",
    doi = "10.18653/v1/K17-1034",
    pages = "333--342",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/textbook_qa

• Descrição da configuração : TextbookQA é coletado de lições de livros didáticos de Ciências da Vida, Ciências da Terra e Ciências Físicas do ensino médio. As perguntas que são acompanhadas de um diagrama ou que são perguntas de “Verdadeiro ou Falso” não estão incluídas.

• Tamanho do download : 1.79 MiB

• Tamanho do conjunto de dados : 14.04 MiB

• Cache automático ( documentação ): Sim

• Divisões :

• Exemplos ( tfds.as_dataframe ):

• Citação :

@inproceedings{kembhavi2017you,
    title={Are you smarter than a sixth grader? textbook question answering for multimodal machine comprehension},
    author={Kembhavi, Aniruddha and Seo, Minjoon and Schwenk, Dustin and Choi, Jonghyun and Farhadi, Ali and Hajishirzi, Hannaneh},
    booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern recognition},
    pages={4999--5007},
    year={2017}
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."