mrqa

  • Açıklama :

MRQA 2019 Paylaşılan Görevi, soru cevaplamada genellemeye odaklanır. Etkili bir soru yanıtlama sistemi, aynı dağıtımdan alınan test örneklerini yanıtlamak için eğitim setinden yalnızca enterpolasyon yapmaktan fazlasını yapmalıdır: ayrıca dağıtım dışı örneklere de tahminde bulunabilmelidir - önemli ölçüde daha zor bir görev.

MRQA, birden çok farklı soru yanıtlama veri kümesini (mevcut veri kümelerinin dikkatle seçilmiş alt kümeleri) aynı biçime (SQuAD biçimi) uyarlar ve birleştirir. Bunlar arasında altı veri seti eğitim için, altı veri seti test için hazır hale getirildi. Eğitim veri kümelerinin küçük bölümleri, geliştirme için kullanılabilecek etki alanı içi veriler olarak tutuldu. Test veri kümeleri yalnızca alan dışı verileri içerir. Bu kıyaslama, MRQA 2019 Paylaşılan Görevinin bir parçası olarak yayımlanmıştır.

Daha fazla bilgiyi şurada bulabilirsiniz: <a href="https://mrqa.github.io/2019/shared.html">https://mrqa.github.io/2019/shared.html</a> .

FeaturesDict({
    'answers': Sequence(tf.string),
    'context': tf.string,
    'context_tokens': Sequence({
        'offsets': tf.int32,
        'tokens': tf.string,
    }),
    'detected_answers': Sequence({
        'char_spans': Sequence({
            'end': tf.int32,
            'start': tf.int32,
        }),
        'text': tf.string,
        'token_spans': Sequence({
            'end': tf.int32,
            'start': tf.int32,
        }),
    }),
    'qid': tf.string,
    'question': tf.string,
    'question_tokens': Sequence({
        'offsets': tf.int32,
        'tokens': tf.string,
    }),
    'subset': tf.string,
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtype Tanım
ÖzelliklerDict
Yanıtlar Sıra (Tensor) (Hiçbiri,) tf.string
bağlam tensör tf.string
bağlam_belirteçleri Sekans
bağlam_belirteçleri/ödemeleri tensör tf.int32
bağlam_belirteçleri/belirteçleri tensör tf.string
tespit edilen_cevaplar Sekans
tespit edilen_answers/char_spans Sekans
algılanan_cevaplar/char_spans/son tensör tf.int32
algılanan_answers/char_spans/başlangıç tensör tf.int32
tespit edilen_cevaplar/metin tensör tf.string
tespit edilen_answers/token_spans Sekans
tespit edilen_cevaplar/token_spans/son tensör tf.int32
algılanan_answers/token_spans/başlangıç tensör tf.int32
qid tensör tf.string
soru tensör tf.string
soru_belirteçleri Sekans
soru_belirteçleri/ofsetler tensör tf.int32
soru_belirteçleri/belirteçleri tensör tf.string
alt küme tensör tf.string

mrqa/squad (varsayılan yapılandırma)

  • Yapılandırma açıklaması : SQuAD (Stanford Soru Yanıtlama Veri Kümesi) veri kümesi, paylaşılan görev biçiminin temeli olarak kullanılır. Kalabalık işçilere Wikipedia'dan paragraflar gösteriliyor ve çıkarımcı yanıtlarla sorular yazmaları isteniyor.

  • İndirme boyutu : 29.66 MiB

  • Veri kümesi boyutu : 271.43 MiB

  • Otomatik önbelleğe alındı ​​( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'train' 86.588
'validation' 10.507
  • alıntı :
@inproceedings{rajpurkar-etal-2016-squad,
    title = "{SQ}u{AD}: 100,000+ Questions for Machine Comprehension of Text",
    author = "Rajpurkar, Pranav  and
      Zhang, Jian  and
      Lopyrev, Konstantin  and
      Liang, Percy",
    booktitle = "Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing",
    month = nov,
    year = "2016",
    address = "Austin, Texas",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D16-1264",
    doi = "10.18653/v1/D16-1264",
    pages = "2383--2392",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/news_qa

  • Yapılandırma açıklaması : İki grup kitle çalışanı, CNN haber makalelerine dayalı olarak sorular sorar ve yanıtlar. "Soru soranlar" makalenin yalnızca başlığını ve özetini görürken "cevaplayıcılar" makalenin tamamını görür. Yanıtı olmayan veya veri setinde açıklayıcı sözleşmesi olmadığı için işaretlenen sorular atılır.

  • İndirme boyutu : 56.83 MiB

  • Veri kümesi boyutu : 654.25 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'train' 74,160
'validation' 4,212
  • alıntı :
@inproceedings{trischler-etal-2017-newsqa,
        title = "{N}ews{QA}: A Machine Comprehension Dataset",
        author = "Trischler, Adam  and
          Wang, Tong  and
          Yuan, Xingdi  and
          Harris, Justin  and
          Sordoni, Alessandro  and
          Bachman, Philip  and
          Suleman, Kaheer",
        booktitle = "Proceedings of the 2nd Workshop on Representation Learning for {NLP}",
        month = aug,
        year = "2017",
        address = "Vancouver, Canada",
        publisher = "Association for Computational Linguistics",
        url = "https://aclanthology.org/W17-2623",
        doi = "10.18653/v1/W17-2623",
        pages = "191--200",
    }
#
@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/trivia_qa

  • Yapılandırma açıklaması : Soru ve cevap çiftleri, trivia ve quiz ligi web sitelerinden alınmıştır. Bağlamların bir Bing arama sorgusunun sonuçlarından alındığı TriviaQA'nın web sürümü kullanılır.

  • İndirme boyutu : 383.14 MiB

  • Veri kümesi boyutu : 772.75 MiB

  • Otomatik önbelleğe alındı ​​( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'train' 61.688
'validation' 7,785
  • alıntı :
@inproceedings{joshi-etal-2017-triviaqa,
    title = "{T}rivia{QA}: A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension",
    author = "Joshi, Mandar  and
      Choi, Eunsol  and
      Weld, Daniel  and
      Zettlemoyer, Luke",
    booktitle = "Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2017",
    address = "Vancouver, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/P17-1147",
    doi = "10.18653/v1/P17-1147",
    pages = "1601--1611",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/arama_qa

  • Yapılandırma açıklaması : Soru ve cevap çiftleri, Jeopardy! Televizyon şovu. Bağlamlar, bir Google arama sorgusundan alınan snippet'lerden oluşur.

  • İndirme boyutu : 699.86 MiB

  • Veri kümesi boyutu : 1.38 GiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'train' 117.384
'validation' 16.980
  • alıntı :
@article{dunn2017searchqa,
    title={Searchqa: A new q\&a dataset augmented with context from a search engine},
    author={Dunn, Matthew and Sagun, Levent and Higgins, Mike and Guney, V Ugur and Cirik, Volkan and Cho, Kyunghyun},
    journal={arXiv preprint arXiv:1704.05179},
    year={2017}
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/hotpot_qa

  • Yapılandırma açıklaması : Kitle çalışanlarına Wikipedia'dan varlıklarla bağlantılı iki paragraf gösterilir ve çözmek için çok sekmeli akıl yürütme gerektiren soruları yazmaları ve yanıtlamaları istenir. Orijinal ayarda, bu paragraflar, çıkarımı zorlaştırmak için ek çeldirici paragraflarla karıştırılır. Burada çeldirici paragraflar dahil edilmemiştir.

  • İndirme boyutu : 111.98 MiB

  • Veri kümesi boyutu : 272.87 MiB

  • Otomatik önbelleğe alındı ​​( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'train' 72.928
'validation' 5,901
  • alıntı :
@inproceedings{yang-etal-2018-hotpotqa,
    title = "{H}otpot{QA}: A Dataset for Diverse, Explainable Multi-hop Question Answering",
    author = "Yang, Zhilin  and
      Qi, Peng  and
      Zhang, Saizheng  and
      Bengio, Yoshua  and
      Cohen, William  and
      Salakhutdinov, Ruslan  and
      Manning, Christopher D.",
    booktitle = "Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing",
    month = oct # "-" # nov,
    year = "2018",
    address = "Brussels, Belgium",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D18-1259",
    doi = "10.18653/v1/D18-1259",
    pages = "2369--2380",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/natural_questions

  • Yapılandırma açıklaması : Sorular, doğal koşullarda gerçek kullanıcılar tarafından Google arama motoruna yapılan bilgi amaçlı sorgulardan toplanır. Soruların yanıtları, kitle çalışanları tarafından alınan bir Wikipedia sayfasında açıklamalıdır. İki tür ek açıklama toplanır: 1) sorunun cevabını tamamen çıkarsamaya yetecek kadar bilgi içeren HTML sınırlayıcı kutu (Uzun Cevap) ve 2) sınırlayıcı kutu içindeki asıl cevabı oluşturan alt yayılma veya alt yayılmalar (Kısa Cevap) ). Yalnızca kısa yanıtları olan örnekler kullanılmış ve bağlam olarak uzun yanıt kullanılmıştır.

  • İndirme boyutu : 121.15 MiB

  • Veri kümesi boyutu : 339.03 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'train' 104.071
'validation' 12.836
  • alıntı :
@article{kwiatkowski-etal-2019-natural,
    title = "Natural Questions: A Benchmark for Question Answering Research",
    author = "Kwiatkowski, Tom  and
      Palomaki, Jennimaria  and
      Redfield, Olivia  and
      Collins, Michael  and
      Parikh, Ankur  and
      Alberti, Chris  and
      Epstein, Danielle  and
      Polosukhin, Illia  and
      Devlin, Jacob  and
      Lee, Kenton  and
      Toutanova, Kristina  and
      Jones, Llion  and
      Kelcey, Matthew  and
      Chang, Ming-Wei  and
      Dai, Andrew M.  and
      Uszkoreit, Jakob  and
      Le, Quoc  and
      Petrov, Slav",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "7",
    year = "2019",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q19-1026",
    doi = "10.1162/tacl_a_00276",
    pages = "452--466",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/bio_asq

  • Yapılandırma açıklaması : Büyük ölçekli biyomedikal semantik indeksleme ve soru yanıtlama konusunda bir meydan okuma olan BioASQ, alan uzmanları tarafından oluşturulan soru ve cevap çiftlerini içerir. Daha sonra birden fazla ilgili bilim (PubMed) makalesine manuel olarak bağlanırlar. Bağlantılı makalelerin her birinin tam özeti indirilir ve bireysel bağlamlar olarak kullanılır (örneğin, tek bir soru birden fazla QA bağlam çifti oluşturmak için birden çok bağımsız makaleye bağlanabilir). Cevabı tam olarak içermeyen özetler atılır.

  • İndirme boyutu : 2.54 MiB

  • Veri kümesi boyutu : 6.70 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 1.504
  • alıntı :
@article{tsatsaronis2015overview,
    title={An overview of the BIOASQ large-scale biomedical semantic indexing and question answering competition},
    author={Tsatsaronis, George and Balikas, Georgios and Malakasiotis, Prodromos and Partalas, Ioannis and Zschunke, Matthias and Alvers, Michael R and Weissenborn, Dirk and Krithara, Anastasia and Petridis, Sergios and Polychronopoulos, Dimitris and others},
    journal={BMC bioinformatics},
    volume={16},
    number={1},
    pages={1--28},
    year={2015},
    publisher={Springer}
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/damla

  • Yapılandırma açıklaması : DROP (Paragrafların İçeriği Üzerinde Ayrık Akıl Yürütme) örnekleri, kalabalık çalışanlardan Wikipedia paragraflarından soru-cevap çiftleri oluşturmalarının istendiği SQuAD'a benzer şekilde toplanmıştır. Sorular nicel muhakemeye odaklanır ve orijinal veri seti, çıkarımsal olmayan sayısal yanıtların yanı sıra ayıklayıcı metin yanıtları içerir. Çıkarımcı soru seti kullanılır.

  • İndirme boyutu : 578.25 KiB

  • Veri kümesi boyutu : 5.41 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 1.503
  • alıntı :
@inproceedings{dua-etal-2019-drop,
    title = "{DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs",
    author = "Dua, Dheeru  and
      Wang, Yizhong  and
      Dasigi, Pradeep  and
      Stanovsky, Gabriel  and
      Singh, Sameer  and
      Gardner, Matt",
    booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
    month = jun,
    year = "2019",
    address = "Minneapolis, Minnesota",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N19-1246",
    doi = "10.18653/v1/N19-1246",
    pages = "2368--2378",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/duo_rc

  • Yapılandırma açıklaması : DuoRC veri kümesinin ParaphraseRC bölümü kullanılır. Bu ayarda, biri Wikipedia'dan diğeri IMDb'den olmak üzere aynı filmin iki farklı olay örgüsü özeti toplanır. İki farklı kitle çalışanı grubu, "soru soranların" yalnızca Wikipedia sayfasının gösterildiği ve "cevaplayıcıların" yalnızca IMDb sayfasının gösterildiği film konusu hakkında sorular soruyor ve yanıtlıyor. Cevaplanamaz olarak işaretlenen sorular atılır.

  • İndirme boyutu : 1.14 MiB

  • Veri kümesi boyutu : 15.04 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 1.501
  • alıntı :
@inproceedings{saha-etal-2018-duorc,
    title = "{D}uo{RC}: Towards Complex Language Understanding with Paraphrased Reading Comprehension",
    author = "Saha, Amrita  and
      Aralikatte, Rahul  and
      Khapra, Mitesh M.  and
      Sankaranarayanan, Karthik",
    booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2018",
    address = "Melbourne, Australia",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/P18-1156",
    doi = "10.18653/v1/P18-1156",
    pages = "1683--1693",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/ırk

  • Yapılandırma açıklaması : Sınavlardan Okuduğunu Anlama Veri Kümesi (RACE), orta ve lise Çinli öğrenciler için İngilizce okuduğunu anlama sınavlarından toplanır. Lise ayrımı (ki bu daha zorlayıcıdır) kullanılır ve ayrıca örtük “boşluğu doldurun” tarzı sorular (bu görev için doğal olmayan) filtrelenir.

  • İndirme boyutu : 1.49 MiB

  • Veri kümesi boyutu : 3.53 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 674
  • alıntı :
@inproceedings{lai-etal-2017-race,
    title = "{RACE}: Large-scale {R}e{A}ding Comprehension Dataset From Examinations",
    author = "Lai, Guokun  and
      Xie, Qizhe  and
      Liu, Hanxiao  and
      Yang, Yiming  and
      Hovy, Eduard",
    booktitle = "Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing",
    month = sep,
    year = "2017",
    address = "Copenhagen, Denmark",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D17-1082",
    doi = "10.18653/v1/D17-1082",
    pages = "785--794",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/ilişki_çıkarma

  • Yapılandırma açıklaması : Boşluk doldurma veri kümesi verildiğinde, varlıklar arasındaki ilişkiler, şablonlar kullanılarak sistematik olarak soru cevap çiftlerine dönüştürülür. Örneğin, bir cümlede geçen x ve y iki varlığı arasındaki eğitimli_at(x,y) ilişkisi “x nerede eğitim gördü?” şeklinde ifade edilebilir. cevap y ile Her ilişki türü için birden çok şablon toplanır. Veri kümesinin sıfır nokta karşılaştırmalı ayrımı (görünmeyen ilişkilere genelleme) kullanılır ve yalnızca olumlu örnekler tutulur.

  • İndirme boyutu : 830.88 KiB

  • Veri kümesi boyutu : 3.71 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 2.948
  • alıntı :
@inproceedings{levy-etal-2017-zero,
    title = "Zero-Shot Relation Extraction via Reading Comprehension",
    author = "Levy, Omer  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Zettlemoyer, Luke",
    booktitle = "Proceedings of the 21st Conference on Computational Natural Language Learning ({C}o{NLL} 2017)",
    month = aug,
    year = "2017",
    address = "Vancouver, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/K17-1034",
    doi = "10.18653/v1/K17-1034",
    pages = "333--342",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/ders kitabı_qa

  • Yapılandırma açıklaması : TextbookQA, ortaokul Yaşam Bilimleri, Yer Bilimleri ve Fizik Bilimleri ders kitaplarından alınan derslerden toplanır. Bir diyagramla birlikte verilen veya “Doğru veya Yanlış” soruları dahil edilmez.

  • İndirme boyutu : 1.79 MiB

  • Veri kümesi boyutu : 14.04 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 1.503
  • alıntı :
@inproceedings{kembhavi2017you,
    title={Are you smarter than a sixth grader? textbook question answering for multimodal machine comprehension},
    author={Kembhavi, Aniruddha and Seo, Minjoon and Schwenk, Dustin and Choi, Jonghyun and Farhadi, Ali and Hajishirzi, Hannaneh},
    booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern recognition},
    pages={4999--5007},
    year={2017}
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."