birleşik_qa

  • Açıklama :

UnifiedQA kıyaslaması, çeşitli karmaşık dilbilimsel fenomenlerin yanı sıra farklı biçimleri hedefleyen 20 ana soru yanıtlama (QA) veri kümesinden (her birinin birden fazla sürümü olabilir) oluşur. Bu veri kümeleri, aşağıdakiler dahil olmak üzere çeşitli biçimler/kategoriler halinde gruplandırılmıştır: özümleyici KG, soyutlayıcı KG, çoktan seçmeli KG ve evet/hayır KG. Ek olarak, çeşitli veri kümeleri için kontrast kümeleri kullanılır ("kontrast kümeleri " ile gösterilir). Bu değerlendirme kümeleri, orijinal veri kümesinde yaygın olan kalıplardan sapan, uzman tarafından oluşturulmuş bozulmalardır. Kanıt paragraflarıyla gelmeyen çeşitli veri kümeleri için iki varyant dahil edilmiştir: biri veri kümelerinin olduğu gibi kullanıldığı ve diğeri ek kanıt olarak bilgi alma sistemi aracılığıyla getirilen ve "_ir" etiketleriyle gösterilen paragrafları kullanan.

Daha fazla bilgi şu adreste bulunabilir: https://github.com/allenai/unifiedqa

FeaturesDict({
    'input': tf.string,
    'output': tf.string,
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtype Tanım
ÖzelliklerDict
giriş tensör tf.string
çıktı tensör tf.string

unified_qa/ai2_science_elementary (varsayılan yapılandırma)

  • Yapılandırma açıklaması : AI2 Science Questions veri seti, Amerika Birleşik Devletleri'nde ilkokul ve ortaokul sınıf seviyelerinde öğrenci değerlendirmelerinde kullanılan sorulardan oluşur. Her soru 4 yönlü çoktan seçmeli formattadır ve bir diyagram öğesi içerebilir veya içermeyebilir. Bu set ilkokul sınıf seviyeleri için kullanılan sorulardan oluşmaktadır.

  • İndirme boyutu : 345.59 KiB

  • Veri kümesi boyutu : 390.02 KiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 542
'train' 623
'validation' 123
  • alıntı :
http://data.allenai.org/ai2-science-questions

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/ai2_science_middle

  • Yapılandırma açıklaması : AI2 Science Questions veri seti, Amerika Birleşik Devletleri'nde ilkokul ve ortaokul sınıf seviyelerinde öğrenci değerlendirmelerinde kullanılan sorulardan oluşur. Her soru 4 yönlü çoktan seçmeli formattadır ve bir diyagram öğesi içerebilir veya içermeyebilir. Bu set ortaokul sınıf seviyeleri için kullanılan sorulardan oluşmaktadır.

  • İndirme boyutu : 428.41 KiB

  • Veri kümesi boyutu : 477.40 KiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 679
'train' 605
'validation' 125
  • alıntı :
http://data.allenai.org/ai2-science-questions

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

birleşik_qa/ambigqa

  • Yapılandırma açıklaması : AmbigQA, her makul yanıtı bulmayı ve ardından belirsizliği çözmek için her biri için soruyu yeniden yazmayı içeren açık alanlı bir soru yanıtlama görevidir.

  • İndirme boyutu : 2.27 MiB

  • Veri kümesi boyutu : 3.04 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'train' 19.806
'validation' 5.674
  • alıntı :
@inproceedings{min-etal-2020-ambigqa,
    title = "{A}mbig{QA}: Answering Ambiguous Open-domain Questions",
    author = "Min, Sewon  and
      Michael, Julian  and
      Hajishirzi, Hannaneh  and
      Zettlemoyer, Luke",
    booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.emnlp-main.466",
    doi = "10.18653/v1/2020.emnlp-main.466",
    pages = "5783--5797",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/arc_easy

  • Yapılandırma açıklaması : Bu veri kümesi, ileri düzey soru yanıtlamada araştırmayı teşvik etmek için bir araya getirilmiş gerçek ilkokul düzeyinde, çoktan seçmeli fen sorularından oluşur. Veri seti, bir Meydan Okuma Seti ve bir Kolay Set olarak bölünmüştür; burada birincisi, yalnızca hem alma tabanlı bir algoritma hem de bir kelime birlikte ortaya çıkma algoritması tarafından yanlış cevaplanan soruları içerir. Bu set "kolay" sorulardan oluşmaktadır.

  • İndirme boyutu : 1.24 MiB

  • Veri kümesi boyutu : 1.42 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 2.376
'train' 2.251
'validation' 570
  • alıntı :
@article{clark2018think,
    title={Think you have solved question answering? try arc, the ai2 reasoning challenge},
    author={Clark, Peter and Cowhey, Isaac and Etzioni, Oren and Khot, Tushar and Sabharwal, Ashish and Schoenick, Carissa and Tafjord, Oyvind},
    journal={arXiv preprint arXiv:1803.05457},
    year={2018}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/arc_easy_dev

  • Yapılandırma açıklaması : Bu veri kümesi, ileri düzey soru yanıtlamada araştırmayı teşvik etmek için bir araya getirilmiş gerçek ilkokul düzeyinde, çoktan seçmeli bilim sorularından oluşur. Veri seti, bir Meydan Okuma Seti ve bir Kolay Set olarak bölünmüştür; burada birincisi, yalnızca hem alma tabanlı bir algoritma hem de bir kelime birlikte ortaya çıkma algoritması tarafından yanlış cevaplanan soruları içerir. Bu set "kolay" sorulardan oluşmaktadır.

  • İndirme boyutu : 1.24 MiB

  • Veri kümesi boyutu : 1.42 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 2.376
'train' 2.251
'validation' 570
  • alıntı :
@article{clark2018think,
    title={Think you have solved question answering? try arc, the ai2 reasoning challenge},
    author={Clark, Peter and Cowhey, Isaac and Etzioni, Oren and Khot, Tushar and Sabharwal, Ashish and Schoenick, Carissa and Tafjord, Oyvind},
    journal={arXiv preprint arXiv:1803.05457},
    year={2018}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/arc_easy_with_ir

  • Yapılandırma açıklaması : Bu veri kümesi, ileri düzey soru yanıtlamada araştırmayı teşvik etmek için bir araya getirilmiş gerçek ilkokul düzeyinde, çoktan seçmeli bilim sorularından oluşur. Veri seti, bir Meydan Okuma Seti ve bir Kolay Set olarak bölünmüştür; burada birincisi, yalnızca hem alma tabanlı bir algoritma hem de bir kelime birlikte ortaya çıkma algoritması tarafından yanlış cevaplanan soruları içerir. Bu set "kolay" sorulardan oluşmaktadır. Bu sürüm, ek kanıt olarak bir bilgi erişim sistemi aracılığıyla getirilen paragrafları içerir.

  • İndirme boyutu : 7.00 MiB

  • Veri kümesi boyutu : 7.17 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 2.376
'train' 2.251
'validation' 570
  • alıntı :
@article{clark2018think,
    title={Think you have solved question answering? try arc, the ai2 reasoning challenge},
    author={Clark, Peter and Cowhey, Isaac and Etzioni, Oren and Khot, Tushar and Sabharwal, Ashish and Schoenick, Carissa and Tafjord, Oyvind},
    journal={arXiv preprint arXiv:1803.05457},
    year={2018}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/arc_easy_with_ir_dev

  • Yapılandırma açıklaması : Bu veri kümesi, ileri düzey soru yanıtlamada araştırmayı teşvik etmek için bir araya getirilmiş gerçek ilkokul düzeyinde, çoktan seçmeli fen sorularından oluşur. Veri seti, bir Meydan Okuma Seti ve bir Kolay Set olarak bölünmüştür; burada birincisi, yalnızca hem alma tabanlı bir algoritma hem de bir kelime birlikte ortaya çıkma algoritması tarafından yanlış cevaplanan soruları içerir. Bu set "kolay" sorulardan oluşmaktadır. Bu sürüm, ek kanıt olarak bir bilgi erişim sistemi aracılığıyla getirilen paragrafları içerir.

  • İndirme boyutu : 7.00 MiB

  • Veri kümesi boyutu : 7.17 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 2.376
'train' 2.251
'validation' 570
  • alıntı :
@article{clark2018think,
    title={Think you have solved question answering? try arc, the ai2 reasoning challenge},
    author={Clark, Peter and Cowhey, Isaac and Etzioni, Oren and Khot, Tushar and Sabharwal, Ashish and Schoenick, Carissa and Tafjord, Oyvind},
    journal={arXiv preprint arXiv:1803.05457},
    year={2018}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

birleşik_qa/arc_hard

  • Yapılandırma açıklaması : Bu veri kümesi, ileri düzey soru yanıtlamada araştırmayı teşvik etmek için bir araya getirilmiş gerçek ilkokul düzeyinde, çoktan seçmeli fen sorularından oluşur. Veri seti, bir Meydan Okuma Seti ve bir Kolay Set olarak bölünmüştür; burada birincisi, yalnızca hem alma tabanlı bir algoritma hem de bir kelime birlikte ortaya çıkma algoritması tarafından yanlış cevaplanan soruları içerir. Bu set "zor" sorulardan oluşmaktadır.

  • İndirme boyutu : 758.03 KiB

  • Veri kümesi boyutu : 848.28 KiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 1.172
'train' 1.119
'validation' 299
  • alıntı :
@article{clark2018think,
    title={Think you have solved question answering? try arc, the ai2 reasoning challenge},
    author={Clark, Peter and Cowhey, Isaac and Etzioni, Oren and Khot, Tushar and Sabharwal, Ashish and Schoenick, Carissa and Tafjord, Oyvind},
    journal={arXiv preprint arXiv:1803.05457},
    year={2018}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/arc_hard_dev

  • Yapılandırma açıklaması : Bu veri kümesi, ileri düzey soru yanıtlamada araştırmayı teşvik etmek için bir araya getirilmiş gerçek ilkokul düzeyinde, çoktan seçmeli bilim sorularından oluşur. Veri seti, bir Meydan Okuma Seti ve bir Kolay Set olarak bölünmüştür; burada birincisi, yalnızca hem alma tabanlı bir algoritma hem de bir kelime birlikte ortaya çıkma algoritması tarafından yanlış cevaplanan soruları içerir. Bu set "zor" sorulardan oluşmaktadır.

  • İndirme boyutu : 758.03 KiB

  • Veri kümesi boyutu : 848.28 KiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 1.172
'train' 1.119
'validation' 299
  • alıntı :
@article{clark2018think,
    title={Think you have solved question answering? try arc, the ai2 reasoning challenge},
    author={Clark, Peter and Cowhey, Isaac and Etzioni, Oren and Khot, Tushar and Sabharwal, Ashish and Schoenick, Carissa and Tafjord, Oyvind},
    journal={arXiv preprint arXiv:1803.05457},
    year={2018}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/arc_hard_with_ir

  • Yapılandırma açıklaması : Bu veri kümesi, ileri düzey soru yanıtlamada araştırmayı teşvik etmek için bir araya getirilmiş gerçek ilkokul düzeyinde, çoktan seçmeli fen sorularından oluşur. Veri seti, bir Meydan Okuma Seti ve bir Kolay Set olarak bölünmüştür; burada birincisi, yalnızca hem alma tabanlı bir algoritma hem de bir kelime birlikte ortaya çıkma algoritması tarafından yanlış cevaplanan soruları içerir. Bu set "zor" sorulardan oluşmaktadır. Bu sürüm, ek kanıt olarak bir bilgi erişim sistemi aracılığıyla getirilen paragrafları içerir.

  • İndirme boyutu : 3.53 MiB

  • Veri kümesi boyutu : 3.62 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 1.172
'train' 1.119
'validation' 299
  • alıntı :
@article{clark2018think,
    title={Think you have solved question answering? try arc, the ai2 reasoning challenge},
    author={Clark, Peter and Cowhey, Isaac and Etzioni, Oren and Khot, Tushar and Sabharwal, Ashish and Schoenick, Carissa and Tafjord, Oyvind},
    journal={arXiv preprint arXiv:1803.05457},
    year={2018}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/arc_hard_with_ir_dev

  • Yapılandırma açıklaması : Bu veri kümesi, ileri düzey soru yanıtlamada araştırmayı teşvik etmek için bir araya getirilmiş gerçek ilkokul düzeyinde, çoktan seçmeli bilim sorularından oluşur. Veri seti, bir Meydan Okuma Seti ve bir Kolay Set olarak bölünmüştür; burada birincisi, yalnızca hem alma tabanlı bir algoritma hem de bir kelime birlikte ortaya çıkma algoritması tarafından yanlış cevaplanan soruları içerir. Bu set "zor" sorulardan oluşmaktadır. Bu sürüm, ek kanıt olarak bir bilgi erişim sistemi aracılığıyla getirilen paragrafları içerir.

  • İndirme boyutu : 3.53 MiB

  • Veri kümesi boyutu : 3.62 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 1.172
'train' 1.119
'validation' 299
  • alıntı :
@article{clark2018think,
    title={Think you have solved question answering? try arc, the ai2 reasoning challenge},
    author={Clark, Peter and Cowhey, Isaac and Etzioni, Oren and Khot, Tushar and Sabharwal, Ashish and Schoenick, Carissa and Tafjord, Oyvind},
    journal={arXiv preprint arXiv:1803.05457},
    year={2018}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

birleşik_qa/boolq

  • Yapılandırma açıklaması : BoolQ, evet/hayır soruları için bir soru yanıtlama veri kümesidir. Bu sorular doğal olarak oluşur --- sorulmamış ve kısıtlanmamış ortamlarda üretilirler. Her örnek, isteğe bağlı ek bağlam olarak sayfanın başlığı ile (soru, pasaj, cevap) üçlüsüdür. Metin çifti sınıflandırma kurulumu, mevcut doğal dil çıkarım görevlerine benzer.

  • İndirme boyutu : 7.77 MiB

  • Veri kümesi boyutu : 8.20 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'train' 9,427
'validation' 3.270
  • alıntı :
@inproceedings{clark-etal-2019-boolq,
    title = "{B}ool{Q}: Exploring the Surprising Difficulty of Natural Yes/No Questions",
    author = "Clark, Christopher  and
      Lee, Kenton  and
      Chang, Ming-Wei  and
      Kwiatkowski, Tom  and
      Collins, Michael  and
      Toutanova, Kristina",
    booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
    month = jun,
    year = "2019",
    address = "Minneapolis, Minnesota",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N19-1300",
    doi = "10.18653/v1/N19-1300",
    pages = "2924--2936",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

birleşik_qa/boolq_np

  • Yapılandırma açıklaması : BoolQ, evet/hayır soruları için bir soru yanıtlama veri kümesidir. Bu sorular doğal olarak oluşur --- sorulmamış ve kısıtlanmamış ortamlarda üretilirler. Her örnek, isteğe bağlı ek bağlam olarak sayfanın başlığı ile (soru, pasaj, cevap) üçlüsüdür. Metin çifti sınıflandırma kurulumu, mevcut doğal dil çıkarım görevlerine benzer. Bu sürüm, orijinal sürüme doğal bozulmalar ekler.

  • İndirme boyutu : 10.80 MiB

  • Veri kümesi boyutu : 11.40 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'train' 9,727
'validation' 7.596
  • alıntı :
@inproceedings{khashabi-etal-2020-bang,
    title = "More Bang for Your Buck: Natural Perturbation for Robust Question Answering",
    author = "Khashabi, Daniel  and
      Khot, Tushar  and
      Sabharwal, Ashish",
    booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.emnlp-main.12",
    doi = "10.18653/v1/2020.emnlp-main.12",
    pages = "163--170",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/commonsenseqa

  • Yapılandırma açıklaması : CommonsenseQA, doğru yanıtları tahmin etmek için farklı türde sağduyu bilgisi gerektiren yeni bir çoktan seçmeli soru yanıtlama veri kümesidir. Bir doğru cevabı ve dört çeldirici cevabı olan sorular içerir.

  • İndirme boyutu : 1.79 MiB

  • Veri kümesi boyutu : 2.19 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 1140
'train' 9.741
'validation' 1.221
  • alıntı :
@inproceedings{talmor-etal-2019-commonsenseqa,
    title = "{C}ommonsense{QA}: A Question Answering Challenge Targeting Commonsense Knowledge",
    author = "Talmor, Alon  and
      Herzig, Jonathan  and
      Lourie, Nicholas  and
      Berant, Jonathan",
    booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
    month = jun,
    year = "2019",
    address = "Minneapolis, Minnesota",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N19-1421",
    doi = "10.18653/v1/N19-1421",
    pages = "4149--4158",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/commonsenseqa_test

  • Yapılandırma açıklaması : CommonsenseQA, doğru yanıtları tahmin etmek için farklı türde sağduyu bilgisi gerektiren yeni bir çoktan seçmeli soru yanıtlama veri kümesidir. Bir doğru cevabı ve dört çeldirici cevabı olan sorular içerir.

  • İndirme boyutu : 1.79 MiB

  • Veri kümesi boyutu : 2.19 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 1140
'train' 9.741
'validation' 1.221
  • alıntı :
@inproceedings{talmor-etal-2019-commonsenseqa,
    title = "{C}ommonsense{QA}: A Question Answering Challenge Targeting Commonsense Knowledge",
    author = "Talmor, Alon  and
      Herzig, Jonathan  and
      Lourie, Nicholas  and
      Berant, Jonathan",
    booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
    month = jun,
    year = "2019",
    address = "Minneapolis, Minnesota",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N19-1421",
    doi = "10.18653/v1/N19-1421",
    pages = "4149--4158",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/contrast_sets_boolq

  • Yapılandırma açıklaması : BoolQ, evet/hayır soruları için bir soru yanıtlama veri kümesidir. Bu sorular doğal olarak oluşur --- sorulmamış ve kısıtlanmamış ortamlarda üretilirler. Her örnek, isteğe bağlı ek bağlam olarak sayfanın başlığı ile (soru, pasaj, cevap) üçlüsüdür. Metin çifti sınıflandırma kurulumu, mevcut doğal dil çıkarım görevlerine benzer. Bu sürüm kontrast setleri kullanır. Bu değerlendirme kümeleri, orijinal veri kümesinde yaygın olan kalıplardan sapan, uzman tarafından oluşturulmuş bozulmalardır.

  • İndirme boyutu : 438.51 KiB

  • Veri kümesi boyutu : 462.35 KiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'train' 340
'validation' 340
  • alıntı :
@inproceedings{clark-etal-2019-boolq,
    title = "{B}ool{Q}: Exploring the Surprising Difficulty of Natural Yes/No Questions",
    author = "Clark, Christopher  and
      Lee, Kenton  and
      Chang, Ming-Wei  and
      Kwiatkowski, Tom  and
      Collins, Michael  and
      Toutanova, Kristina",
    booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
    month = jun,
    year = "2019",
    address = "Minneapolis, Minnesota",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N19-1300",
    doi = "10.18653/v1/N19-1300",
    pages = "2924--2936",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/contrast_sets_drop

  • Yapılandırma açıklaması : DROP, bir sistemin bir sorudaki referansları, belki de birden çok giriş konumuna çözümlemesi ve bunlar üzerinde ayrı işlemler (toplama, sayma veya sıralama gibi) gerçekleştirmesi gereken, kitle kaynaklı, düşmanca oluşturulmuş bir QA kıyaslamasıdır. Bu işlemler, önceki veri kümeleri için gerekli olandan çok daha kapsamlı bir paragraf içeriği anlayışı gerektirir. Bu sürüm kontrast setleri kullanır. Bu değerlendirme kümeleri, orijinal veri kümesinde yaygın olan kalıplardan sapan, uzman tarafından oluşturulmuş bozulmalardır.

  • İndirme boyutu : 2.20 MiB

  • Veri kümesi boyutu : 2.26 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'train' 947
'validation' 947
  • alıntı :
@inproceedings{dua-etal-2019-drop,
    title = "{DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs",
    author = "Dua, Dheeru  and
      Wang, Yizhong  and
      Dasigi, Pradeep  and
      Stanovsky, Gabriel  and
      Singh, Sameer  and
      Gardner, Matt",
    booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
    month = jun,
    year = "2019",
    address = "Minneapolis, Minnesota",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N19-1246",
    doi = "10.18653/v1/N19-1246",
    pages = "2368--2378",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/contrast_sets_quoref

  • Yapılandırma açıklaması : Bu veri seti, okuduğunu anlama sistemlerinin temel akıl yürütme yeteneğini test eder. Vikipedi'den paragraflar üzerinden sorular içeren bu aralık-seçim karşılaştırmasında, bir sistem soruları yanıtlamak için paragraflarda uygun aralık(lar)ı seçmeden önce sabit referansları çözmelidir. Bu sürüm kontrast setleri kullanır. Bu değerlendirme kümeleri, orijinal veri kümesinde yaygın olan kalıplardan sapan, uzman tarafından oluşturulmuş bozulmalardır.

  • İndirme boyutu : 2.60 MiB

  • Veri kümesi boyutu : 2.65 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'train' 700
'validation' 700
  • alıntı :
@inproceedings{dasigi-etal-2019-quoref,
    title = "{Q}uoref: A Reading Comprehension Dataset with Questions Requiring Coreferential Reasoning",
    author = "Dasigi, Pradeep  and
      Liu, Nelson F.  and
      Marasovi{'c}, Ana  and
      Smith, Noah A.  and
      Gardner, Matt",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-1606",
    doi = "10.18653/v1/D19-1606",
    pages = "5925--5932",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/contrast_sets_ropes

  • Yapılandırma açıklaması : Bu veri kümesi, bir sistemin bir metin pasajından yeni bir duruma bilgi uygulama yeteneğini test eder. Bir sistem, nedensel veya niteliksel ilişki(ler) (örneğin, "hayvan tozlayıcıları çiçeklerde döllenmenin etkinliğini arttırır") içeren bir arka plan pasajı, bu arka planı kullanan yeni bir durum ve ilişkilerin etkileri hakkında akıl yürütmeyi gerektiren sorular sunulur. durum bağlamında arka plan geçişi. Bu sürüm kontrast setleri kullanır. Bu değerlendirme kümeleri, orijinal veri kümesinde yaygın olan kalıplardan sapan, uzman tarafından oluşturulmuş bozulmalardır.

  • İndirme boyutu : 1.97 MiB

  • Veri kümesi boyutu : 2.04 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'train' 974
'validation' 974
  • alıntı :
@inproceedings{lin-etal-2019-reasoning,
    title = "Reasoning Over Paragraph Effects in Situations",
    author = "Lin, Kevin  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Gardner, Matt",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5808",
    doi = "10.18653/v1/D19-5808",
    pages = "58--62",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

birleşik_qa/bırak

  • Yapılandırma açıklaması : DROP, bir sistemin bir sorudaki referansları, belki de birden çok giriş konumuna çözümlemesi ve bunlar üzerinde ayrı işlemler (toplama, sayma veya sıralama gibi) gerçekleştirmesi gereken, kitle kaynaklı, düşmanca oluşturulmuş bir QA kıyaslamasıdır. Bu işlemler, önceki veri kümeleri için gerekli olandan çok daha kapsamlı bir paragraf içeriği anlayışı gerektirir.

  • İndirme boyutu : 105.18 MiB

  • Veri kümesi boyutu : 108.16 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'train' 77.399
'validation' 9.536
  • alıntı :
@inproceedings{dua-etal-2019-drop,
    title = "{DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs",
    author = "Dua, Dheeru  and
      Wang, Yizhong  and
      Dasigi, Pradeep  and
      Stanovsky, Gabriel  and
      Singh, Sameer  and
      Gardner, Matt",
    booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
    month = jun,
    year = "2019",
    address = "Minneapolis, Minnesota",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N19-1246",
    doi = "10.18653/v1/N19-1246",
    pages = "2368--2378",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

birleşik_qa/mctest

  • Yapılandırma açıklaması : MCTest, makinelerin kurgusal hikayeler hakkında çoktan seçmeli okuduğunu anlama sorularını yanıtlamasını gerektirir, bu da yüksek düzeyli açık alanlı makine anlama hedefini doğrudan ele alır. Okuduğunu anlama, nedensel akıl yürütme ve dünyayı anlama gibi gelişmiş yetenekleri test edebilir, ancak çoktan seçmeli olarak yine de net bir ölçüm sağlar. Kurgusal olmakla, cevap tipik olarak yalnızca hikayenin kendisinde bulunabilir. Hikâyeler ve sorular, aynı zamanda, görev için gerekli olan dünya bilgisini azaltarak, küçük bir çocuğun anlayabileceği şeylerle dikkatle sınırlandırılmıştır.

  • İndirme boyutu : 2.14 MiB

  • Veri kümesi boyutu : 2.20 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'train' 1,480
'validation' 320
  • alıntı :
@inproceedings{richardson-etal-2013-mctest,
    title = "{MCT}est: A Challenge Dataset for the Open-Domain Machine Comprehension of Text",
    author = "Richardson, Matthew  and
      Burges, Christopher J.C.  and
      Renshaw, Erin",
    booktitle = "Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing",
    month = oct,
    year = "2013",
    address = "Seattle, Washington, USA",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D13-1020",
    pages = "193--203",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/mctest_corrected_the_separator

  • Yapılandırma açıklaması : MCTest, makinelerin kurgusal hikayeler hakkında çoktan seçmeli okuduğunu anlama sorularını yanıtlamasını gerektirir, bu da yüksek düzeyli açık alanlı makine anlama hedefini doğrudan ele alır. Okuduğunu anlama, nedensel akıl yürütme ve dünyayı anlama gibi gelişmiş yetenekleri test edebilir, ancak çoktan seçmeli olarak yine de net bir ölçüm sağlar. Kurgusal olmakla, cevap tipik olarak yalnızca hikayenin kendisinde bulunabilir. Hikâyeler ve sorular, aynı zamanda, görev için gerekli olan dünya bilgisini azaltarak, küçük bir çocuğun anlayabileceği şeylerle dikkatle sınırlandırılmıştır.

  • İndirme boyutu : 2.15 MiB

  • Veri kümesi boyutu : 2.21 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'train' 1,480
'validation' 320
  • alıntı :
@inproceedings{richardson-etal-2013-mctest,
    title = "{MCT}est: A Challenge Dataset for the Open-Domain Machine Comprehension of Text",
    author = "Richardson, Matthew  and
      Burges, Christopher J.C.  and
      Renshaw, Erin",
    booktitle = "Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing",
    month = oct,
    year = "2013",
    address = "Seattle, Washington, USA",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D13-1020",
    pages = "193--203",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

birleşik_qa/multirc

  • Yapılandırma açıklaması : MultiRC, soruların yalnızca birden çok cümleden alınan bilgiler dikkate alınarak yanıtlanabileceği bir okuduğunu anlama zorluğudur. Bu meydan okumaya yönelik sorular ve yanıtlar, 4 adımlı bir kitle kaynak kullanımı deneyi aracılığıyla istendi ve doğrulandı. Veri seti, metinlere ve soru ifadelerine dilsel çeşitlilik getiren 7 farklı alandaki (ilkokul bilimi, haberler, gezi rehberleri, kurgu hikayeleri vb.) paragraflar için sorular içerir.

  • İndirme boyutu : 897.09 KiB

  • Veri kümesi boyutu : 918.42 KiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'train' 312
'validation' 312
  • alıntı :
@inproceedings{khashabi-etal-2018-looking,
    title = "Looking Beyond the Surface: A Challenge Set for Reading Comprehension over Multiple Sentences",
    author = "Khashabi, Daniel  and
      Chaturvedi, Snigdha  and
      Roth, Michael  and
      Upadhyay, Shyam  and
      Roth, Dan",
    booktitle = "Proceedings of the 2018 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers)",
    month = jun,
    year = "2018",
    address = "New Orleans, Louisiana",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N18-1023",
    doi = "10.18653/v1/N18-1023",
    pages = "252--262",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

birleşik_qa/anlatıqa

  • Yapılandırma açıklaması : NarrativeQA, özellikle uzun belgelerde okuduğunu anlamayı test etmek için tasarlanmış İngilizce hikayeler ve ilgili sorulardan oluşan bir veri kümesidir.

  • İndirme boyutu : 308.28 MiB

  • Veri kümesi boyutu : 311.22 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'test' 21,114
'train' 65.494
'validation' 6.922
  • alıntı :
@article{kocisky-etal-2018-narrativeqa,
    title = "The {N}arrative{QA} Reading Comprehension Challenge",
    author = "Ko{
{c} }isk{'y}, Tom{'a}{
{s} }  and
      Schwarz, Jonathan  and
      Blunsom, Phil  and
      Dyer, Chris  and
      Hermann, Karl Moritz  and
      Melis, G{'a}bor  and
      Grefenstette, Edward",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "6",
    year = "2018",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q18-1023",
    doi = "10.1162/tacl_a_00023",
    pages = "317--328",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/narrativeqa_dev

  • Yapılandırma açıklaması : NarrativeQA, özellikle uzun belgelerde okuduğunu anlamayı test etmek için tasarlanmış İngilizce hikayeler ve ilgili sorulardan oluşan bir veri kümesidir.

  • İndirme boyutu : 308.28 MiB

  • Veri kümesi boyutu : 311.22 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'test' 21,114
'train' 65.494
'validation' 6.922
  • alıntı :
@article{kocisky-etal-2018-narrativeqa,
    title = "The {N}arrative{QA} Reading Comprehension Challenge",
    author = "Ko{
{c} }isk{'y}, Tom{'a}{
{s} }  and
      Schwarz, Jonathan  and
      Blunsom, Phil  and
      Dyer, Chris  and
      Hermann, Karl Moritz  and
      Melis, G{'a}bor  and
      Grefenstette, Edward",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "6",
    year = "2018",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q18-1023",
    doi = "10.1162/tacl_a_00023",
    pages = "317--328",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/natural_questions

  • Yapılandırma açıklaması : NQ corpus, gerçek kullanıcılardan gelen soruları içerir ve QA sistemlerinin, sorunun yanıtını içerebilecek veya içermeyebilecek bir Wikipedia makalesinin tamamını okumasını ve anlamasını gerektirir. Gerçek kullanıcı sorularının dahil edilmesi ve çözümlerin cevabı bulmak için tüm sayfayı okuması gerekliliği, NQ'nun önceki QA veri setlerinden daha gerçekçi ve zorlu bir görev olmasına neden olur.

  • İndirme boyutu : 6.95 MiB

  • Veri kümesi boyutu : 9.88 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'train' 96.075
'validation' 2.295
  • alıntı :
@article{kwiatkowski-etal-2019-natural,
    title = "Natural Questions: A Benchmark for Question Answering Research",
    author = "Kwiatkowski, Tom  and
      Palomaki, Jennimaria  and
      Redfield, Olivia  and
      Collins, Michael  and
      Parikh, Ankur  and
      Alberti, Chris  and
      Epstein, Danielle  and
      Polosukhin, Illia  and
      Devlin, Jacob  and
      Lee, Kenton  and
      Toutanova, Kristina  and
      Jones, Llion  and
      Kelcey, Matthew  and
      Chang, Ming-Wei  and
      Dai, Andrew M.  and
      Uszkoreit, Jakob  and
      Le, Quoc  and
      Petrov, Slav",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "7",
    year = "2019",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q19-1026",
    doi = "10.1162/tacl_a_00276",
    pages = "452--466",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/natural_questions_direct_ans

  • Yapılandırma açıklaması : NQ corpus, gerçek kullanıcılardan gelen soruları içerir ve QA sistemlerinin, sorunun yanıtını içerebilecek veya içermeyebilecek bir Wikipedia makalesinin tamamını okumasını ve anlamasını gerektirir. Gerçek kullanıcı sorularının dahil edilmesi ve çözümlerin cevabı bulmak için tüm sayfayı okuması gerekliliği, NQ'nun önceki QA veri setlerinden daha gerçekçi ve zorlu bir görev olmasına neden olur. Bu sürüm doğrudan cevaplı sorulardan oluşmaktadır.

  • İndirme boyutu : 6.82 MiB

  • Veri kümesi boyutu : 10.19 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 6.468
'train' 96.676
'validation' 10.693
  • alıntı :
@article{kwiatkowski-etal-2019-natural,
    title = "Natural Questions: A Benchmark for Question Answering Research",
    author = "Kwiatkowski, Tom  and
      Palomaki, Jennimaria  and
      Redfield, Olivia  and
      Collins, Michael  and
      Parikh, Ankur  and
      Alberti, Chris  and
      Epstein, Danielle  and
      Polosukhin, Illia  and
      Devlin, Jacob  and
      Lee, Kenton  and
      Toutanova, Kristina  and
      Jones, Llion  and
      Kelcey, Matthew  and
      Chang, Ming-Wei  and
      Dai, Andrew M.  and
      Uszkoreit, Jakob  and
      Le, Quoc  and
      Petrov, Slav",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "7",
    year = "2019",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q19-1026",
    doi = "10.1162/tacl_a_00276",
    pages = "452--466",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/natural_questions_direct_ans_test

  • Yapılandırma açıklaması : NQ corpus, gerçek kullanıcılardan gelen soruları içerir ve QA sistemlerinin, sorunun yanıtını içerebilecek veya içermeyebilecek bir Wikipedia makalesinin tamamını okumasını ve anlamasını gerektirir. Gerçek kullanıcı sorularının dahil edilmesi ve çözümlerin cevabı bulmak için tüm sayfayı okuması gerekliliği, NQ'nun önceki QA veri setlerinden daha gerçekçi ve zorlu bir görev olmasına neden olur. Bu sürüm doğrudan cevaplı sorulardan oluşmaktadır.

  • İndirme boyutu : 6.82 MiB

  • Veri kümesi boyutu : 10.19 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 6.468
'train' 96.676
'validation' 10.693
  • alıntı :
@article{kwiatkowski-etal-2019-natural,
    title = "Natural Questions: A Benchmark for Question Answering Research",
    author = "Kwiatkowski, Tom  and
      Palomaki, Jennimaria  and
      Redfield, Olivia  and
      Collins, Michael  and
      Parikh, Ankur  and
      Alberti, Chris  and
      Epstein, Danielle  and
      Polosukhin, Illia  and
      Devlin, Jacob  and
      Lee, Kenton  and
      Toutanova, Kristina  and
      Jones, Llion  and
      Kelcey, Matthew  and
      Chang, Ming-Wei  and
      Dai, Andrew M.  and
      Uszkoreit, Jakob  and
      Le, Quoc  and
      Petrov, Slav",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "7",
    year = "2019",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q19-1026",
    doi = "10.1162/tacl_a_00276",
    pages = "452--466",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/natural_questions_with_dpr_para

  • Yapılandırma açıklaması : NQ corpus, gerçek kullanıcılardan gelen soruları içerir ve QA sistemlerinin, sorunun yanıtını içerebilecek veya içermeyebilecek bir Wikipedia makalesinin tamamını okumasını ve anlamasını gerektirir. Gerçek kullanıcı sorularının dahil edilmesi ve çözümlerin cevabı bulmak için tüm sayfayı okuması gerekliliği, NQ'nun önceki QA veri setlerinden daha gerçekçi ve zorlu bir görev olmasına neden olur. Bu sürüm, her soruyu genişletmek için ek paragraflar (DPR alma motoru kullanılarak elde edilmiştir) içerir.

  • İndirme boyutu : 319.22 MiB

  • Veri kümesi boyutu : 322.91 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'train' 96.676
'validation' 10.693
  • alıntı :
@article{kwiatkowski-etal-2019-natural,
    title = "Natural Questions: A Benchmark for Question Answering Research",
    author = "Kwiatkowski, Tom  and
      Palomaki, Jennimaria  and
      Redfield, Olivia  and
      Collins, Michael  and
      Parikh, Ankur  and
      Alberti, Chris  and
      Epstein, Danielle  and
      Polosukhin, Illia  and
      Devlin, Jacob  and
      Lee, Kenton  and
      Toutanova, Kristina  and
      Jones, Llion  and
      Kelcey, Matthew  and
      Chang, Ming-Wei  and
      Dai, Andrew M.  and
      Uszkoreit, Jakob  and
      Le, Quoc  and
      Petrov, Slav",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "7",
    year = "2019",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q19-1026",
    doi = "10.1162/tacl_a_00276",
    pages = "452--466",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/natural_questions_with_dpr_para_test

  • Yapılandırma açıklaması : NQ corpus, gerçek kullanıcılardan gelen soruları içerir ve QA sistemlerinin, sorunun yanıtını içerebilecek veya içermeyebilecek bir Wikipedia makalesinin tamamını okumasını ve anlamasını gerektirir. Gerçek kullanıcı sorularının dahil edilmesi ve çözümlerin cevabı bulmak için tüm sayfayı okuması gerekliliği, NQ'nun önceki QA veri setlerinden daha gerçekçi ve zorlu bir görev olmasına neden olur. Bu sürüm, her soruyu genişletmek için ek paragraflar (DPR alma motoru kullanılarak elde edilmiştir) içerir.

  • İndirme boyutu : 306.94 MiB

  • Veri kümesi boyutu : 310.48 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'test' 6.468
'train' 96.676
  • alıntı :
@article{kwiatkowski-etal-2019-natural,
    title = "Natural Questions: A Benchmark for Question Answering Research",
    author = "Kwiatkowski, Tom  and
      Palomaki, Jennimaria  and
      Redfield, Olivia  and
      Collins, Michael  and
      Parikh, Ankur  and
      Alberti, Chris  and
      Epstein, Danielle  and
      Polosukhin, Illia  and
      Devlin, Jacob  and
      Lee, Kenton  and
      Toutanova, Kristina  and
      Jones, Llion  and
      Kelcey, Matthew  and
      Chang, Ming-Wei  and
      Dai, Andrew M.  and
      Uszkoreit, Jakob  and
      Le, Quoc  and
      Petrov, Slav",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "7",
    year = "2019",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q19-1026",
    doi = "10.1162/tacl_a_00276",
    pages = "452--466",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

birleşik_qa/newsqa

  • Yapılandırma açıklaması : NewsQA, insan tarafından oluşturulan soru-cevap çiftlerinden oluşan zorlu bir makine anlama veri kümesidir. Crowdworkers, CNN'den gelen bir dizi haber makalesine dayanan sorular ve cevaplar sağlar ve cevapları ilgili makalelerden metin aralıklarından oluşur.

  • İndirme boyutu : 283.33 MiB

  • Veri kümesi boyutu : 285.94 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölmeler :

Bölmek Örnekler
'train' 75.882
'validation' 4.309
  • alıntı :
@inproceedings{trischler-etal-2017-newsqa,
    title = "{N}ews{QA}: A Machine Comprehension Dataset",
    author = "Trischler, Adam  and
      Wang, Tong  and
      Yuan, Xingdi  and
      Harris, Justin  and
      Sordoni, Alessandro  and
      Bachman, Philip  and
      Suleman, Kaheer",
    booktitle = "Proceedings of the 2nd Workshop on Representation Learning for {NLP}",
    month = aug,
    year = "2017",
    address = "Vancouver, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/W17-2623",
    doi = "10.18653/v1/W17-2623",
    pages = "191--200",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

birleşik_qa/openbookqa

  • Yapılandırma açıklaması : OpenBookQA, hem konunun (açık bir kitap olarak özetlenen belirgin gerçeklerle, ayrıca veri kümesiyle birlikte sağlanır) hem de ifade edildiği dilin daha derin bir şekilde anlaşılmasını sağlayarak gelişmiş soru cevaplamada araştırmayı teşvik etmeyi amaçlar. çok adımlı akıl yürütme, ek ortak ve sağduyu bilgisi kullanımı ve zengin metin anlayışı gerektiren sorular içerir. OpenBookQA, bir konuyu insan anlayışını değerlendirmek için açık kitap sınavlarından sonra modellenen yeni bir tür soru-cevap veri kümesidir.

  • İndirme boyutu : 942.34 KiB

  • Veri kümesi boyutu : 1.11 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 500
'train' 4.957
'validation' 500
  • alıntı :
@inproceedings{mihaylov-etal-2018-suit,
    title = "Can a Suit of Armor Conduct Electricity? A New Dataset for Open Book Question Answering",
    author = "Mihaylov, Todor  and
      Clark, Peter  and
      Khot, Tushar  and
      Sabharwal, Ashish",
    booktitle = "Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing",
    month = oct # "-" # nov,
    year = "2018",
    address = "Brussels, Belgium",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D18-1260",
    doi = "10.18653/v1/D18-1260",
    pages = "2381--2391",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/openbookqa_dev

  • Yapılandırma açıklaması : OpenBookQA, hem konunun (açık bir kitap olarak özetlenen belirgin gerçeklerle, ayrıca veri kümesiyle birlikte sağlanır) hem de ifade edildiği dilin daha derin bir şekilde anlaşılmasını sağlayarak gelişmiş soru cevaplamada araştırmayı teşvik etmeyi amaçlar. çok adımlı akıl yürütme, ek ortak ve sağduyu bilgisi kullanımı ve zengin metin anlayışı gerektiren sorular içerir. OpenBookQA, bir konuyu insan anlayışını değerlendirmek için açık kitap sınavlarından sonra modellenen yeni bir tür soru-cevap veri kümesidir.

  • İndirme boyutu : 942.34 KiB

  • Veri kümesi boyutu : 1.11 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 500
'train' 4.957
'validation' 500
  • alıntı :
@inproceedings{mihaylov-etal-2018-suit,
    title = "Can a Suit of Armor Conduct Electricity? A New Dataset for Open Book Question Answering",
    author = "Mihaylov, Todor  and
      Clark, Peter  and
      Khot, Tushar  and
      Sabharwal, Ashish",
    booktitle = "Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing",
    month = oct # "-" # nov,
    year = "2018",
    address = "Brussels, Belgium",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D18-1260",
    doi = "10.18653/v1/D18-1260",
    pages = "2381--2391",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/openbookqa_with_ir

  • Yapılandırma açıklaması : OpenBookQA, hem konunun (açık bir kitap olarak özetlenen belirgin gerçeklerle, ayrıca veri kümesiyle birlikte sağlanır) hem de ifade edildiği dilin daha derin bir şekilde anlaşılmasını sağlayarak gelişmiş soru cevaplamada araştırmayı teşvik etmeyi amaçlar. çok adımlı akıl yürütme, ek ortak ve sağduyu bilgisi kullanımı ve zengin metin anlayışı gerektiren sorular içerir. OpenBookQA, bir konuyu insan anlayışını değerlendirmek için açık kitap sınavlarından sonra modellenen yeni bir tür soru-cevap veri kümesidir. Bu sürüm, ek kanıt olarak bir bilgi erişim sistemi aracılığıyla getirilen paragrafları içerir.

  • İndirme boyutu : 6.08 MiB

  • Veri kümesi boyutu : 6.28 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 500
'train' 4.957
'validation' 500
  • alıntı :
@inproceedings{mihaylov-etal-2018-suit,
    title = "Can a Suit of Armor Conduct Electricity? A New Dataset for Open Book Question Answering",
    author = "Mihaylov, Todor  and
      Clark, Peter  and
      Khot, Tushar  and
      Sabharwal, Ashish",
    booktitle = "Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing",
    month = oct # "-" # nov,
    year = "2018",
    address = "Brussels, Belgium",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D18-1260",
    doi = "10.18653/v1/D18-1260",
    pages = "2381--2391",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/openbookqa_with_ir_dev

  • Yapılandırma açıklaması : OpenBookQA, hem konunun (açık bir kitap olarak özetlenen belirgin gerçeklerle, ayrıca veri kümesiyle birlikte sağlanır) hem de ifade edildiği dilin daha derin bir şekilde anlaşılmasını sağlayarak gelişmiş soru cevaplamada araştırmayı teşvik etmeyi amaçlar. çok adımlı akıl yürütme, ek ortak ve sağduyu bilgisi kullanımı ve zengin metin anlayışı gerektiren sorular içerir. OpenBookQA, bir konuyu insan anlayışını değerlendirmek için açık kitap sınavlarından sonra modellenen yeni bir tür soru-cevap veri kümesidir. Bu sürüm, ek kanıt olarak bir bilgi erişim sistemi aracılığıyla getirilen paragrafları içerir.

  • İndirme boyutu : 6.08 MiB

  • Veri kümesi boyutu : 6.28 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 500
'train' 4.957
'validation' 500
  • alıntı :
@inproceedings{mihaylov-etal-2018-suit,
    title = "Can a Suit of Armor Conduct Electricity? A New Dataset for Open Book Question Answering",
    author = "Mihaylov, Todor  and
      Clark, Peter  and
      Khot, Tushar  and
      Sabharwal, Ashish",
    booktitle = "Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing",
    month = oct # "-" # nov,
    year = "2018",
    address = "Brussels, Belgium",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D18-1260",
    doi = "10.18653/v1/D18-1260",
    pages = "2381--2391",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/fiziksel_iqa

  • Yapılandırma açıklaması : Bu, fiziksel sağduyu anlayışındaki ilerlemeyi kıyaslamak için bir veri kümesidir. Altta yatan görev çoktan seçmeli soru cevaplamadır: bir q sorusu ve iki olası çözüm s1, s2 verildiğinde, bir model veya bir insan en uygun çözümü seçmelidir, bunlardan tam olarak biri doğrudur. Veri seti, atipik çözümler tercihi ile günlük durumlara odaklanır. Veri kümesi, kullanıcılara günlük malzemeleri kullanarak nesnelerin nasıl oluşturulacağı, üretileceği, pişirileceği veya işleneceği konusunda talimatlar sağlayan instructables.com'dan esinlenmiştir. Anlatıcılardan, fiziksel bilginin hedeflenmesini sağlamak için, aksi takdirde sözdizimsel ve topikal olarak benzer olan semantik bozulmalar veya alternatif yaklaşımlar sağlamaları istenir. Veri kümesi, AFLite algoritması kullanılarak temel yapaylıklardan daha fazla temizlenir.

  • İndirme boyutu : 6.01 MiB

  • Veri kümesi boyutu : 6.59 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'train' 16,113
'validation' 1.838
  • alıntı :
@inproceedings{bisk2020piqa,
    title={Piqa: Reasoning about physical commonsense in natural language},
    author={Bisk, Yonatan and Zellers, Rowan and Gao, Jianfeng and Choi, Yejin and others},
    booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
    volume={34},
    number={05},
    pages={7432--7439},
    year={2020}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

birleşik_qa/qasc

  • Yapılandırma açıklaması : QASC, cümle oluşturmaya odaklanan, soru yanıtlayan bir veri kümesidir. İlkokul fen bilgisi hakkında 8 yollu çoktan seçmeli sorulardan oluşur ve 17 milyon cümlelik bir külliyatla birlikte gelir.

  • İndirme boyutu : 1.75 MiB

  • Veri kümesi boyutu : 2.09 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 920
'train' 8.134
'validation' 926
  • alıntı :
@inproceedings{khot2020qasc,
    title={Qasc: A dataset for question answering via sentence composition},
    author={Khot, Tushar and Clark, Peter and Guerquin, Michal and Jansen, Peter and Sabharwal, Ashish},
    booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
    volume={34},
    number={05},
    pages={8082--8090},
    year={2020}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

birleşik_qa/qasc_test

  • Yapılandırma açıklaması : QASC, cümle oluşturmaya odaklanan, soru yanıtlayan bir veri kümesidir. İlkokul fen bilgisi hakkında 8 yollu çoktan seçmeli sorulardan oluşur ve 17 milyon cümlelik bir külliyatla birlikte gelir.

  • İndirme boyutu : 1.75 MiB

  • Veri kümesi boyutu : 2.09 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 920
'train' 8.134
'validation' 926
  • alıntı :
@inproceedings{khot2020qasc,
    title={Qasc: A dataset for question answering via sentence composition},
    author={Khot, Tushar and Clark, Peter and Guerquin, Michal and Jansen, Peter and Sabharwal, Ashish},
    booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
    volume={34},
    number={05},
    pages={8082--8090},
    year={2020}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/qasc_with_ir

  • Yapılandırma açıklaması : QASC, cümle oluşturmaya odaklanan, soru yanıtlayan bir veri kümesidir. İlkokul fen bilgisi hakkında 8 yollu çoktan seçmeli sorulardan oluşur ve 17 milyon cümlelik bir külliyatla birlikte gelir. Bu sürüm, ek kanıt olarak bir bilgi erişim sistemi aracılığıyla getirilen paragrafları içerir.

  • İndirme boyutu : 16.95 MiB

  • Veri kümesi boyutu : 17.30 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 920
'train' 8.134
'validation' 926
  • alıntı :
@inproceedings{khot2020qasc,
    title={Qasc: A dataset for question answering via sentence composition},
    author={Khot, Tushar and Clark, Peter and Guerquin, Michal and Jansen, Peter and Sabharwal, Ashish},
    booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
    volume={34},
    number={05},
    pages={8082--8090},
    year={2020}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/qasc_with_ir_test

  • Yapılandırma açıklaması : QASC, cümle oluşturmaya odaklanan, soru yanıtlayan bir veri kümesidir. İlkokul fen bilgisi hakkında 8 yollu çoktan seçmeli sorulardan oluşur ve 17 milyon cümlelik bir külliyatla birlikte gelir. Bu sürüm, ek kanıt olarak bir bilgi erişim sistemi aracılığıyla getirilen paragrafları içerir.

  • İndirme boyutu : 16.95 MiB

  • Veri kümesi boyutu : 17.30 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 920
'train' 8.134
'validation' 926
  • alıntı :
@inproceedings{khot2020qasc,
    title={Qasc: A dataset for question answering via sentence composition},
    author={Khot, Tushar and Clark, Peter and Guerquin, Michal and Jansen, Peter and Sabharwal, Ashish},
    booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
    volume={34},
    number={05},
    pages={8082--8090},
    year={2020}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

birleşik_qa/quoref

  • Yapılandırma açıklaması : Bu veri seti, okuduğunu anlama sistemlerinin temel akıl yürütme yeteneğini test eder. Vikipedi'den paragraflar üzerinden sorular içeren bu aralık-seçim karşılaştırmasında, bir sistem soruları yanıtlamak için paragraflarda uygun aralık(lar)ı seçmeden önce sabit referansları çözmelidir.

  • İndirme boyutu : 51.43 MiB

  • Veri kümesi boyutu : 52.29 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'train' 22.265
'validation' 2.768
  • alıntı :
@inproceedings{dasigi-etal-2019-quoref,
    title = "{Q}uoref: A Reading Comprehension Dataset with Questions Requiring Coreferential Reasoning",
    author = "Dasigi, Pradeep  and
      Liu, Nelson F.  and
      Marasovi{'c}, Ana  and
      Smith, Noah A.  and
      Gardner, Matt",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-1606",
    doi = "10.18653/v1/D19-1606",
    pages = "5925--5932",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

birleşik_qa/yarış_dizisi

  • Yapılandırma açıklaması : Race, büyük ölçekli bir okuduğunu anlama veri kümesidir. Veri seti, ortaokul ve lise öğrencileri için tasarlanmış Çin'deki İngilizce sınavlarından toplanmıştır. Veri seti, makine kavraması için eğitim ve test setleri olarak sunulabilir.

  • İndirme boyutu : 167.97 MiB

  • Veri kümesi boyutu : 171.23 MiB

  • Otomatik önbelleğe alındı ​​( belgeler ): Evet (test, doğrulama), Yalnızca shuffle_files=False (tren) olduğunda

  • Bölmeler :

Bölmek Örnekler
'test' 4.934
'train' 87.863
'validation' 4.887
  • alıntı :
@inproceedings{lai-etal-2017-race,
    title = "{RACE}: Large-scale {R}e{A}ding Comprehension Dataset From Examinations",
    author = "Lai, Guokun  and
      Xie, Qizhe  and
      Liu, Hanxiao  and
      Yang, Yiming  and
      Hovy, Eduard",
    booktitle = "Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing",
    month = sep,
    year = "2017",
    address = "Copenhagen, Denmark",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D17-1082",
    doi = "10.18653/v1/D17-1082",
    pages = "785--794",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/race_string_dev

  • Yapılandırma açıklaması : Race, büyük ölçekli bir okuduğunu anlama veri kümesidir. Veri seti, ortaokul ve lise öğrencileri için tasarlanmış Çin'deki İngilizce sınavlarından toplanmıştır. Veri seti, makine kavraması için eğitim ve test setleri olarak sunulabilir.

  • İndirme boyutu : 167.97 MiB

  • Veri kümesi boyutu : 171.23 MiB

  • Otomatik önbelleğe alındı ​​( belgeler ): Evet (test, doğrulama), Yalnızca shuffle_files=False (tren) olduğunda

  • Bölmeler :

Bölmek Örnekler
'test' 4.934
'train' 87.863
'validation' 4.887
  • alıntı :
@inproceedings{lai-etal-2017-race,
    title = "{RACE}: Large-scale {R}e{A}ding Comprehension Dataset From Examinations",
    author = "Lai, Guokun  and
      Xie, Qizhe  and
      Liu, Hanxiao  and
      Yang, Yiming  and
      Hovy, Eduard",
    booktitle = "Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing",
    month = sep,
    year = "2017",
    address = "Copenhagen, Denmark",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D17-1082",
    doi = "10.18653/v1/D17-1082",
    pages = "785--794",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/ipler

  • Yapılandırma açıklaması : Bu veri kümesi, bir sistemin bir metin pasajından yeni bir duruma bilgi uygulama yeteneğini test eder. Bir sistem, nedensel veya niteliksel ilişki(ler) (örneğin, "hayvan tozlayıcıları çiçeklerde döllenmenin etkinliğini arttırır") içeren bir arka plan pasajı, bu arka planı kullanan yeni bir durum ve ilişkilerin etkileri hakkında akıl yürütmeyi gerektiren sorular sunulur. durum bağlamında arka plan geçişi.

  • İndirme boyutu : 12.91 MiB

  • Veri kümesi boyutu : 13.35 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'train' 10.924
'validation' 1.688
  • alıntı :
@inproceedings{lin-etal-2019-reasoning,
    title = "Reasoning Over Paragraph Effects in Situations",
    author = "Lin, Kevin  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Gardner, Matt",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5808",
    doi = "10.18653/v1/D19-5808",
    pages = "58--62",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/social_iqa

  • Yapılandırma açıklaması : Bu, sosyal durumlar hakkında sağduyulu akıl yürütme için büyük ölçekli bir kıyaslamadır. Sosyal IQa, çeşitli günlük durumlarda duygusal ve sosyal zekayı araştırmak için çoktan seçmeli sorular içerir. Kitle kaynak kullanımı yoluyla, sosyal etkileşimlerle ilgili doğru ve yanlış yanıtların yanı sıra sağduyulu sorular toplanır ve işçilerden farklı ancak ilgili bir soruya doğru yanıt vermelerini isteyerek yanlış yanıtlardaki üslup artifaktlarını azaltan yeni bir çerçeve kullanılır.

  • İndirme boyutu : 7.08 MiB

  • Veri kümesi boyutu : 8.22 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'train' 33.410
'validation' 1.954
  • alıntı :
@inproceedings{sap-etal-2019-social,
    title = "Social {IQ}a: Commonsense Reasoning about Social Interactions",
    author = "Sap, Maarten  and
      Rashkin, Hannah  and
      Chen, Derek  and
      Le Bras, Ronan  and
      Choi, Yejin",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-1454",
    doi = "10.18653/v1/D19-1454",
    pages = "4463--4473",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/squad1_1

  • Yapılandırma açıklaması : Bu, kitle çalışanları tarafından bir dizi Wikipedia makalesinde sorulan sorulardan oluşan ve her sorunun cevabının ilgili okuma pasajından bir metin parçası olduğu bir okuduğunu anlama veri kümesidir.

  • İndirme boyutu : 80.62 MiB

  • Veri kümesi boyutu : 83.99 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'train' 87.514
'validation' 10.570
  • alıntı :
@inproceedings{rajpurkar-etal-2016-squad,
    title = "{SQ}u{AD}: 100,000+ Questions for Machine Comprehension of Text",
    author = "Rajpurkar, Pranav  and
      Zhang, Jian  and
      Lopyrev, Konstantin  and
      Liang, Percy",
    booktitle = "Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing",
    month = nov,
    year = "2016",
    address = "Austin, Texas",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D16-1264",
    doi = "10.18653/v1/D16-1264",
    pages = "2383--2392",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

birleşik_qa/takım2

  • Yapılandırma açıklaması : Bu veri kümesi, orijinal Stanford Soru Yanıtlama Veri Kümesi (SQuAD) veri kümesini, yanıtlanabilir sorulara benzer görünmek için kitle çalışanları tarafından düşmanca yazılan yanıtlanamayan sorularla birleştirir.

  • İndirme boyutu : 116.56 MiB

  • Veri kümesi boyutu : 121.43 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'train' 130,149
'validation' 11.873
  • alıntı :
@inproceedings{rajpurkar-etal-2018-know,
    title = "Know What You Don{'}t Know: Unanswerable Questions for {SQ}u{AD}",
    author = "Rajpurkar, Pranav  and
      Jia, Robin  and
      Liang, Percy",
    booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)",
    month = jul,
    year = "2018",
    address = "Melbourne, Australia",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/P18-2124",
    doi = "10.18653/v1/P18-2124",
    pages = "784--789",
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/winogrande_l

  • Yapılandırma açıklaması : Bu veri kümesi, orijinal Winograd Schema Challenge tasarımından esinlenmiştir, ancak veri kümesinin hem ölçeğini hem de sertliğini iyileştirmek için ayarlanmıştır. Veri kümesi oluşturmanın temel adımları, (1) dikkatle tasarlanmış bir kitle kaynak kullanımı prosedüründen, ardından (2) insan tarafından algılanabilen sözcük ilişkilendirmelerini makine tarafından algılanabilen gömme ilişkilendirmelerine genelleştiren yeni bir AfLite algoritması kullanılarak sistematik önyargı azaltmadan oluşur. Farklı boyutlarda eğitim setleri sağlanmaktadır. Bu set, l boyutuna karşılık gelir.

  • İndirme boyutu : 1.49 MiB

  • Veri kümesi boyutu : 1.83 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'train' 10.234
'validation' 1.267
  • alıntı :
@inproceedings{sakaguchi2020winogrande,
  title={Winogrande: An adversarial winograd schema challenge at scale},
  author={Sakaguchi, Keisuke and Le Bras, Ronan and Bhagavatula, Chandra and Choi, Yejin},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={34},
  number={05},
  pages={8732--8740},
  year={2020}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/winogrande_m

  • Yapılandırma açıklaması : Bu veri kümesi, orijinal Winograd Schema Challenge tasarımından esinlenmiştir, ancak veri kümesinin hem ölçeğini hem de sertliğini iyileştirmek için ayarlanmıştır. Veri kümesi oluşturmanın temel adımları, (1) dikkatle tasarlanmış bir kitle kaynak kullanımı prosedüründen, ardından (2) insan tarafından algılanabilen sözcük ilişkilendirmelerini makine tarafından algılanabilen gömme ilişkilendirmelerine genelleştiren yeni bir AfLite algoritması kullanılarak sistematik önyargı azaltmadan oluşur. Farklı boyutlarda eğitim setleri sağlanmaktadır. Bu set m boyutuna karşılık gelir.

  • İndirme boyutu : 507.46 KiB

  • Veri kümesi boyutu : 623.15 KiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'train' 2.558
'validation' 1.267
  • alıntı :
@inproceedings{sakaguchi2020winogrande,
  title={Winogrande: An adversarial winograd schema challenge at scale},
  author={Sakaguchi, Keisuke and Le Bras, Ronan and Bhagavatula, Chandra and Choi, Yejin},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={34},
  number={05},
  pages={8732--8740},
  year={2020}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."

unified_qa/winogrande_s

  • Yapılandırma açıklaması : Bu veri kümesi, orijinal Winograd Schema Challenge tasarımından esinlenmiştir, ancak veri kümesinin hem ölçeğini hem de sertliğini iyileştirmek için ayarlanmıştır. Veri kümesi oluşturmanın temel adımları, (1) dikkatle tasarlanmış bir kitle kaynak kullanımı prosedüründen, ardından (2) insan tarafından algılanabilen sözcük ilişkilendirmelerini makine tarafından algılanabilen gömme ilişkilendirmelerine genelleştiren yeni bir AfLite algoritması kullanılarak sistematik önyargı azaltmadan oluşur. Farklı boyutlarda eğitim setleri sağlanmaktadır. Bu set s boyutuna karşılık gelir.

  • İndirme boyutu : 479.24 KiB

  • Veri kümesi boyutu : 590.47 KiB

  • Otomatik önbelleğe alınmış ( belgeler ): Evet

  • Bölmeler :

Bölmek Örnekler
'test' 1.767
'train' 640
'validation' 1.267
  • alıntı :
@inproceedings{sakaguchi2020winogrande,
  title={Winogrande: An adversarial winograd schema challenge at scale},
  author={Sakaguchi, Keisuke and Le Bras, Ronan and Bhagavatula, Chandra and Choi, Yejin},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={34},
  number={05},
  pages={8732--8740},
  year={2020}
}

@inproceedings{khashabi-etal-2020-unifiedqa,
    title = "{UNIFIEDQA}: Crossing Format Boundaries with a Single {QA} System",
    author = "Khashabi, Daniel  and
      Min, Sewon  and
      Khot, Tushar  and
      Sabharwal, Ashish  and
      Tafjord, Oyvind  and
      Clark, Peter  and
      Hajishirzi, Hannaneh",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.171",
    doi = "10.18653/v1/2020.findings-emnlp.171",
    pages = "1896--1907",
}

Note that each UnifiedQA dataset has its own citation. Please see the source to
see the correct citation for each contained dataset."