ai2_arc_with_ir

  • Açıklama :

7.787 gerçek ilkokul düzeyinde, çoktan seçmeli fen sorularından oluşan yeni bir veri seti, ileri düzey soru cevaplamada araştırmayı teşvik etmek için bir araya getirildi. Veri seti, bir Meydan Okuma Seti ve bir Kolay Set olarak bölünmüştür; burada birincisi, yalnızca hem alma tabanlı bir algoritma hem de bir kelime birlikte ortaya çıkma algoritması tarafından yanlış cevaplanan soruları içerir. Ayrıca, görevle ilgili 14 milyondan fazla bilim cümlesinden oluşan bir derlemi ve bu veri seti için üç sinirsel temel modelin uygulamasını da dahil ediyoruz. ARC'yi topluma bir meydan okuma olarak sunuyoruz.

Orijinal veri kümesiyle karşılaştırıldığında, bu, UnifiedQA ile aynı şekilde bilgi alımı yoluyla elde edilen bağlam cümlelerini ekler (bkz: https://arxiv.org/abs/200500700 ).

FeaturesDict({
    'answerKey': ClassLabel(shape=(), dtype=tf.int64, num_classes=5),
    'choices': Sequence({
        'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=5),
        'text': Text(shape=(), dtype=tf.string),
    }),
    'id': Text(shape=(), dtype=tf.string),
    'paragraph': Text(shape=(), dtype=tf.string),
    'question': Text(shape=(), dtype=tf.string),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtype Tanım
ÖzelliklerDict
cevap anahtarı sınıf etiketi tf.int64
seçimler Sekans
seçimler/etiket sınıf etiketi tf.int64
seçimler/metin Metin tf.string
İD Metin tf.string
paragraf Metin tf.string
soru Metin tf.string
@article{allenai:arc,
      author    = {Peter Clark  and Isaac Cowhey and Oren Etzioni and Tushar Khot and
                    Ashish Sabharwal and Carissa Schoenick and Oyvind Tafjord},
      title     = {Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge},
      journal   = {arXiv:1803.05457v1},
      year      = {2018},
}
@article{2020unifiedqa,
    title={UnifiedQA: Crossing Format Boundaries With a Single QA System},
    author={D. Khashabi and S. Min and T. Khot and A. Sabhwaral and O. Tafjord and P. Clark and H. Hajishirzi},
    journal={arXiv preprint},
    year={2020}
}

ai2_arc_with_ir/ARC-Challenge-IR (varsayılan yapılandırma)

  • Yapılandırma açıklaması : Meydan Okuma 2590 "zor" soru seti (hem alma hem de birlikte oluşturma yönteminin doğru yanıtlayamadığı sorular)

  • Veri kümesi boyutu : 3.76 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 1.172
'train' 1.119
'validation' 299

ai2_arc_with_ir/ARC-Kolay-IR

  • Yapılandırma açıklaması : ARC Challenge için 5197 sorudan oluşan Kolay Set.

  • Veri kümesi boyutu : 7.49 MiB

  • Bölmeler :

Bölmek Örnekler
'test' 2.376
'train' 2.251
'validation' 570