एमएल समुदाय दिवस 9 नवंबर है! TensorFlow, JAX से नई जानकारी के लिए हमसे जुड़ें, और अधिक जानें

ai2_arc_with_ir

  • विवरण:

उन्नत प्रश्न-उत्तर में अनुसंधान को प्रोत्साहित करने के लिए 7,787 वास्तविक ग्रेड-स्कूल स्तर, बहुविकल्पीय विज्ञान प्रश्नों का एक नया डेटासेट इकट्ठा किया गया। डेटासेट को एक चुनौती सेट और एक आसान सेट में विभाजित किया जाता है, जहां पूर्व में केवल एक पुनर्प्राप्ति-आधारित एल्गोरिथम और एक शब्द सह-घटना एल्गोरिथम दोनों द्वारा गलत उत्तर दिए गए प्रश्न होते हैं। हम कार्य के लिए प्रासंगिक 14 मिलियन से अधिक विज्ञान वाक्यों का एक संग्रह भी शामिल कर रहे हैं, और इस डेटासेट के लिए तीन न्यूरल बेसलाइन मॉडल का कार्यान्वयन भी शामिल कर रहे हैं। हम एआरसी को समुदाय के लिए एक चुनौती के रूप में पेश करते हैं।

मूल डाटासेट की तुलना में, इस कहते हैं संदर्भ UnifiedQA के रूप में एक ही तरीके से सूचना पुनर्प्राप्ति के माध्यम से प्राप्त वाक्य (देखें: https://arxiv.org/abs/2005.00700 )।

FeaturesDict({
    'answerKey': ClassLabel(shape=(), dtype=tf.int64, num_classes=5),
    'choices': Sequence({
        'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=5),
        'text': Text(shape=(), dtype=tf.string),
    }),
    'id': Text(shape=(), dtype=tf.string),
    'paragraph': Text(shape=(), dtype=tf.string),
    'question': Text(shape=(), dtype=tf.string),
})
  • पर्यवेक्षित कुंजियों (देखें as_supervised डॉक ): None

  • चित्रा ( tfds.show_examples ): समर्थित नहीं।

  • प्रशस्ति पत्र:

@article{allenai:arc,
      author    = {Peter Clark  and Isaac Cowhey and Oren Etzioni and Tushar Khot and
                    Ashish Sabharwal and Carissa Schoenick and Oyvind Tafjord},
      title     = {Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge},
      journal   = {arXiv:1803.05457v1},
      year      = {2018},
}
@article{2020unifiedqa,
    title={UnifiedQA: Crossing Format Boundaries With a Single QA System},
    author={D. Khashabi and S. Min and T. Khot and A. Sabhwaral and O. Tafjord and P. Clark and H. Hajishirzi},
    journal={arXiv preprint},
    year={2020}
}

ai2_arc_with_ir/ARC-चैलेंज-आईआर (डिफ़ॉल्ट कॉन्फ़िगरेशन)

  • कॉन्फ़िग विवरण: 2590 "हार्ड" सवालों का चैलेंज सेट (उन है कि दोनों एक पुन: प्राप्ति और एक सह-घटना विधि सही ढंग से जवाब देने के लिए असफल)

  • डेटासेट का आकार: 3.76 MiB

  • विभाजन:

विभाजित करना उदाहरण
'test' 1,172
'train' 1,119
'validation' 299

ai2_arc_with_ir/ARC-Easy-IR

  • कॉन्फ़िग विवरण: एआरसी चुनौती के लिए 5197 प्रश्नों की आसान सेट।

  • डेटासेट का आकार: 7.49 MiB

  • विभाजन:

विभाजित करना उदाहरण
'test' २,३७६
'train' २,२५१
'validation' 570