answer_equivalence

• Açıklama :

Cevap Eşdeğerliği Veri Kümesi, SQuAD veri kümesindeki çeşitli modellerden model tahminlerine ilişkin insan derecelendirmelerini içerir. Derecelendirmeler, tahmin edilen cevabın altın cevaba 'eşdeğer' olup olmadığını belirler (hem soruyu hem de bağlamı dikkate alarak).

Daha spesifik olarak, 'eşdeğer' ile, tahmin edilen cevabın en azından altın cevapla aynı bilgiyi içerdiğini ve gereksiz bilgi eklemediğini kastediyoruz. Veri kümesi şunlar için ek açıklamalar içerir: * SQuAD geliştirme üzerinde BiDAF'tan tahminler * SQuAD geliştirmede XLNet'ten tahminler * SQuAD geliştirmede Luke'dan tahminler * SQuAD eğitimi, geliştirme ve test örnekleri hakkında Albert'ten tahminler

• Ana sayfa : https://github.com/google-research-datasets/answer-equivalence-dataset

• Kaynak kodu : tfds.question_answering.answer_equivalence.AnswerEquivalence

• Sürümler :

  • 1.0.0 (varsayılan): İlk sürüm.

• İndirme boyutu : 45.86 MiB

• Veri kümesi boyutu : 47.24 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Evet

• Bölmeler :

• Özellik yapısı :

FeaturesDict({
    'candidate': Text(shape=(), dtype=tf.string),
    'context': Text(shape=(), dtype=tf.string),
    'gold_index': tf.int32,
    'qid': Text(shape=(), dtype=tf.string),
    'question': Text(shape=(), dtype=tf.string),
    'question_1': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'question_2': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'question_3': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'question_4': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'reference': Text(shape=(), dtype=tf.string),
    'score': tf.float32,
})

• Özellik belgeleri :

• Denetimli anahtarlar (bkz as_supervised doc ): None

• Şekil ( tfds.show_examples ): Desteklenmez.

• Örnekler ( tfds.as_dataframe ):

• alıntı :

@article{bulian-etal-2022-tomayto,
      title={Tomayto, Tomahto. Beyond Token-level Answer Equivalence for Question Answering Evaluation},
      author={Jannis Bulian and Christian Buck and Wojciech Gajewski and Benjamin Boerschinger and Tal Schuster},
      year={2022},
      eprint={2202.07654},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}