answer_equivalence

  • Açıklama :

Cevap Eşdeğerliği Veri Kümesi, SQuAD veri kümesindeki çeşitli modellerden model tahminlerine ilişkin insan derecelendirmelerini içerir. Derecelendirmeler, tahmin edilen cevabın altın cevaba 'eşdeğer' olup olmadığını belirler (hem soruyu hem de bağlamı dikkate alarak).

Daha spesifik olarak, 'eşdeğer' ile, tahmin edilen cevabın en azından altın cevapla aynı bilgiyi içerdiğini ve gereksiz bilgi eklemediğini kastediyoruz. Veri kümesi şunlar için ek açıklamalar içerir: * SQuAD geliştirme üzerinde BiDAF'tan tahminler * SQuAD geliştirmede XLNet'ten tahminler * SQuAD geliştirmede Luke'dan tahminler * SQuAD eğitimi, geliştirme ve test örnekleri hakkında Albert'ten tahminler

Bölmek Örnekler
'ae_dev' 4.446
'ae_test' 9,724
'dev_bidaf' 7.522
'dev_luke' 4.590
'dev_xlnet' 7.932
'train' 9.090
  • Özellik yapısı :
FeaturesDict({
    'candidate': Text(shape=(), dtype=tf.string),
    'context': Text(shape=(), dtype=tf.string),
    'gold_index': tf.int32,
    'qid': Text(shape=(), dtype=tf.string),
    'question': Text(shape=(), dtype=tf.string),
    'question_1': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'question_2': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'question_3': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'question_4': ClassLabel(shape=(), dtype=tf.int64, num_classes=3),
    'reference': Text(shape=(), dtype=tf.string),
    'score': tf.float32,
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtype Tanım
ÖzelliklerDict
aday Metin tf.string
bağlam Metin tf.string
gold_index tensör tf.int32
qid Metin tf.string
soru Metin tf.string
soru 1 sınıf etiketi tf.int64
soru 2 sınıf etiketi tf.int64
Soru 3 sınıf etiketi tf.int64
soru_4 sınıf etiketi tf.int64
referans Metin tf.string
Puan tensör tf.float32
  • alıntı :
@article{bulian-etal-2022-tomayto,
      title={Tomayto, Tomahto. Beyond Token-level Answer Equivalence for Question Answering Evaluation},
      author={Jannis Bulian and Christian Buck and Wojciech Gajewski and Benjamin Boerschinger and Tal Schuster},
      year={2022},
      eprint={2202.07654},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}