silgi_multi_rc

  • Açıklama:

Eraser Multi RC, cevaplar ve bir mantıkla birlikte çok satırlı pasajlar üzerindeki sorgular için bir veri setidir. Bu veri kümesindeki her örnek aşağıdaki 5 bölüme sahiptir

  1. Çok Satırlı Bir Pasaj 2. Parça hakkında bir soru 3. Sorguya bir cevap
  2. Cevabın doğru mu yanlış mı olduğuna dair bir Sınıflandırma 5. Sınıflandırmayı haklı çıkaran bir açıklama
Bölmek Örnekler
'test' 4.848
'train' 24.029
'validation' 3.214
  • Özellikler:
FeaturesDict({
    'evidences': Sequence(Text(shape=(), dtype=tf.string)),
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'passage': Text(shape=(), dtype=tf.string),
    'query_and_answer': Text(shape=(), dtype=tf.string),
})
  • Citation:
@unpublished{eraser2019,
    title = {ERASER: A Benchmark to Evaluate Rationalized NLP Models},
    author = {Jay DeYoung and Sarthak Jain and Nazneen Fatema Rajani and Eric Lehman and Caiming Xiong and Richard Socher and Byron C. Wallace}
}
@inproceedings{MultiRC2018,
    author = {Daniel Khashabi and Snigdha Chaturvedi and Michael Roth and Shyam Upadhyay and Dan Roth},
    title = {Looking Beyond the Surface:A Challenge Set for Reading Comprehension over Multiple Sentences},
    booktitle = {NAACL},
    year = {2018}
}