消しゴム_multi_rc

  • 説明

Eraser Multi RCは、複数行のパッセージに対するクエリのデータセットであり、回答と理論的根拠が含まれています。このデータセットの各例には、次の5つの部分があります

  1. 複数行のパッセージ2.パッセージに関するクエリ3.クエリへの回答
  2. 答えが正しいか間違っているかに関する分類5.分類を正当化する説明
スプリット
'test' 4,848
'train' 24,029
'validation' 3,214
  • 特長
FeaturesDict({
    'evidences': Sequence(Text(shape=(), dtype=tf.string)),
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'passage': Text(shape=(), dtype=tf.string),
    'query_and_answer': Text(shape=(), dtype=tf.string),
})
  • 引用
@unpublished{eraser2019,
    title = {ERASER: A Benchmark to Evaluate Rationalized NLP Models},
    author = {Jay DeYoung and Sarthak Jain and Nazneen Fatema Rajani and Eric Lehman and Caiming Xiong and Richard Socher and Byron C. Wallace}
}
@inproceedings{MultiRC2018,
    author = {Daniel Khashabi and Snigdha Chaturvedi and Michael Roth and Shyam Upadhyay and Dan Roth},
    title = {Looking Beyond the Surface:A Challenge Set for Reading Comprehension over Multiple Sentences},
    booktitle = {NAACL},
    year = {2018}
}