¡El Día de la Comunidad de ML es el 9 de noviembre! Únase a nosotros para recibir actualizaciones de TensorFlow, JAX, y más Más información

eraser_multi_rc

  • Descripción:

Eraser Multi RC es un conjunto de datos para consultas sobre pasajes de varias líneas, junto con respuestas y un razonamiento. Cada ejemplo en este conjunto de datos tiene las siguientes 5 partes

  1. Un pasaje de varias líneas 2. Una consulta sobre el pasaje 3. Una respuesta a la consulta
  2. Una clasificación sobre si la respuesta es correcta o incorrecta 5. Una explicación que justifica la clasificación
Separar Ejemplos de
'test' 4.848
'train' 24,029
'validation' 3,214
  • características:
FeaturesDict({
    'evidences': Sequence(Text(shape=(), dtype=tf.string)),
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'passage': Text(shape=(), dtype=tf.string),
    'query_and_answer': Text(shape=(), dtype=tf.string),
})
  • Cita:
@unpublished{eraser2019,
    title = {ERASER: A Benchmark to Evaluate Rationalized NLP Models},
    author = {Jay DeYoung and Sarthak Jain and Nazneen Fatema Rajani and Eric Lehman and Caiming Xiong and Richard Socher and Byron C. Wallace}
}
@inproceedings{MultiRC2018,
    author = {Daniel Khashabi and Snigdha Chaturvedi and Michael Roth and Shyam Upadhyay and Dan Roth},
    title = {Looking Beyond the Surface:A Challenge Set for Reading Comprehension over Multiple Sentences},
    booktitle = {NAACL},
    year = {2018}
}