gomma_multi_rc

  • Descrizione :

Eraser Multi RC è un set di dati per query su passaggi su più righe, insieme a risposte e razionali. Ogni esempio in questo set di dati ha le seguenti 5 parti

  1. Un passaggio multilinea 2. Una domanda sul passaggio 3. Una risposta alla domanda
  2. Una classificazione se la risposta è giusta o sbagliata 5. Una spiegazione che giustifica la classificazione
Diviso Esempi
'test' 4.848
'train' 24.029
'validation' 3.214
  • Struttura delle caratteristiche :
FeaturesDict({
    'evidences': Sequence(Text(shape=(), dtype=string)),
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'passage': Text(shape=(), dtype=string),
    'query_and_answer': Text(shape=(), dtype=string),
})
  • Documentazione delle funzionalità :
Caratteristica Classe Forma Tipo D Descrizione
CaratteristicheDict
prove Sequenza(Testo) (Nessuno,) corda
etichetta ClassLabel int64
passaggio Testo corda
domanda_e_risposta Testo corda
  • Citazione :
@unpublished{eraser2019,
    title = {ERASER: A Benchmark to Evaluate Rationalized NLP Models},
    author = {Jay DeYoung and Sarthak Jain and Nazneen Fatema Rajani and Eric Lehman and Caiming Xiong and Richard Socher and Byron C. Wallace}
}
@inproceedings{MultiRC2018,
    author = {Daniel Khashabi and Snigdha Chaturvedi and Michael Roth and Shyam Upadhyay and Dan Roth},
    title = {Looking Beyond the Surface:A Challenge Set for Reading Comprehension over Multiple Sentences},
    booktitle = {NAACL},
    year = {2018}
}