gumka_multi_rc

  • opis :

Eraser Multi RC to zestaw danych do zapytań dotyczących fragmentów wielowierszowych wraz z odpowiedziami i uzasadnieniem. Każdy przykład w tym zbiorze danych składa się z następujących 5 części

  1. Przejście wielowierszowe 2. Zapytanie o przejście 3. Odpowiedź na zapytanie
  2. Klasyfikacja co do tego, czy odpowiedź jest poprawna czy błędna 5. Wyjaśnienie uzasadniające klasyfikację
Rozdzielać Przykłady
'test' 4848
'train' 24029
'validation' 3214
  • Struktura funkcji :
FeaturesDict({
    'evidences': Sequence(Text(shape=(), dtype=string)),
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'passage': Text(shape=(), dtype=string),
    'query_and_answer': Text(shape=(), dtype=string),
})
  • Dokumentacja funkcji :
Funkcja Klasa Kształt Typ D Opis
FunkcjeDict
dowody Sekwencja (tekst) (Nic,) strunowy
etykieta Etykieta klasy int64
przejście Tekst strunowy
zapytanie_i_odpowiedź Tekst strunowy
  • Cytat :
@unpublished{eraser2019,
    title = {ERASER: A Benchmark to Evaluate Rationalized NLP Models},
    author = {Jay DeYoung and Sarthak Jain and Nazneen Fatema Rajani and Eric Lehman and Caiming Xiong and Richard Socher and Byron C. Wallace}
}
@inproceedings{MultiRC2018,
    author = {Daniel Khashabi and Snigdha Chaturvedi and Michael Roth and Shyam Upadhyay and Dan Roth},
    title = {Looking Beyond the Surface:A Challenge Set for Reading Comprehension over Multiple Sentences},
    booktitle = {NAACL},
    year = {2018}
}