upuszczać

  • opis :

Ponieważ wydajność systemu w istniejących testach porównawczych czytania ze zrozumieniem jest bliska lub przewyższająca wydajność człowieka, potrzebujemy nowego, twardego zestawu danych, który poprawi możliwości systemów w zakresie rzeczywistego czytania akapitów tekstu. DROP to stworzony przez społeczność, tworzony przez przeciwników test porównawczy 96 000 pytań, w którym system musi rozwiązać odniesienia w pytaniu, być może do wielu pozycji wejściowych, i wykonać na nich dyskretne operacje (takie jak dodawanie, liczenie lub sortowanie). Operacje te wymagają znacznie bardziej wszechstronnego zrozumienia treści akapitów niż było to konieczne w przypadku poprzednich zestawów danych.

Rozdzielać Przykłady
'dev' 9536
'train' 77409
  • Struktura funkcji :
FeaturesDict({
    'answer': Text(shape=(), dtype=string),
    'passage': Text(shape=(), dtype=string),
    'query_id': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'validated_answers': Sequence(Text(shape=(), dtype=string)),
})
  • Dokumentacja funkcji :
Funkcja Klasa Kształt Typ D Opis
FunkcjeDict
odpowiadać Tekst strunowy
przejście Tekst strunowy
identyfikator_zapytania Tekst strunowy
pytanie Tekst strunowy
zatwierdzone_odpowiedzi Sekwencja (tekst) (Nic,) strunowy
  • Cytat :
@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}