- Описание:
Поскольку производительность системы по существующим тестам понимания прочитанного приближается к производительности человека или превосходит ее, нам нужен новый, надежный набор данных, который улучшает возможности системы по фактическому чтению абзацев текста. DROP - это краудсорсинговый, созданный противоборствующий тест, состоящий из 96 тысяч вопросов, в котором система должна разрешать ссылки в вопросе, возможно, на несколько входных позиций, и выполнять над ними дискретные операции (такие как сложение, подсчет или сортировка). Эти операции требуют гораздо более полного понимания содержания абзацев, чем то, что было необходимо для предыдущих наборов данных.
Домашняя страница: https://allennlp.org/drop
Исходный код:
tfds.text.drop.Drop
Версии:
-
1.0.0
: Первый выпуск. -
2.0.0
( по умолчанию): Добавить все варианты ответов.
-
Скачать Размер:
7.92 MiB
Dataset Размер:
116.24 MiB
Авто-кэшируются ( документация ): Да
расколы:
Расколоть | Примеры |
---|---|
'dev' | 9 536 |
'train' | 77 409 |
- Особенности:
FeaturesDict({
'answer': Text(shape=(), dtype=tf.string),
'passage': Text(shape=(), dtype=tf.string),
'query_id': Text(shape=(), dtype=tf.string),
'question': Text(shape=(), dtype=tf.string),
'validated_answers': Sequence(Text(shape=(), dtype=tf.string)),
})
Контролируемые ключи (см
as_supervised
документ ):None
Рис ( tfds.show_examples ): Не поддерживается.
Примеры ( tfds.as_dataframe ):
- Образец цитирования:
@inproceedings{Dua2019DROP,
author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
title={ {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
booktitle={Proc. of NAACL},
year={2019}
}