落とす

  • 説明

既存の読解ベンチマークでのシステムパフォーマンスが人間のパフォーマンスに近いかそれを上回っているため、テキストの段落を実際に読み取るシステムの機能を向上させる新しいハードデータセットが必要です。 DROPは、クラウドソーシングで敵対的に作成された96kの質問のベンチマークであり、システムは、おそらく複数の入力位置への質問の参照を解決し、それらに対して個別の操作(加算、カウント、並べ替えなど)を実行する必要があります。これらの操作では、以前のデータセットに必要だったものよりも、段落の内容をより包括的に理解する必要があります。

  • ホームページhttps://allennlp.org/drop

  • ソースコードtfds.text.drop.Drop

  • バージョン

    • 1.0.0 :初期リリース。
    • 2.0.0 (デフォルト):答えのすべてのオプションを追加します。
  • ダウンロードサイズ7.92 MiB

  • データセットのサイズ116.24 MiB

  • オートキャッシュされたドキュメント):はい

  • スプリット

スプリット
'dev' 9,536
'train' 77,409
  • 特長
FeaturesDict({
    'answer': Text(shape=(), dtype=tf.string),
    'passage': Text(shape=(), dtype=tf.string),
    'query_id': Text(shape=(), dtype=tf.string),
    'question': Text(shape=(), dtype=tf.string),
    'validated_answers': Sequence(Text(shape=(), dtype=tf.string)),
})
  • 引用
@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}