story_cloze

• 説明:

Story Cloze Test は、ストーリーの理解、ストーリーの生成、およびスクリプトの学習を評価するための新しい常識推論フレームワークです。このテストでは、システムが 4 文のストーリーの正しい結末を選択する必要があります。

• 追加のドキュメント:コードnorth_eastを使用したペーパーの探索

• 構成の説明: 2018 年

• ホームページ: https://www.cs.rochester.edu/nlp/rocstories/

• ソース コード: tfds.datasets.story_cloze.Builder

• バージョン:

  • 1.0.0 (デフォルト): 初期リリース。

• ダウンロードサイズ: サイズUnknown size

• 手動ダウンロードの手順: このデータセットでは、ソース データを手動でdownload_config.manual_dir (デフォルトは~/tensorflow_datasets/downloads/manual/ ) にダウンロードする必要があります。
  https://www.cs.rochester.edu/nlp/rocstories/にアクセスし、Google フォームに入力してデータセットを取得します。データセットをダウンロードするためのリンクが記載されたメールが届きます。 2016 年のデータの場合、検証およびテスト ファイルの名前をそれぞれ cloze_test val _spring2016.csv および cloze_test test _spring2016.csv に変更する必要があります。 2018 バージョンでは、検証およびテスト ファイルの名前をそれぞれ cloze_test val _winter2018.csv および cloze_test test _winter2018.csv に変更する必要があります。これらのファイルを manual ディレクトリに移動します。

• 自動キャッシュ(ドキュメント): はい

• 機能構造:

FeaturesDict({
    'context': Text(shape=(), dtype=string),
    'endings': Sequence(Text(shape=(), dtype=string)),
    'label': int32,
})

• 機能のドキュメント:

• 監視されたキー( as_supervised docを参照): None

• 図( tfds.show_examples ): サポートされていません。

• 引用：

@inproceedings{sharma-etal-2018-tackling,
    title = "Tackling the Story Ending Biases in The Story Cloze Test",
    author = "Sharma, Rishi  and
      Allen, James  and
      Bakhshandeh, Omid  and
      Mostafazadeh, Nasrin",
    booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)",
    month = jul,
    year = "2018",
    address = "Melbourne, Australia",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/P18-2119",
    doi = "10.18653/v1/P18-2119",
    pages = "752--757",
    abstract = "The Story Cloze Test (SCT) is a recent framework for evaluating story comprehension and script learning. There have been a variety of models tackling the SCT so far. Although the original goal behind the SCT was to require systems to perform deep language understanding and commonsense reasoning for successful narrative understanding, some recent models could perform significantly better than the initial baselines by leveraging human-authorship biases discovered in the SCT dataset. In order to shed some light on this issue, we have performed various data analysis and analyzed a variety of top performing models presented for this task. Given the statistics we have aggregated, we have designed a new crowdsourcing scheme that creates a new SCT dataset, which overcomes some of the biases. We benchmark a few models on the new dataset and show that the top-performing model on the original SCT dataset fails to keep up its performance. Our findings further signify the importance of benchmarking NLP systems on various evolving test sets.",
}

story_cloze/2016 (デフォルト設定)

• データセットサイズ: 1.15 MiB

• スプリット:

• 例( tfds.as_dataframe ):

story_cloze/2018

• データセットサイズ: 1015.04 KiB

• スプリット:

• 例( tfds.as_dataframe ):