imdb_reviews

  • 説明

大規模な映画レビューデータセット。これは、以前のベンチマークデータセットよりも大幅に多くのデータを含むバイナリ感情分類のデータセットです。トレーニング用に25,000の高極性映画レビュー、テスト用に25,000のセットを提供します。使用するための追加のラベルなしデータもあります。

スプリット
'test' 25,000
'train' 25,000
'unsupervised' 50,000
@InProceedings{maas-EtAl:2011:ACL-HLT2011,
  author    = {Maas, Andrew L.  and  Daly, Raymond E.  and  Pham, Peter T.  and  Huang, Dan  and  Ng, Andrew Y.  and  Potts, Christopher},
  title     = {Learning Word Vectors for Sentiment Analysis},
  booktitle = {Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies},
  month     = {June},
  year      = {2011},
  address   = {Portland, Oregon, USA},
  publisher = {Association for Computational Linguistics},
  pages     = {142--150},
  url       = {http://www.aclweb.org/anthology/P11-1015}
}

imdb_reviews / plain_text(デフォルトの設定)

  • コンフィグの説明:プレーンテキスト

  • 特長

FeaturesDict({
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'text': Text(shape=(), dtype=tf.string),
})

imdb_reviews / bytes

  • コンフィグの説明:と使用法のバイトレベルのテキストエンコーディングtfds.deprecated.text.ByteTextEncoder

  • 特長

FeaturesDict({
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'text': Text(shape=(None,), dtype=tf.int64, encoder=<ByteTextEncoder vocab_size=257>),
})

imdb_reviews / subwords8k

  • コンフィグの説明:使用tfds.deprecated.text.SubwordTextEncoder 8K単語サイズで

  • 特長

FeaturesDict({
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'text': Text(shape=(None,), dtype=tf.int64, encoder=<SubwordTextEncoder vocab_size=8185>),
})

imdb_reviews / subwords32k

  • コンフィグの説明:使用tfds.deprecated.text.SubwordTextEncoder 32K単語サイズで

  • 特長

FeaturesDict({
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=2),
    'text': Text(shape=(None,), dtype=tf.int64, encoder=<SubwordTextEncoder vocab_size=32650>),
})