オーパス

  • 説明

OPUSは、Webから翻訳されたテキストのコレクションです。

独自の構成を作成して、ロードするデータ/言語のペアを選択します。

config = tfds.translate.opus.OpusConfig(
    version=tfds.core.Version('0.1.0'),
    language_pair=("de", "en"),
    subsets=["GNOME", "EMEA"]
)
builder = tfds.builder("opus", config=config)
Translation({
    'de': Text(shape=(), dtype=tf.string),
    'en': Text(shape=(), dtype=tf.string),
})
@inproceedings{Tiedemann2012ParallelData,
  author = {Tiedemann, J},
  title = {Parallel Data, Tools and Interfaces in OPUS},
  booktitle = {LREC}
  year = {2012} }

opus / Medical(デフォルト設定)

  • コンフィグの説明:医療文書

  • ダウンロードサイズ34.29 MiB

  • データセットのサイズ188.85 MiB

  • オートキャッシュされたドキュメント):時のみshuffle_files=False (電車)

  • スプリット

スプリット
'train' 1,108,752

opus / law

  • コンフィグの説明:法律文書

  • ダウンロードサイズ46.99 MiB

  • データセットのサイズ214.44 MiB

  • オートキャッシュされたドキュメント):時のみshuffle_files=False (電車)

  • スプリット

スプリット
'train' 719,372

opus /コーラン

  • コンフィグの説明:コーランのドキュメント

  • ダウンロードサイズ35.42 MiB

  • データセットのサイズ117.54 MiB

  • オートキャッシュされたドキュメント):はい

  • スプリット

スプリット
'train' 537,128

opus / IT

  • コンフィグの説明:ITドキュメント

  • ダウンロードサイズ10.33 MiB

  • データセットサイズ42.51 MiB

  • オートキャッシュされたドキュメント):はい

  • スプリット

スプリット
'train' 347,817

作品/字幕

  • コンフィグの説明:字幕ドキュメント

  • ダウンロードサイズ677.64 MiB

  • データセットサイズ2.01 GiB

  • オートキャッシュされたドキュメント):いいえ

  • スプリット

スプリット
'train' 22,512,639