un_multi

参考文献:

アルデ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_multi/ar-de')
  • 説明
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
  • ライセンス: 不明なライセンス
  • バージョン: 1.0.0
  • 分割:
スプリット
'train' 165090
  • 特徴
{
    "translation": {
        "languages": [
            "ar",
            "de"
        ],
        "id": null,
        "_type": "Translation"
    }
}

アーエン

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_multi/ar-en')
  • 説明
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
  • ライセンス: 不明なライセンス
  • バージョン: 1.0.0
  • 分割:
スプリット
'train' 9759125
  • 特徴
{
    "translation": {
        "languages": [
            "ar",
            "en"
        ],
        "id": null,
        "_type": "Translation"
    }
}

アールエス

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_multi/ar-es')
  • 説明
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
  • ライセンス: 不明なライセンス
  • バージョン: 1.0.0
  • 分割:
スプリット
'train' 10119379
  • 特徴
{
    "translation": {
        "languages": [
            "ar",
            "es"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ar-fr

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_multi/ar-fr')
  • 説明
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
  • ライセンス: 不明なライセンス
  • バージョン: 1.0.0
  • 分割:
スプリット
'train' 9929567
  • 特徴
{
    "translation": {
        "languages": [
            "ar",
            "fr"
        ],
        "id": null,
        "_type": "Translation"
    }
}

あるある

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_multi/ar-ru')
  • 説明
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
  • ライセンス: 不明なライセンス
  • バージョン: 1.0.0
  • 分割:
スプリット
'train' 10206243
  • 特徴
{
    "translation": {
        "languages": [
            "ar",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ar-zh

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_multi/ar-zh')
  • 説明
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
  • ライセンス: 不明なライセンス
  • バージョン: 1.0.0
  • 分割:
スプリット
'train' 9832293
  • 特徴
{
    "translation": {
        "languages": [
            "ar",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

デ・エン

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_multi/de-en')
  • 説明
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
  • ライセンス: 不明なライセンス
  • バージョン: 1.0.0
  • 分割:
スプリット
'train' 162981
  • 特徴
{
    "translation": {
        "languages": [
            "de",
            "en"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ディーエス

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_multi/de-es')
  • 説明
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
  • ライセンス: 不明なライセンス
  • バージョン: 1.0.0
  • 分割:
スプリット
'train' 162078
  • 特徴
{
    "translation": {
        "languages": [
            "de",
            "es"
        ],
        "id": null,
        "_type": "Translation"
    }
}

デフランス

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_multi/de-fr')
  • 説明
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
  • ライセンス: 不明なライセンス
  • バージョン: 1.0.0
  • 分割:
スプリット
'train' 164025
  • 特徴
{
    "translation": {
        "languages": [
            "de",
            "fr"
        ],
        "id": null,
        "_type": "Translation"
    }
}

でる

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_multi/de-ru')
  • 説明
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
  • ライセンス: 不明なライセンス
  • バージョン: 1.0.0
  • 分割:
スプリット
'train' 164792
  • 特徴
{
    "translation": {
        "languages": [
            "de",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

デ・ジ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_multi/de-zh')
  • 説明
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
  • ライセンス: 不明なライセンス
  • バージョン: 1.0.0
  • 分割:
スプリット
'train' 176933
  • 特徴
{
    "translation": {
        "languages": [
            "de",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エンエス

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_multi/en-es')
  • 説明
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
  • ライセンス: 不明なライセンス
  • バージョン: 1.0.0
  • 分割:
スプリット
'train' 11350967
  • 特徴
{
    "translation": {
        "languages": [
            "en",
            "es"
        ],
        "id": null,
        "_type": "Translation"
    }
}

フランス

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_multi/en-fr')
  • 説明
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
  • ライセンス: 不明なライセンス
  • バージョン: 1.0.0
  • 分割:
スプリット
'train' 13172019
  • 特徴
{
    "translation": {
        "languages": [
            "en",
            "fr"
        ],
        "id": null,
        "_type": "Translation"
    }
}

えんる

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_multi/en-ru')
  • 説明
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
  • ライセンス: 不明なライセンス
  • バージョン: 1.0.0
  • 分割:
スプリット
'train' 11654416
  • 特徴
{
    "translation": {
        "languages": [
            "en",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

日本語

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_multi/en-zh')
  • 説明
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
  • ライセンス: 不明なライセンス
  • バージョン: 1.0.0
  • 分割:
スプリット
'train' 9564315
  • 特徴
{
    "translation": {
        "languages": [
            "en",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

es-fr

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_multi/es-fr')
  • 説明
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
  • ライセンス: 不明なライセンス
  • バージョン: 1.0.0
  • 分割:
スプリット
'train' 11441889
  • 特徴
{
    "translation": {
        "languages": [
            "es",
            "fr"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エス・ル

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_multi/es-ru')
  • 説明
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
  • ライセンス: 不明なライセンス
  • バージョン: 1.0.0
  • 分割:
スプリット
'train' 10605056
  • 特徴
{
    "translation": {
        "languages": [
            "es",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エスジ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_multi/es-zh')
  • 説明
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
  • ライセンス: 不明なライセンス
  • バージョン: 1.0.0
  • 分割:
スプリット
'train' 9847770
  • 特徴
{
    "translation": {
        "languages": [
            "es",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

フロル

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_multi/fr-ru')
  • 説明
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
  • ライセンス: 不明なライセンス
  • バージョン: 1.0.0
  • 分割:
スプリット
'train' 11761738
  • 特徴
{
    "translation": {
        "languages": [
            "fr",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

フランス

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_multi/fr-zh')
  • 説明
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
  • ライセンス: 不明なライセンス
  • バージョン: 1.0.0
  • 分割:
スプリット
'train' 9690914
  • 特徴
{
    "translation": {
        "languages": [
            "fr",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ル・ジ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:un_multi/ru-zh')
  • 説明
This is a collection of translated documents from the United Nations. This corpus is available in all 6 official languages of the UN, consisting of around 300 million words per language
  • ライセンス: 不明なライセンス
  • バージョン: 1.0.0
  • 分割:
スプリット
'train' 9557007
  • 特徴
{
    "translation": {
        "languages": [
            "ru",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}