タトエバ

参考文献:

• コード
• ハグフェイス

エンさん

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:tatoeba/en-mr')

• 説明：

This is a collection of translated sentences from Tatoeba
359 languages, 3,403 bitexts
total number of files: 750
total number of tokens: 65.54M
total number of sentence fragments: 8.96M

• ライセンス: 不明なライセンス
• バージョン: 2021.7.22
• 分割:

• 特徴：

{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "mr"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エオンル

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:tatoeba/eo-nl')

• 説明：

This is a collection of translated sentences from Tatoeba
359 languages, 3,403 bitexts
total number of files: 750
total number of tokens: 65.54M
total number of sentence fragments: 8.96M

• ライセンス: 不明なライセンス
• バージョン: 2021.7.22
• 分割:

• 特徴：

{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "eo",
            "nl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エスポイント

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:tatoeba/es-pt')

• 説明：

This is a collection of translated sentences from Tatoeba
359 languages, 3,403 bitexts
total number of files: 750
total number of tokens: 65.54M
total number of sentence fragments: 8.96M

• ライセンス: 不明なライセンス
• バージョン: 2021.7.22
• 分割:

• 特徴：

{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "es",
            "pt"
        ],
        "id": null,
        "_type": "Translation"
    }
}

フロル

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:tatoeba/fr-ru')

• 説明：

This is a collection of translated sentences from Tatoeba
359 languages, 3,403 bitexts
total number of files: 750
total number of tokens: 65.54M
total number of sentence fragments: 8.96M

• ライセンス: 不明なライセンス
• バージョン: 2021.7.22
• 分割:

• 特徴：

{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "fr",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エスグル

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:tatoeba/es-gl')

• 説明：

This is a collection of translated sentences from Tatoeba
359 languages, 3,403 bitexts
total number of files: 750
total number of tokens: 65.54M
total number of sentence fragments: 8.96M

• ライセンス: 不明なライセンス
• バージョン: 2021.7.22
• 分割:

• 特徴：

{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "es",
            "gl"
        ],
        "id": null,
        "_type": "Translation"
    }
}