opus_paracrawl

Referanslar:

el-en

Bu veri kümesini TFDS'ye yüklemek için aşağıdaki komutu kullanın:

ds = tfds.load('huggingface:opus_paracrawl/el-en')
  • Tanım :
Parallel corpora from Web Crawls collected in the ParaCrawl project
40 languages, 41 bitexts
total number of files: 20,995
total number of tokens: 21.40G
total number of sentence fragments: 1.12G
  • Lisans : Bilinen lisans yok
  • Sürüm : 1.0.0
  • Bölünmeler :
Bölmek Örnekler
'train' 9402646
  • Özellikler :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "el",
            "en"
        ],
        "id": null,
        "_type": "Translation"
    }
}

en-ha

Bu veri kümesini TFDS'ye yüklemek için aşağıdaki komutu kullanın:

ds = tfds.load('huggingface:opus_paracrawl/en-ha')
  • Tanım :
Parallel corpora from Web Crawls collected in the ParaCrawl project
40 languages, 41 bitexts
total number of files: 20,995
total number of tokens: 21.40G
total number of sentence fragments: 1.12G
  • Lisans : Bilinen lisans yok
  • Sürüm : 1.0.0
  • Bölünmeler :
Bölmek Örnekler
'train' 19694
  • Özellikler :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "ha"
        ],
        "id": null,
        "_type": "Translation"
    }
}

tr-ig

Bu veri kümesini TFDS'ye yüklemek için aşağıdaki komutu kullanın:

ds = tfds.load('huggingface:opus_paracrawl/en-ig')
  • Tanım :
Parallel corpora from Web Crawls collected in the ParaCrawl project
40 languages, 41 bitexts
total number of files: 20,995
total number of tokens: 21.40G
total number of sentence fragments: 1.12G
  • Lisans : Bilinen lisans yok
  • Sürüm : 1.0.0
  • Bölünmeler :
Bölmek Örnekler
'train' 28829
  • Özellikler :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "ig"
        ],
        "id": null,
        "_type": "Translation"
    }
}

tr-km

Bu veri kümesini TFDS'ye yüklemek için aşağıdaki komutu kullanın:

ds = tfds.load('huggingface:opus_paracrawl/en-km')
  • Tanım :
Parallel corpora from Web Crawls collected in the ParaCrawl project
40 languages, 41 bitexts
total number of files: 20,995
total number of tokens: 21.40G
total number of sentence fragments: 1.12G
  • Lisans : Bilinen lisans yok
  • Sürüm : 1.0.0
  • Bölünmeler :
Bölmek Örnekler
'train' 65113
  • Özellikler :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "km"
        ],
        "id": null,
        "_type": "Translation"
    }
}

yani

Bu veri kümesini TFDS'ye yüklemek için aşağıdaki komutu kullanın:

ds = tfds.load('huggingface:opus_paracrawl/en-so')
  • Tanım :
Parallel corpora from Web Crawls collected in the ParaCrawl project
40 languages, 41 bitexts
total number of files: 20,995
total number of tokens: 21.40G
total number of sentence fragments: 1.12G
  • Lisans : Bilinen lisans yok
  • Sürüm : 1.0.0
  • Bölünmeler :
Bölmek Örnekler
'train' 14879
  • Özellikler :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "so"
        ],
        "id": null,
        "_type": "Translation"
    }
}

de-pl

Bu veri kümesini TFDS'ye yüklemek için aşağıdaki komutu kullanın:

ds = tfds.load('huggingface:opus_paracrawl/de-pl')
  • Tanım :
Parallel corpora from Web Crawls collected in the ParaCrawl project
40 languages, 41 bitexts
total number of files: 20,995
total number of tokens: 21.40G
total number of sentence fragments: 1.12G
  • Lisans : Bilinen lisans yok
  • Sürüm : 1.0.0
  • Bölünmeler :
Bölmek Örnekler
'train' 916624
  • Özellikler :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "de",
            "pl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

fr-nl

Bu veri kümesini TFDS'ye yüklemek için aşağıdaki komutu kullanın:

ds = tfds.load('huggingface:opus_paracrawl/fr-nl')
  • Tanım :
Parallel corpora from Web Crawls collected in the ParaCrawl project
40 languages, 41 bitexts
total number of files: 20,995
total number of tokens: 21.40G
total number of sentence fragments: 1.12G
  • Lisans : Bilinen lisans yok
  • Sürüm : 1.0.0
  • Bölünmeler :
Bölmek Örnekler
'train' 2687619
  • Özellikler :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "fr",
            "nl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

tr-sw

Bu veri kümesini TFDS'ye yüklemek için aşağıdaki komutu kullanın:

ds = tfds.load('huggingface:opus_paracrawl/en-sw')
  • Tanım :
Parallel corpora from Web Crawls collected in the ParaCrawl project
40 languages, 41 bitexts
total number of files: 20,995
total number of tokens: 21.40G
total number of sentence fragments: 1.12G
  • Lisans : Bilinen lisans yok
  • Sürüm : 1.0.0
  • Bölünmeler :
Bölmek Örnekler
'train' 132517
  • Özellikler :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "sw"
        ],
        "id": null,
        "_type": "Translation"
    }
}

en-tl

Bu veri kümesini TFDS'ye yüklemek için aşağıdaki komutu kullanın:

ds = tfds.load('huggingface:opus_paracrawl/en-tl')
  • Tanım :
Parallel corpora from Web Crawls collected in the ParaCrawl project
40 languages, 41 bitexts
total number of files: 20,995
total number of tokens: 21.40G
total number of sentence fragments: 1.12G
  • Lisans : Bilinen lisans yok
  • Sürüm : 1.0.0
  • Bölünmeler :
Bölmek Örnekler
'train' 248684
  • Özellikler :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "tl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

es-gl

Bu veri kümesini TFDS'ye yüklemek için aşağıdaki komutu kullanın:

ds = tfds.load('huggingface:opus_paracrawl/es-gl')
  • Tanım :
Parallel corpora from Web Crawls collected in the ParaCrawl project
40 languages, 41 bitexts
total number of files: 20,995
total number of tokens: 21.40G
total number of sentence fragments: 1.12G
  • Lisans : Bilinen lisans yok
  • Sürüm : 1.0.0
  • Bölünmeler :
Bölmek Örnekler
'train' 1222862
  • Özellikler :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "es",
            "gl"
        ],
        "id": null,
        "_type": "Translation"
    }
}