notícias_commentary

Referências:

ar-cs

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/ar-cs')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 52128
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ar",
            "cs"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ar-de

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/ar-de')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 68916
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ar",
            "de"
        ],
        "id": null,
        "_type": "Translation"
    }
}

cs-de

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/cs-de')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 172706
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "cs",
            "de"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ar-en

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/ar-en')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 83187
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ar",
            "en"
        ],
        "id": null,
        "_type": "Translation"
    }
}

cs-en

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/cs-en')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 177278
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "cs",
            "en"
        ],
        "id": null,
        "_type": "Translation"
    }
}

de-en

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/de-en')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 223153
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "de",
            "en"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ar-es

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/ar-es')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 78074
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ar",
            "es"
        ],
        "id": null,
        "_type": "Translation"
    }
}

cs-es

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/cs-es')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 170489
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "cs",
            "es"
        ],
        "id": null,
        "_type": "Translation"
    }
}

de-es

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/de-es')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 209839
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "de",
            "es"
        ],
        "id": null,
        "_type": "Translation"
    }
}

pt-pt

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/en-es')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 238872
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "es"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ar-fr

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/ar-fr')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 69157
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ar",
            "fr"
        ],
        "id": null,
        "_type": "Translation"
    }
}

cs-fr

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/cs-fr')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 148578
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "cs",
            "fr"
        ],
        "id": null,
        "_type": "Translation"
    }
}

de-fr

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/de-fr')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 185442
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "de",
            "fr"
        ],
        "id": null,
        "_type": "Translation"
    }
}

pt-fr

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/en-fr')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 209479
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "fr"
        ],
        "id": null,
        "_type": "Translation"
    }
}

es-fr

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/es-fr')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 195241
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "es",
            "fr"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ar-it

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/ar-it')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 17227
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ar",
            "it"
        ],
        "id": null,
        "_type": "Translation"
    }
}

cs-it

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/cs-it')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 30547
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "cs",
            "it"
        ],
        "id": null,
        "_type": "Translation"
    }
}

de-it

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/de-it')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 38961
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "de",
            "it"
        ],
        "id": null,
        "_type": "Translation"
    }
}

en-it

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/en-it')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 40009
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "it"
        ],
        "id": null,
        "_type": "Translation"
    }
}

es-it

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/es-it')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 41497
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "es",
            "it"
        ],
        "id": null,
        "_type": "Translation"
    }
}

frita

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/fr-it')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 38485
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "fr",
            "it"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ar-ja

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/ar-ja')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 569
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ar",
            "ja"
        ],
        "id": null,
        "_type": "Translation"
    }
}

cs-ja

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/cs-ja')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 622
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "cs",
            "ja"
        ],
        "id": null,
        "_type": "Translation"
    }
}

de-ja

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/de-ja')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 582
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "de",
            "ja"
        ],
        "id": null,
        "_type": "Translation"
    }
}

en-ja

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/en-ja')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 637
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "ja"
        ],
        "id": null,
        "_type": "Translation"
    }
}

es-ja

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/es-ja')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 602
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "es",
            "ja"
        ],
        "id": null,
        "_type": "Translation"
    }
}

fr-ja

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/fr-ja')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 519
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "fr",
            "ja"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ar-nl

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/ar-nl')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 9047
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ar",
            "nl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

cs-nl

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/cs-nl')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 17358
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "cs",
            "nl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

de-nl

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/de-nl')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 21439
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "de",
            "nl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

pt-nl

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/en-nl')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 19399
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "nl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

es-nl

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/es-nl')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 21012
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "es",
            "nl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

fr-nl

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/fr-nl')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 20898
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "fr",
            "nl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

it-nl

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/it-nl')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 15428
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "it",
            "nl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ar-pt

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/ar-pt')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 11433
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ar",
            "pt"
        ],
        "id": null,
        "_type": "Translation"
    }
}

cs-pt

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/cs-pt')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 18356
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "cs",
            "pt"
        ],
        "id": null,
        "_type": "Translation"
    }
}

departamento

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/de-pt')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 21884
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "de",
            "pt"
        ],
        "id": null,
        "_type": "Translation"
    }
}

en-pt

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/en-pt')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 25929
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "pt"
        ],
        "id": null,
        "_type": "Translation"
    }
}

e-pt

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/es-pt')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 25551
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "es",
            "pt"
        ],
        "id": null,
        "_type": "Translation"
    }
}

fr-pt

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/fr-pt')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 25642
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "fr",
            "pt"
        ],
        "id": null,
        "_type": "Translation"
    }
}

it-pt

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/it-pt')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 11407
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "it",
            "pt"
        ],
        "id": null,
        "_type": "Translation"
    }
}

nl-pt

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/nl-pt')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 10598
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "nl",
            "pt"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ar-ru

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/ar-ru')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 84455
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ar",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

cs-ru

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/cs-ru')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 161133
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "cs",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

de-ru

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/de-ru')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 175905
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "de",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

en-ru

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/en-ru')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 190104
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

es-ru

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/es-ru')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 180217
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "es",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

fr-ru

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/fr-ru')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 160740
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "fr",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

it-ru

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/it-ru')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 27267
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "it",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ja-ru

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/ja-ru')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 586
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ja",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

nl-ru

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/nl-ru')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 19112
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "nl",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

pt-ru

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/pt-ru')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 18458
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "pt",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ar-zh

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/ar-zh')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 66021
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ar",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

cs-zh

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/cs-zh')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 45424
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "cs",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

de-zh

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/de-zh')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 59020
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "de",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

pt-zh

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/en-zh')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 69206
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

es-zh

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/es-zh')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 65424
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "es",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

fr-zh

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/fr-zh')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 59060
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "fr",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

it-zh

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/it-zh')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 14652
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "it",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ja-zh

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/ja-zh')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 570
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ja",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

nl-zh

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/nl-zh')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 8433
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "nl",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

pt-zh

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/pt-zh')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 10873
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "pt",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ru-zh

Use o seguinte comando para carregar esse conjunto de dados no TFDS:

ds = tfds.load('huggingface:news_commentary/ru-zh')
  • Descrição :
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • Licença : Nenhuma licença conhecida
  • Versão : 11.0.0
  • Divisões :
Dividir Exemplos
'train' 47687
  • Características :
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ru",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}