参考文献:
BGM
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:opus_dgt/bg-ga')
- 説明：
A collection of translation memories provided by the JRC. Source: https://ec.europa.eu/jrc/en/language-technologies/dgt-translation-memory
25 languages, 299 bitexts
total number of files: 817,410
total number of tokens: 2.13G
total number of sentence fragments: 113.52M
- ライセンス: 既知のライセンスはありません
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 179142 |
- 特徴：
{
"id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"translation": {
"languages": [
"bg",
"ga"
],
"id": null,
"_type": "Translation"
}
}
BG-HR
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:opus_dgt/bg-hr')
- 説明：
A collection of translation memories provided by the JRC. Source: https://ec.europa.eu/jrc/en/language-technologies/dgt-translation-memory
25 languages, 299 bitexts
total number of files: 817,410
total number of tokens: 2.13G
total number of sentence fragments: 113.52M
- ライセンス: 既知のライセンスはありません
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 701572 |
- 特徴：
{
"id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"translation": {
"languages": [
"bg",
"hr"
],
"id": null,
"_type": "Translation"
}
}
うーん、しー
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:opus_dgt/bg-sh')
- 説明：
A collection of translation memories provided by the JRC. Source: https://ec.europa.eu/jrc/en/language-technologies/dgt-translation-memory
25 languages, 299 bitexts
total number of files: 817,410
total number of tokens: 2.13G
total number of sentence fragments: 113.52M
- ライセンス: 既知のライセンスはありません
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 1488507 |
- 特徴：
{
"id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"translation": {
"languages": [
"bg",
"sh"
],
"id": null,
"_type": "Translation"
}
}
フィガ
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:opus_dgt/fi-ga')
- 説明：
A collection of translation memories provided by the JRC. Source: https://ec.europa.eu/jrc/en/language-technologies/dgt-translation-memory
25 languages, 299 bitexts
total number of files: 817,410
total number of tokens: 2.13G
total number of sentence fragments: 113.52M
- ライセンス: 既知のライセンスはありません
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 178619 |
- 特徴：
{
"id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"translation": {
"languages": [
"fi",
"ga"
],
"id": null,
"_type": "Translation"
}
}
エスガ
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:opus_dgt/es-ga')
- 説明：
A collection of translation memories provided by the JRC. Source: https://ec.europa.eu/jrc/en/language-technologies/dgt-translation-memory
25 languages, 299 bitexts
total number of files: 817,410
total number of tokens: 2.13G
total number of sentence fragments: 113.52M
- ライセンス: 既知のライセンスはありません
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 178696 |
- 特徴：
{
"id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"translation": {
"languages": [
"es",
"ga"
],
"id": null,
"_type": "Translation"
}
}
ガッシュ
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:opus_dgt/ga-sh')
- 説明：
A collection of translation memories provided by the JRC. Source: https://ec.europa.eu/jrc/en/language-technologies/dgt-translation-memory
25 languages, 299 bitexts
total number of files: 817,410
total number of tokens: 2.13G
total number of sentence fragments: 113.52M
- ライセンス: 既知のライセンスはありません
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 91613 |
- 特徴：
{
"id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"translation": {
"languages": [
"ga",
"sh"
],
"id": null,
"_type": "Translation"
}
}
hr-sk
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:opus_dgt/hr-sk')
- 説明：
A collection of translation memories provided by the JRC. Source: https://ec.europa.eu/jrc/en/language-technologies/dgt-translation-memory
25 languages, 299 bitexts
total number of files: 817,410
total number of tokens: 2.13G
total number of sentence fragments: 113.52M
- ライセンス: 既知のライセンスはありません
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 689263 |
- 特徴：
{
"id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"translation": {
"languages": [
"hr",
"sk"
],
"id": null,
"_type": "Translation"
}
}
mt-sh
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:opus_dgt/mt-sh')
- 説明：
A collection of translation memories provided by the JRC. Source: https://ec.europa.eu/jrc/en/language-technologies/dgt-translation-memory
25 languages, 299 bitexts
total number of files: 817,410
total number of tokens: 2.13G
total number of sentence fragments: 113.52M
- ライセンス: 既知のライセンスはありません
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 1450424 |
- 特徴：
{
"id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"translation": {
"languages": [
"mt",
"sh"
],
"id": null,
"_type": "Translation"
}
}
時間-SV
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:opus_dgt/hr-sv')
- 説明：
A collection of translation memories provided by the JRC. Source: https://ec.europa.eu/jrc/en/language-technologies/dgt-translation-memory
25 languages, 299 bitexts
total number of files: 817,410
total number of tokens: 2.13G
total number of sentence fragments: 113.52M
- ライセンス: 既知のライセンスはありません
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 696334 |
- 特徴：
{
"id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"translation": {
"languages": [
"hr",
"sv"
],
"id": null,
"_type": "Translation"
}
}
ガ～ンル
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:opus_dgt/ga-nl')
- 説明：
A collection of translation memories provided by the JRC. Source: https://ec.europa.eu/jrc/en/language-technologies/dgt-translation-memory
25 languages, 299 bitexts
total number of files: 817,410
total number of tokens: 2.13G
total number of sentence fragments: 113.52M
- ライセンス: 既知のライセンスはありません
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 170644 |
- 特徴：
{
"id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"translation": {
"languages": [
"ga",
"nl"
],
"id": null,
"_type": "Translation"
}
}