参考文献:
アルバル
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:opus_gnome/ar-bal')
- 説明：
A parallel corpus of GNOME localization files. Source: https://l10n.gnome.org
187 languages, 12,822 bitexts
total number of files: 113,344
total number of tokens: 267.27M
total number of sentence fragments: 58.12M
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 60 |
- 特徴：
{
"id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"translation": {
"languages": [
"ar",
"bal"
],
"id": null,
"_type": "Translation"
}
}
bg-csb
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:opus_gnome/bg-csb')
- 説明：
A parallel corpus of GNOME localization files. Source: https://l10n.gnome.org
187 languages, 12,822 bitexts
total number of files: 113,344
total number of tokens: 267.27M
total number of sentence fragments: 58.12M
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 1768年 |
- 特徴：
{
"id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"translation": {
"languages": [
"bg",
"csb"
],
"id": null,
"_type": "Translation"
}
}
ca-en_GB
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:opus_gnome/ca-en_GB')
- 説明：
A parallel corpus of GNOME localization files. Source: https://l10n.gnome.org
187 languages, 12,822 bitexts
total number of files: 113,344
total number of tokens: 267.27M
total number of sentence fragments: 58.12M
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 7982 |
- 特徴：
{
"id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"translation": {
"languages": [
"ca",
"en_GB"
],
"id": null,
"_type": "Translation"
}
}
cs-eo
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:opus_gnome/cs-eo')
- 説明：
A parallel corpus of GNOME localization files. Source: https://l10n.gnome.org
187 languages, 12,822 bitexts
total number of files: 113,344
total number of tokens: 267.27M
total number of sentence fragments: 58.12M
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 73 |
- 特徴：
{
"id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"translation": {
"languages": [
"cs",
"eo"
],
"id": null,
"_type": "Translation"
}
}
デハ
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:opus_gnome/de-ha')
- 説明：
A parallel corpus of GNOME localization files. Source: https://l10n.gnome.org
187 languages, 12,822 bitexts
total number of files: 113,344
total number of tokens: 267.27M
total number of sentence fragments: 58.12M
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 216 |
- 特徴：
{
"id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"translation": {
"languages": [
"de",
"ha"
],
"id": null,
"_type": "Translation"
}
}
cs-tk
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:opus_gnome/cs-tk')
- 説明：
A parallel corpus of GNOME localization files. Source: https://l10n.gnome.org
187 languages, 12,822 bitexts
total number of files: 113,344
total number of tokens: 267.27M
total number of sentence fragments: 58.12M
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 18686 |
- 特徴：
{
"id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"translation": {
"languages": [
"cs",
"tk"
],
"id": null,
"_type": "Translation"
}
}
ダヴィ
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:opus_gnome/da-vi')
- 説明：
A parallel corpus of GNOME localization files. Source: https://l10n.gnome.org
187 languages, 12,822 bitexts
total number of files: 113,344
total number of tokens: 267.27M
total number of sentence fragments: 58.12M
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 149 |
- 特徴：
{
"id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"translation": {
"languages": [
"da",
"vi"
],
"id": null,
"_type": "Translation"
}
}
en_GB-my
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:opus_gnome/en_GB-my')
- 説明：
A parallel corpus of GNOME localization files. Source: https://l10n.gnome.org
187 languages, 12,822 bitexts
total number of files: 113,344
total number of tokens: 267.27M
total number of sentence fragments: 58.12M
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 28232 |
- 特徴：
{
"id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"translation": {
"languages": [
"en_GB",
"my"
],
"id": null,
"_type": "Translation"
}
}
エルスク
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:opus_gnome/el-sk')
- 説明：
A parallel corpus of GNOME localization files. Source: https://l10n.gnome.org
187 languages, 12,822 bitexts
total number of files: 113,344
total number of tokens: 267.27M
total number of sentence fragments: 58.12M
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 150 |
- 特徴：
{
"id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"translation": {
"languages": [
"el",
"sk"
],
"id": null,
"_type": "Translation"
}
}
デット
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:opus_gnome/de-tt')
- 説明：
A parallel corpus of GNOME localization files. Source: https://l10n.gnome.org
187 languages, 12,822 bitexts
total number of files: 113,344
total number of tokens: 267.27M
total number of sentence fragments: 58.12M
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'train' | 2169 |
- 特徴：
{
"id": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"translation": {
"languages": [
"de",
"tt"
],
"id": null,
"_type": "Translation"
}
}