参考文献:
蓋_スパーン
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:lince/lid_spaeng')
- 説明：
LinCE is a centralized Linguistic Code-switching Evaluation benchmark
(https://ritual.uh.edu/lince/) that contains data for training and evaluating
NLP systems on code-switching tasks.
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 8289 |
'train' | 21030 |
'validation' | 3332 |
- 特徴：
{
"idx": {
"dtype": "int32",
"id": null,
"_type": "Value"
},
"words": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"lid": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
}
}
蓋_ひねん
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:lince/lid_hineng')
- 説明：
LinCE is a centralized Linguistic Code-switching Evaluation benchmark
(https://ritual.uh.edu/lince/) that contains data for training and evaluating
NLP systems on code-switching tasks.
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 1854年 |
'train' | 4823 |
'validation' | 744 |
- 特徴：
{
"idx": {
"dtype": "int32",
"id": null,
"_type": "Value"
},
"words": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"lid": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
}
}
蓋_msaea
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:lince/lid_msaea')
- 説明：
LinCE is a centralized Linguistic Code-switching Evaluation benchmark
(https://ritual.uh.edu/lince/) that contains data for training and evaluating
NLP systems on code-switching tasks.
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 1663年 |
'train' | 8464 |
'validation' | 1116 |
- 特徴：
{
"idx": {
"dtype": "int32",
"id": null,
"_type": "Value"
},
"words": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"lid": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
}
}
蓋_ネペン
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:lince/lid_nepeng')
- 説明：
LinCE is a centralized Linguistic Code-switching Evaluation benchmark
(https://ritual.uh.edu/lince/) that contains data for training and evaluating
NLP systems on code-switching tasks.
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 3228 |
'train' | 8451 |
'validation' | 1332 |
- 特徴：
{
"idx": {
"dtype": "int32",
"id": null,
"_type": "Value"
},
"words": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"lid": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
}
}
pos_spaeng
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:lince/pos_spaeng')
- 説明：
LinCE is a centralized Linguistic Code-switching Evaluation benchmark
(https://ritual.uh.edu/lince/) that contains data for training and evaluating
NLP systems on code-switching tasks.
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 10720 |
'train' | 27893 |
'validation' | 4298 |
- 特徴：
{
"idx": {
"dtype": "int32",
"id": null,
"_type": "Value"
},
"words": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"lid": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"pos": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
}
}
pos_hineng
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:lince/pos_hineng')
- 説明：
LinCE is a centralized Linguistic Code-switching Evaluation benchmark
(https://ritual.uh.edu/lince/) that contains data for training and evaluating
NLP systems on code-switching tasks.
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 299 |
'train' | 1030 |
'validation' | 160 |
- 特徴：
{
"idx": {
"dtype": "int32",
"id": null,
"_type": "Value"
},
"words": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"lid": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"pos": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
}
}
ner_spaeng
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:lince/ner_spaeng')
- 説明：
LinCE is a centralized Linguistic Code-switching Evaluation benchmark
(https://ritual.uh.edu/lince/) that contains data for training and evaluating
NLP systems on code-switching tasks.
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 23527 |
'train' | 33611 |
'validation' | 10085 |
- 特徴：
{
"idx": {
"dtype": "int32",
"id": null,
"_type": "Value"
},
"words": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"lid": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"ner": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
}
}
ner_msaea
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:lince/ner_msaea')
- 説明：
LinCE is a centralized Linguistic Code-switching Evaluation benchmark
(https://ritual.uh.edu/lince/) that contains data for training and evaluating
NLP systems on code-switching tasks.
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 1110 |
'train' | 10103 |
'validation' | 1122 |
- 特徴：
{
"idx": {
"dtype": "int32",
"id": null,
"_type": "Value"
},
"words": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"ner": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
}
}
ner_hineng
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:lince/ner_hineng')
- 説明：
LinCE is a centralized Linguistic Code-switching Evaluation benchmark
(https://ritual.uh.edu/lince/) that contains data for training and evaluating
NLP systems on code-switching tasks.
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 522 |
'train' | 1243 |
'validation' | 314 |
- 特徴：
{
"idx": {
"dtype": "int32",
"id": null,
"_type": "Value"
},
"words": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"lid": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"ner": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
}
}
サスパエン
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:lince/sa_spaeng')
- 説明：
LinCE is a centralized Linguistic Code-switching Evaluation benchmark
(https://ritual.uh.edu/lince/) that contains data for training and evaluating
NLP systems on code-switching tasks.
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 4736 |
'train' | 12194 |
'validation' | 1859年 |
- 特徴：
{
"idx": {
"dtype": "int32",
"id": null,
"_type": "Value"
},
"words": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"lid": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"sa": {
"dtype": "string",
"id": null,
"_type": "Value"
}
}