足-x

参考文献:

jp

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:paws-x/en')
  • 説明：
PAWS-X, a multilingual version of PAWS (Paraphrase Adversaries from Word Scrambling) for six languages.

This dataset contains 23,659 human translated PAWS evaluation pairs and 296,406 machine
translated training pairs in six typologically distinct languages: French, Spanish, German,
Chinese, Japanese, and Korean. English language is available by default. All translated
pairs are sourced from examples in PAWS-Wiki.

For further details, see the accompanying paper: PAWS-X: A Cross-lingual Adversarial Dataset
for Paraphrase Identification (https://arxiv.org/abs/1908.11828)

Note: There might be some missing or wrong labels in the dataset and we have replaced them with -1.
  • ライセンス: データセットはいかなる目的にも自由に使用できますが、データ ソースとして Google LLC (「Google」) の承認を得ることができます。データセットは、明示的か黙示的かを問わず、いかなる保証もなく「現状のまま」提供されます。 Google は、データセットの使用に起因する直接的または間接的な損害に対する一切の責任を負いません。
  • バージョン: 1.1.0
  • 分割:
スプリット例
'test' 2000年
'train' 49401
'validation' 2000年
  • 特徴：
{
    "id": {
        "dtype": "int32",
        "id": null,
        "_type": "Value"
    },
    "sentence1": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "sentence2": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "label": {
        "num_classes": 2,
        "names": [
            "0",
            "1"
        ],
        "names_file": null,
        "id": null,
        "_type": "ClassLabel"
    }
}

デ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:paws-x/de')
  • 説明：
PAWS-X, a multilingual version of PAWS (Paraphrase Adversaries from Word Scrambling) for six languages.

This dataset contains 23,659 human translated PAWS evaluation pairs and 296,406 machine
translated training pairs in six typologically distinct languages: French, Spanish, German,
Chinese, Japanese, and Korean. English language is available by default. All translated
pairs are sourced from examples in PAWS-Wiki.

For further details, see the accompanying paper: PAWS-X: A Cross-lingual Adversarial Dataset
for Paraphrase Identification (https://arxiv.org/abs/1908.11828)

Note: There might be some missing or wrong labels in the dataset and we have replaced them with -1.
  • ライセンス: データセットはいかなる目的にも自由に使用できますが、データ ソースとして Google LLC (「Google」) の承認を得ることができます。データセットは、明示的か黙示的かを問わず、いかなる保証もなく「現状のまま」提供されます。 Google は、データセットの使用に起因する直接的または間接的な損害に対する一切の責任を負いません。
  • バージョン: 1.1.0
  • 分割:
スプリット例
'test' 2000年
'train' 49401
'validation' 2000年
  • 特徴：
{
    "id": {
        "dtype": "int32",
        "id": null,
        "_type": "Value"
    },
    "sentence1": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "sentence2": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "label": {
        "num_classes": 2,
        "names": [
            "0",
            "1"
        ],
        "names_file": null,
        "id": null,
        "_type": "ClassLabel"
    }
}

エス

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:paws-x/es')
  • 説明：
PAWS-X, a multilingual version of PAWS (Paraphrase Adversaries from Word Scrambling) for six languages.

This dataset contains 23,659 human translated PAWS evaluation pairs and 296,406 machine
translated training pairs in six typologically distinct languages: French, Spanish, German,
Chinese, Japanese, and Korean. English language is available by default. All translated
pairs are sourced from examples in PAWS-Wiki.

For further details, see the accompanying paper: PAWS-X: A Cross-lingual Adversarial Dataset
for Paraphrase Identification (https://arxiv.org/abs/1908.11828)

Note: There might be some missing or wrong labels in the dataset and we have replaced them with -1.
  • ライセンス: データセットはいかなる目的にも自由に使用できますが、データ ソースとして Google LLC (「Google」) の承認を得ることができます。データセットは、明示的か黙示的かを問わず、いかなる保証もなく「現状のまま」提供されます。 Google は、データセットの使用に起因する直接的または間接的な損害に対する一切の責任を負いません。
  • バージョン: 1.1.0
  • 分割:
スプリット例
'test' 2000年
'train' 49401
'validation' 2000年
  • 特徴：
{
    "id": {
        "dtype": "int32",
        "id": null,
        "_type": "Value"
    },
    "sentence1": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "sentence2": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "label": {
        "num_classes": 2,
        "names": [
            "0",
            "1"
        ],
        "names_file": null,
        "id": null,
        "_type": "ClassLabel"
    }
}

フランス

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:paws-x/fr')
  • 説明：
PAWS-X, a multilingual version of PAWS (Paraphrase Adversaries from Word Scrambling) for six languages.

This dataset contains 23,659 human translated PAWS evaluation pairs and 296,406 machine
translated training pairs in six typologically distinct languages: French, Spanish, German,
Chinese, Japanese, and Korean. English language is available by default. All translated
pairs are sourced from examples in PAWS-Wiki.

For further details, see the accompanying paper: PAWS-X: A Cross-lingual Adversarial Dataset
for Paraphrase Identification (https://arxiv.org/abs/1908.11828)

Note: There might be some missing or wrong labels in the dataset and we have replaced them with -1.
  • ライセンス: データセットはいかなる目的にも自由に使用できますが、データ ソースとして Google LLC (「Google」) の承認を得ることができます。データセットは、明示的か黙示的かを問わず、いかなる保証もなく「現状のまま」提供されます。 Google は、データセットの使用に起因する直接的または間接的な損害に対する一切の責任を負いません。
  • バージョン: 1.1.0
  • 分割:
スプリット例
'test' 2000年
'train' 49401
'validation' 2000年
  • 特徴：
{
    "id": {
        "dtype": "int32",
        "id": null,
        "_type": "Value"
    },
    "sentence1": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "sentence2": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "label": {
        "num_classes": 2,
        "names": [
            "0",
            "1"
        ],
        "names_file": null,
        "id": null,
        "_type": "ClassLabel"
    }
}

じゃ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:paws-x/ja')
  • 説明：
PAWS-X, a multilingual version of PAWS (Paraphrase Adversaries from Word Scrambling) for six languages.

This dataset contains 23,659 human translated PAWS evaluation pairs and 296,406 machine
translated training pairs in six typologically distinct languages: French, Spanish, German,
Chinese, Japanese, and Korean. English language is available by default. All translated
pairs are sourced from examples in PAWS-Wiki.

For further details, see the accompanying paper: PAWS-X: A Cross-lingual Adversarial Dataset
for Paraphrase Identification (https://arxiv.org/abs/1908.11828)

Note: There might be some missing or wrong labels in the dataset and we have replaced them with -1.
  • ライセンス: データセットはいかなる目的にも自由に使用できますが、データ ソースとして Google LLC (「Google」) の承認を得ることができます。データセットは、明示的か黙示的かを問わず、いかなる保証もなく「現状のまま」提供されます。 Google は、データセットの使用に起因する直接的または間接的な損害に対する一切の責任を負いません。
  • バージョン: 1.1.0
  • 分割:
スプリット例
'test' 2000年
'train' 49401
'validation' 2000年
  • 特徴：
{
    "id": {
        "dtype": "int32",
        "id": null,
        "_type": "Value"
    },
    "sentence1": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "sentence2": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "label": {
        "num_classes": 2,
        "names": [
            "0",
            "1"
        ],
        "names_file": null,
        "id": null,
        "_type": "ClassLabel"
    }
}

こ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:paws-x/ko')
  • 説明：
PAWS-X, a multilingual version of PAWS (Paraphrase Adversaries from Word Scrambling) for six languages.

This dataset contains 23,659 human translated PAWS evaluation pairs and 296,406 machine
translated training pairs in six typologically distinct languages: French, Spanish, German,
Chinese, Japanese, and Korean. English language is available by default. All translated
pairs are sourced from examples in PAWS-Wiki.

For further details, see the accompanying paper: PAWS-X: A Cross-lingual Adversarial Dataset
for Paraphrase Identification (https://arxiv.org/abs/1908.11828)

Note: There might be some missing or wrong labels in the dataset and we have replaced them with -1.
  • ライセンス: データセットはいかなる目的にも自由に使用できますが、データ ソースとして Google LLC (「Google」) の承認を得ることができます。データセットは、明示的か黙示的かを問わず、いかなる保証もなく「現状のまま」提供されます。 Google は、データセットの使用に起因する直接的または間接的な損害に対する一切の責任を負いません。
  • バージョン: 1.1.0
  • 分割:
スプリット例
'test' 2000年
'train' 49401
'validation' 2000年
  • 特徴：
{
    "id": {
        "dtype": "int32",
        "id": null,
        "_type": "Value"
    },
    "sentence1": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "sentence2": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "label": {
        "num_classes": 2,
        "names": [
            "0",
            "1"
        ],
        "names_file": null,
        "id": null,
        "_type": "ClassLabel"
    }
}

zh

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:paws-x/zh')
  • 説明：
PAWS-X, a multilingual version of PAWS (Paraphrase Adversaries from Word Scrambling) for six languages.

This dataset contains 23,659 human translated PAWS evaluation pairs and 296,406 machine
translated training pairs in six typologically distinct languages: French, Spanish, German,
Chinese, Japanese, and Korean. English language is available by default. All translated
pairs are sourced from examples in PAWS-Wiki.

For further details, see the accompanying paper: PAWS-X: A Cross-lingual Adversarial Dataset
for Paraphrase Identification (https://arxiv.org/abs/1908.11828)

Note: There might be some missing or wrong labels in the dataset and we have replaced them with -1.
  • ライセンス: データセットはいかなる目的にも自由に使用できますが、データ ソースとして Google LLC (「Google」) の承認を得ることができます。データセットは、明示的か黙示的かを問わず、いかなる保証もなく「現状のまま」提供されます。 Google は、データセットの使用に起因する直接的または間接的な損害に対する一切の責任を負いません。
  • バージョン: 1.1.0
  • 分割:
スプリット例
'test' 2000年
'train' 49401
'validation' 2000年
  • 特徴：
{
    "id": {
        "dtype": "int32",
        "id": null,
        "_type": "Value"
    },
    "sentence1": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "sentence2": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "label": {
        "num_classes": 2,
        "names": [
            "0",
            "1"
        ],
        "names_file": null,
        "id": null,
        "_type": "ClassLabel"
    }
}