概念的なキャプション

参考文献:

• コード
• ハグフェイス

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:conceptual_captions')

• 説明：

Image captioning dataset
The resulting dataset (version 1.1) has been split into Training, Validation, and Test splits. The Training split consists of 3,318,333 image-URL/caption pairs, with a total number of 51,201 total token types in the captions (i.e., total vocabulary). The average number of tokens per captions is 10.3 (standard deviation of 4.5), while the median is 9.0 tokens per caption. The Validation split consists of 15,840 image-URL/caption pairs, with similar statistics.

• ライセンス: 不明なライセンス
• バージョン: 1.1.0
• 分割:

• 特徴：

{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "caption": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "url": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    }
}

ラベルなし

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:conceptual_captions/unlabeled')

• 説明：

Google's Conceptual Captions dataset has more than 3 million images, paired with natural-language captions.
In contrast with the curated style of the MS-COCO images, Conceptual Captions images and their raw descriptions are harvested from the web,
and therefore represent a wider variety of styles. The raw descriptions are harvested from the Alt-text HTML attribute associated with web images.
The authors developed an automatic pipeline that extracts, filters, and transforms candidate image/caption pairs, with the goal of achieving a balance of cleanliness,
informativeness, fluency, and learnability of the resulting captions.

• ライセンス: データセットはいかなる目的にも自由に使用できますが、データ ソースとして Google LLC (「Google」) の承認をいただければ幸いです。データセットは、明示的か黙示的かを問わず、いかなる保証もなく「現状のまま」提供されます。 Google は、データセットの使用に起因する直接的または間接的な損害に対する一切の責任を負いません。

• バージョン: 0.0.0

• 分割:

• 特徴：

{
    "image_url": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "caption": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    }
}

ラベルが貼られた

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:conceptual_captions/labeled')

• 説明：

Google's Conceptual Captions dataset has more than 3 million images, paired with natural-language captions.
In contrast with the curated style of the MS-COCO images, Conceptual Captions images and their raw descriptions are harvested from the web,
and therefore represent a wider variety of styles. The raw descriptions are harvested from the Alt-text HTML attribute associated with web images.
The authors developed an automatic pipeline that extracts, filters, and transforms candidate image/caption pairs, with the goal of achieving a balance of cleanliness,
informativeness, fluency, and learnability of the resulting captions.

• ライセンス: データセットはいかなる目的にも自由に使用できますが、データ ソースとして Google LLC (「Google」) の承認をいただければ幸いです。データセットは、明示的か黙示的かを問わず、いかなる保証もなく「現状のまま」提供されます。 Google は、データセットの使用に起因する直接的または間接的な損害に対する一切の責任を負いません。

• バージョン: 0.0.0

• 分割:

• 特徴：

{
    "image_url": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "caption": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "labels": {
        "feature": {
            "dtype": "string",
            "id": null,
            "_type": "Value"
        },
        "length": -1,
        "id": null,
        "_type": "Sequence"
    },
    "MIDs": {
        "feature": {
            "dtype": "string",
            "id": null,
            "_type": "Value"
        },
        "length": -1,
        "id": null,
        "_type": "Sequence"
    },
    "confidence_scores": {
        "feature": {
            "dtype": "float64",
            "id": null,
            "_type": "Value"
        },
        "length": -1,
        "id": null,
        "_type": "Sequence"
    }
}