新しいデータセットコレクションを追加する

このガイドに従って、新しいデータセットコレクション (TFDS または独自のリポジトリのいずれか) を作成します。

概要

新しいデータセットコレクションmy_collection TFDS に追加するには、ユーザーは次のファイルを含むmy_collectionフォルダーを生成する必要があります。

my_collection/
  __init__.py
  my_collection.py # Dataset collection definition
  my_collection_test.py # (Optional) test
  description.md # (Optional) collection description (if not included in my_collection.py)
  citations.md # (Optional) collection citations (if not included in my_collection.py)

慣例として、新しいデータセットコレクションは TFDS リポジトリのtensorflow_datasets/dataset_collections/フォルダーに追加する必要があります。

データセットコレクションを作成する

すべてのデータセットコレクションは、 tfds.core.dataset_collection_builder.DatasetCollectionのサブクラスとして実装されています。

以下は、ファイルmy_collection.pyで定義されたデータセットコレクションビルダーの最小限の例です。

import collections
from typing import Mapping
from tensorflow_datasets.core import dataset_collection_builder
from tensorflow_datasets.core import naming

class MyCollection(dataset_collection_builder.DatasetCollection):
  """Dataset collection builder my_dataset_collection."""

  @property
  def info(self) -> dataset_collection_builder.DatasetCollectionInfo:
    return dataset_collection_builder.DatasetCollectionInfo.from_cls(
        dataset_collection_class=self.__class__,
        description="my_dataset_collection description.",
        release_notes={
            "1.0.0": "Initial release",
        },
    )

  @property
  def datasets(
      self,
  ) -> Mapping[str, Mapping[str, naming.DatasetReference]]:
    return collections.OrderedDict({
        "1.0.0":
            naming.references_for({
                "dataset_1": "natural_questions/default:0.0.2",
                "dataset_2": "media_sum:1.0.0",
            }),
        "1.1.0":
            naming.references_for({
                "dataset_1": "natural_questions/longt5:0.1.0",
                "dataset_2": "media_sum:1.0.0",
                "dataset_3": "squad:3.0.0"
            })
    })

次のセクションでは、上書きする 2 つの抽象メソッドについて説明します。

`info` : データセットコレクションのメタデータ

infoメソッドは、コレクションのメタデータを含むdataset_collection_builder.DatasetCollectionInfoを返します。

データセットコレクション情報には、次の 4 つのフィールドが含まれます。

name: データセットコレクションの名前。
description: データセットコレクションのマークダウン形式の説明。データセットコレクションの説明を定義するには 2 つの方法があります。(1) コレクションのmy_collection.pyファイル内で直接 (複数行の) 文字列として定義する - TFDS データセットに対して既に行われているのと同様です。 (2) description.mdファイル内。このファイルはデータセットコレクションフォルダーに配置する必要があります。
release_notes: データセットコレクションのバージョンから対応するリリースノートへのマッピング。
引用: データセットコレクションの BibTeX 引用 (複数可) のオプション (リスト)。データセットコレクションの引用を定義するには 2 つの方法があります。(1) コレクションのmy_collection.pyファイル内で (複数行の) 文字列として直接定義します。これは TFDS データセットに対して既に行われているのと同様です。 (2) citations.bibファイル内。このファイルはデータセットコレクションフォルダーに配置する必要があります。

`datasets` : コレクション内のデータセットを定義します

datasetsメソッドは、コレクション内の TFDS データセットを返します。

これは、データセットコレクションの進化を説明するバージョンの辞書として定義されます。

バージョンごとに、含まれる TFDS データセットは、データセット名からnaming.DatasetReferenceまでの辞書として保存されます。例えば：

class MyCollection(dataset_collection_builder.DatasetCollection):
  ...
  @property
  def datasets(self):
    return {
        "1.0.0": {
            "yes_no":
                naming.DatasetReference(
                    dataset_name="yes_no", version="1.0.0"),
            "sst2":
                naming.DatasetReference(
                    dataset_name="glue", config="sst2", version="2.0.0"),
            "assin2":
                naming.DatasetReference(
                    dataset_name="assin2", version="1.0.0"),
        },
        ...
    }

naming.references_forメソッドは、上記と同じことをよりコンパクトに表現する方法を提供します。

class MyCollection(dataset_collection_builder.DatasetCollection):
  ...
  @property
  def datasets(self):
    return {
        "1.0.0":
            naming.references_for({
                "yes_no": "yes_no:1.0.0",
                "sst2": "glue/sst:2.0.0",
                "assin2": "assin2:1.0.0",
            }),
        ...
    }

データセットコレクションの単体テストを行う

DatasetCollectionTestBase は、データセットコレクションの基本テストクラスです。データセットコレクションが正しく登録され、そのデータセットが TFDS に存在することを保証するための簡単なチェックが多数提供されます。

設定する唯一のクラス属性はDATASET_COLLECTION_CLASSで、テストするデータセットコレクションのクラスオブジェクトを指定します。

さらに、ユーザーは次のクラス属性を設定できます。

VERSION : テストの実行に使用されるデータセットコレクションのバージョン (デフォルトは最新バージョン)。
DATASETS_TO_TEST : TFDS 内の存在をテストするデータセットを含むリスト (デフォルトはコレクション内のすべてのデータセット)。
CHECK_DATASETS_VERSION : データセットコレクション内のバージョン管理されたデータセットの存在を確認するか、デフォルトバージョンを確認するか (デフォルトは true)。

データセットコレクションの最も単純な有効なテストは次のようになります。

from tensorflow_datasets.testing.dataset_collection_builder_testing import DatasetCollectionTestBase
from . import my_collection

class TestMyCollection(DatasetCollectionTestBase):
  DATASET_COLLECTION_CLASS = my_collection.MyCollection

次のコマンドを実行して、データセットのコレクションをテストします。

python my_dataset_test.py

フィードバック

私たちはデータセット作成ワークフローの改善に継続的に取り組んでいますが、問題を認識している場合にのみそれを行うことができます。データセットコレクションの作成中にどのような問題やエラーが発生しましたか?最初は混乱する部分や機能しなかった部分はありましたか?

GitHubでフィードバックを共有してください。

新しいデータセット コレクションを追加する

概要

データセット コレクションを作成する

info : データセット コレクションのメタデータ

datasets : コレクション内のデータセットを定義します