Zestawy danych TensorFlow

TFDS zapewnia zbiór gotowych do użycia zestawów danych do użytku z TensorFlow, Jax i innymi platformami uczenia maszynowego.

Obsługuje pobieranie i przygotowywanie danych deterministycznie oraz konstruowanie tf.data.Dataset (lub np.array ).

Zobacz na TensorFlow.org

Uruchom w Google Colab

Wyświetl źródło na GitHub

Instalacja

TFDS występuje w dwóch pakietach:

• pip install tensorflow-datasets : Wersja stabilna, wydawana co kilka miesięcy.
• pip install tfds-nightly : Wydawane codziennie, zawiera ostatnie wersje zestawów danych.

Ta colab używa tfds-nightly :

pip install -q tfds-nightly tensorflow matplotlib

WARNING: You are using pip version 20.2.2; however, version 20.2.3 is available.
You should consider upgrading via the '/tmpfs/src/tf_docs_env/bin/python -m pip install --upgrade pip' command.

import matplotlib.pyplot as plt
import numpy as np
import tensorflow as tf

import tensorflow_datasets as tfds

Znajdź dostępne zbiory danych

Wszystkie tfds.core.DatasetBuilder danych są podklasą tfds.core.DatasetBuilder . Aby uzyskać listę dostępnych konstruktorów, użyj tfds.list_builders() lub zajrzyj do naszego katalogu .

tfds.list_builders()

['abstract_reasoning',
 'aeslc',
 'aflw2k3d',
 'ag_news_subset',
 'ai2_arc',
 'ai2_arc_with_ir',
 'amazon_us_reviews',
 'anli',
 'arc',
 'bair_robot_pushing_small',
 'bccd',
 'beans',
 'big_patent',
 'bigearthnet',
 'billsum',
 'binarized_mnist',
 'binary_alpha_digits',
 'blimp',
 'bool_q',
 'c4',
 'caltech101',
 'caltech_birds2010',
 'caltech_birds2011',
 'cars196',
 'cassava',
 'cats_vs_dogs',
 'celeb_a',
 'celeb_a_hq',
 'cfq',
 'chexpert',
 'cifar10',
 'cifar100',
 'cifar10_1',
 'cifar10_corrupted',
 'citrus_leaves',
 'cityscapes',
 'civil_comments',
 'clevr',
 'clic',
 'clinc_oos',
 'cmaterdb',
 'cnn_dailymail',
 'coco',
 'coco_captions',
 'coil100',
 'colorectal_histology',
 'colorectal_histology_large',
 'common_voice',
 'coqa',
 'cos_e',
 'cosmos_qa',
 'covid19sum',
 'crema_d',
 'curated_breast_imaging_ddsm',
 'cycle_gan',
 'deep_weeds',
 'definite_pronoun_resolution',
 'dementiabank',
 'diabetic_retinopathy_detection',
 'div2k',
 'dmlab',
 'downsampled_imagenet',
 'dsprites',
 'dtd',
 'duke_ultrasound',
 'emnist',
 'eraser_multi_rc',
 'esnli',
 'eurosat',
 'fashion_mnist',
 'flic',
 'flores',
 'food101',
 'forest_fires',
 'fuss',
 'gap',
 'geirhos_conflict_stimuli',
 'genomics_ood',
 'german_credit_numeric',
 'gigaword',
 'glue',
 'goemotions',
 'gpt3',
 'groove',
 'gtzan',
 'gtzan_music_speech',
 'higgs',
 'horses_or_humans',
 'i_naturalist2017',
 'imagenet2012',
 'imagenet2012_corrupted',
 'imagenet2012_real',
 'imagenet2012_subset',
 'imagenet_a',
 'imagenet_r',
 'imagenet_resized',
 'imagenet_v2',
 'imagenette',
 'imagewang',
 'imdb_reviews',
 'irc_disentanglement',
 'iris',
 'kitti',
 'kmnist',
 'lfw',
 'librispeech',
 'librispeech_lm',
 'libritts',
 'ljspeech',
 'lm1b',
 'lost_and_found',
 'lsun',
 'malaria',
 'math_dataset',
 'mctaco',
 'mnist',
 'mnist_corrupted',
 'movie_lens',
 'movie_rationales',
 'movielens',
 'moving_mnist',
 'multi_news',
 'multi_nli',
 'multi_nli_mismatch',
 'natural_questions',
 'newsroom',
 'nsynth',
 'nyu_depth_v2',
 'omniglot',
 'open_images_challenge2019_detection',
 'open_images_v4',
 'openbookqa',
 'opinion_abstracts',
 'opinosis',
 'opus',
 'oxford_flowers102',
 'oxford_iiit_pet',
 'para_crawl',
 'patch_camelyon',
 'paws_wiki',
 'paws_x_wiki',
 'pet_finder',
 'pg19',
 'places365_small',
 'plant_leaves',
 'plant_village',
 'plantae_k',
 'qa4mre',
 'qasc',
 'quickdraw_bitmap',
 'radon',
 'reddit',
 'reddit_disentanglement',
 'reddit_tifu',
 'resisc45',
 'robonet',
 'rock_paper_scissors',
 'rock_you',
 'salient_span_wikipedia',
 'samsum',
 'savee',
 'scan',
 'scene_parse150',
 'scicite',
 'scientific_papers',
 'sentiment140',
 'shapes3d',
 'smallnorb',
 'snli',
 'so2sat',
 'speech_commands',
 'spoken_digit',
 'squad',
 'stanford_dogs',
 'stanford_online_products',
 'starcraft_video',
 'stl10',
 'sun397',
 'super_glue',
 'svhn_cropped',
 'ted_hrlr_translate',
 'ted_multi_translate',
 'tedlium',
 'tf_flowers',
 'the300w_lp',
 'tiny_shakespeare',
 'titanic',
 'trec',
 'trivia_qa',
 'tydi_qa',
 'uc_merced',
 'ucf101',
 'vctk',
 'vgg_face2',
 'visual_domain_decathlon',
 'voc',
 'voxceleb',
 'voxforge',
 'waymo_open_dataset',
 'web_questions',
 'wider_face',
 'wiki40b',
 'wikihow',
 'wikipedia',
 'wikipedia_toxicity_subtypes',
 'wine_quality',
 'winogrande',
 'wmt14_translate',
 'wmt15_translate',
 'wmt16_translate',
 'wmt17_translate',
 'wmt18_translate',
 'wmt19_translate',
 'wmt_t2t_translate',
 'wmt_translate',
 'wordnet',
 'xnli',
 'xquad',
 'xsum',
 'yelp_polarity_reviews',
 'yes_no']

Załaduj zbiór danych

Najłatwiejszym sposobem załadowania zbioru danych jest tfds.load . To będzie:

1. Pobierz dane i zapisz je jako pliki tfrecord .
2. Załaduj tfrecord i utwórz tf.data.Dataset .

ds = tfds.load('mnist', split='train', shuffle_files=True)
assert isinstance(ds, tf.data.Dataset)
print(ds)

WARNING:absl:Dataset mnist is hosted on GCS. It will automatically be downloaded to your
local data directory. If you'd instead prefer to read directly from our public
GCS bucket (recommended if you're running on GCP), you can instead pass
`try_gcs=True` to `tfds.load` or set `data_dir=gs://tfds-data/datasets`.


Downloading and preparing dataset mnist/3.0.1 (download: 11.06 MiB, generated: 21.00 MiB, total: 32.06 MiB) to /home/kbuilder/tensorflow_datasets/mnist/3.0.1...
Dataset mnist downloaded and prepared to /home/kbuilder/tensorflow_datasets/mnist/3.0.1. Subsequent calls will reuse this data.
<_OptionsDataset shapes: {image: (28, 28, 1), label: ()}, types: {image: tf.uint8, label: tf.int64}>

Niektóre typowe argumenty:

• split= : który podział odczytać (np. 'train' , ['train', 'test'] , 'train[80%:]' , ...). Zobacz nasz przewodnik po podzielonym API .
• shuffle_files= : Kontroluj, czy tasować pliki pomiędzy każdą epoką (TFDS przechowuje duże zbiory danych w wielu mniejszych plikach).
• data_dir= : Lokalizacja, w której zapisywany jest zestaw danych (domyślnie ~/tensorflow_datasets/ )
• with_info=True : zwraca tfds.core.DatasetInfo zawierające metadane zbioru danych
• download=False : Wyłącz pobieranie

tfds.load to cienkie opakowanie wokół tfds.core.DatasetBuilder . tfds.core.DatasetBuilder same dane wyjściowe można uzyskać za pomocą interfejsu API tfds.core.DatasetBuilder :

builder = tfds.builder('mnist')
# 1. Create the tfrecord files (no-op if already exists)
builder.download_and_prepare()
# 2. Load the `tf.data.Dataset`
ds = builder.as_dataset(split='train', shuffle_files=True)
print(ds)

<_OptionsDataset shapes: {image: (28, 28, 1), label: ()}, types: {image: tf.uint8, label: tf.int64}>

Iteruj po zbiorze danych

Jak dykt

Domyślnie tf.data.Dataset obiektu zawiera dict z tf.Tensor s:

ds = tfds.load('mnist', split='train')
ds = ds.take(1)  # Only take a single example

for example in ds:  # example is `{'image': tf.Tensor, 'label': tf.Tensor}`
  print(list(example.keys()))
  image = example["image"]
  label = example["label"]
  print(image.shape, label)

['image', 'label']
(28, 28, 1) tf.Tensor(4, shape=(), dtype=int64)

Jako krotka ( as_supervised=True )

Używając as_supervised=True , możesz uzyskać krotkę (features, label) zamiast nadzorowanych zestawów danych.

ds = tfds.load('mnist', split='train', as_supervised=True)
ds = ds.take(1)

for image, label in ds:  # example is (image, label)
  print(image.shape, label)

(28, 28, 1) tf.Tensor(4, shape=(), dtype=int64)

As numpy ( tfds.as_numpy )

Używa tfds.as_numpy do konwersji:

• tf.Tensor -> np.array
• tf.data.Dataset -> Generator[np.array]

ds = tfds.load('mnist', split='train', as_supervised=True)
ds = ds.take(1)

for image, label in tfds.as_numpy(ds):
  print(type(image), type(label), label)

<class 'numpy.ndarray'> <class 'numpy.int64'> 4

W pakiecie tf.Tensor ( batch_size=-1 )

Używając batch_size=-1 , możesz załadować pełny zestaw danych w jednej partii.

tfds.load zwróci dict ( tuple z as_supervised=True ) tf.Tensor ( np.array with tfds.as_numpy ).

Uważaj, aby Twój zestaw danych zmieścił się w pamięci i aby wszystkie przykłady miały ten sam kształt.

image, label = tfds.as_numpy(tfds.load(
    'mnist',
    split='test', 
    batch_size=-1, 
    as_supervised=True,
))

print(type(image), image.shape)

<class 'numpy.ndarray'> (10000, 28, 28, 1)

Twórz kompleksowe potoki

Aby przejść dalej, możesz spojrzeć:

• Nasz kompleksowy przykład Keras, aby zobaczyć pełny potok szkoleniowy (z wsadami, tasowaniem, ...).
• Nasz przewodnik po wydajności, aby poprawić szybkość Twoich potoków.

Wyobrażanie sobie

tfds.as_dataframe

Obiekty tf.data.Dataset można konwertować na pandas.DataFrame pomocą tfds.as_dataframe do wizualizacji w Colab .

• Dodaj tfds.core.DatasetInfo jako drugi argument tfds.as_dataframe aby wizualizować obrazy, audio, teksty, filmy, ...
• Użyj ds.take(x) aby wyświetlić tylko pierwsze przykłady x . pandas.DataFrame załaduje pełny zestaw danych do pamięci i może być bardzo kosztowny do wyświetlenia.

ds, info = tfds.load('mnist', split='train', with_info=True)

tfds.as_dataframe(ds.take(4), info)

tfds.show_examples

W przypadku obrazu z tfds.show_examples (obecnie obsługiwane są tylko zestawy danych obrazu):

ds, info = tfds.load('mnist', split='train', with_info=True)

fig = tfds.show_examples(ds, info)

Uzyskaj dostęp do metadanych zbioru danych

Wszystkie konstruktory zawierają obiekt tfds.core.DatasetInfo zawierający metadane zestawu danych.

Dostęp do niego można uzyskać poprzez:

• tfds.load API tfds.load :

ds, info = tfds.load('mnist', with_info=True)

• tfds.core.DatasetBuilder API tfds.core.DatasetBuilder :

builder = tfds.builder('mnist')
info = builder.info

Informacje o zestawie danych zawierają dodatkowe informacje o zbiorze danych (wersja, cytat, strona główna, opis, ...).

print(info)

tfds.core.DatasetInfo(
    name='mnist',
    version=3.0.1,
    description='The MNIST database of handwritten digits.',
    homepage='http://yann.lecun.com/exdb/mnist/',
    features=FeaturesDict({
        'image': Image(shape=(28, 28, 1), dtype=tf.uint8),
        'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=10),
    }),
    total_num_examples=70000,
    splits={
        'test': 10000,
        'train': 60000,
    },
    supervised_keys=('image', 'label'),
    citation="""@article{lecun2010mnist,
      title={MNIST handwritten digit database},
      author={LeCun, Yann and Cortes, Corinna and Burges, CJ},
      journal={ATT Labs [Online]. Available: http://yann.lecun.com/exdb/mnist},
      volume={2},
      year={2010}
    }""",
    redistribution_info=,
)

Zawiera metadane (nazwy etykiet, kształt obrazu, ...)

Uzyskaj dostęp do tfds.features.FeatureDict :

info.features

FeaturesDict({
    'image': Image(shape=(28, 28, 1), dtype=tf.uint8),
    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=10),
})

Liczba klas, nazwy etykiet:

print(info.features["label"].num_classes)
print(info.features["label"].names)
print(info.features["label"].int2str(7))  # Human readable version (8 -> 'cat')
print(info.features["label"].str2int('7'))

10
['0', '1', '2', '3', '4', '5', '6', '7', '8', '9']
7
7

Kształty, typy:

print(info.features.shape)
print(info.features.dtype)
print(info.features['image'].shape)
print(info.features['image'].dtype)

{'image': (28, 28, 1), 'label': ()}
{'image': tf.uint8, 'label': tf.int64}
(28, 28, 1)
<dtype: 'uint8'>

Podziel metadane (np. Podzielone nazwy, liczba przykładów, ...)

Uzyskaj dostęp do tfds.core.SplitDict :

print(info.splits)

{'test': <tfds.core.SplitInfo num_examples=10000>, 'train': <tfds.core.SplitInfo num_examples=60000>}

Dostępne podziały:

print(list(info.splits.keys()))

['test', 'train']

Uzyskaj informacje o indywidualnym splicie:

print(info.splits['train'].num_examples)
print(info.splits['train'].filenames)
print(info.splits['train'].num_shards)

60000
['mnist-train.tfrecord-00000-of-00001']
1

Działa również z interfejsem API subsplit:

print(info.splits['train[15%:75%]'].num_examples)
print(info.splits['train[15%:75%]'].file_instructions)

36000
[FileInstruction(filename='mnist-train.tfrecord-00000-of-00001', skip=9000, take=36000, num_examples=36000)]

Cytat

Jeśli używasz tensorflow-datasets do pracy, tensorflow-datasets następujący cytat, oprócz wszelkich cytatów specyficznych dla używanych zestawów danych (które można znaleźć w katalogu zestawów danych ).

@misc{TFDS,
  title = { {TensorFlow Datasets}, A collection of ready-to-use datasets},
  howpublished = {\url{https://www.tensorflow.org/datasets} },
}