このドキュメントでは、TensorFlowデータセット（TFDS）固有のパフォーマンスのヒントを提供します。 TFDSは、データセットを提供することを注意tf.data.Datasetオブジェクトからのアドバイスので、 tf.dataガイドはまだ適用されます。
ベンチマークデータセット
使用tfds.benchmark(ds)ベンチマークいずれかにtf.data.Datasetオブジェクト。
示すために確認してくださいbatch_size= （ - > 3200元/ secで例えば100 ITER /秒）の結果を正規化します。任意の反復可能で、この作品（例えばtfds.benchmark(tfds.as_numpy(ds))
ds = tfds.load('mnist', split='train').batch(32).prefetch()
# Display some benchmark statistics
tfds.benchmark(ds, batch_size=32)
# Second iteration is much faster, due to auto-caching
tfds.benchmark(ds, batch_size=32)
小さなデータセット（1 GB未満）
すべてのTFDSデータセットは、ディスク上のデータを保存TFRecordフォーマット。小さなデータセット（例えばMNIST、CIFAR-10 / -100）について、からの読み取り.tfrecord大きなオーバーヘッドを追加することができます。
これらのデータセットはメモリに収まるため、データセットをキャッシュまたはプリロードすることでパフォーマンスを大幅に向上させることができます。 TFDSは小さなデータセットを自動的にキャッシュすることに注意してください（次のセクションに詳細があります）。
データセットのキャッシュ
これは、画像を正規化した後にデータセットを明示的にキャッシュするデータパイプラインの例です。
def normalize_img(image, label):
"""Normalizes images: `uint8` -> `float32`."""
return tf.cast(image, tf.float32) / 255., label
ds, ds_info = tfds.load(
'mnist',
split='train',
as_supervised=True, # returns `(img, label)` instead of dict(image=, ...)
with_info=True,
)
# Applying normalization before `ds.cache()` to re-use it.
# Note: Random transformations (e.g. images augmentations) should be applied
# after both `ds.cache()` (to avoid caching randomness) and `ds.batch()` (for
# vectorization [1]).
ds = ds.map(normalize_img, num_parallel_calls=tf.data.AUTOTUNE)
ds = ds.cache()
# For true randomness, we set the shuffle buffer to the full dataset size.
ds = ds.shuffle(ds_info.splits['train'].num_examples)
# Batch after shuffling to get unique batches at each epoch.
ds = ds.batch(128)
ds = ds.prefetch(tf.data.experimental.AUTOTUNE)
このデータセットを反復処理する場合、キャッシュのおかげで2回目の反復は最初の反復よりもはるかに高速になります。
自動キャッシュ
（とデフォルトでは、TFDS自動キャッシュds.cache()以下の制約を満たすデータセット）：
- 合計データセットサイズ（すべての分割）が定義されており、<250 MiB
-
shuffle_files無効になっている、または単一のシャードが読み込まれます
渡すことによって、自動キャッシュをオプトアウトすることが可能であるtry_autocaching=Falseにtfds.ReadConfigにtfds.load 。データセットカタログのドキュメントを見て、特定のデータセットが自動キャッシュを使用するかどうかを確認してください。
単一のテンソルとして完全なデータをロードする
データセットがメモリに収まる場合は、データセット全体を単一のTensorまたはNumPy配列としてロードすることもできます。これは、設定によってそうすることが可能であるbatch_size=-1つのバッチへのすべての例tf.Tensor 。そして、使用tfds.as_numpyからの変換のためにtf.Tensorにnp.array 。
(img_train, label_train), (img_test, label_test) = tfds.as_numpy(tfds.load(
'mnist',
split=['train', 'test'],
batch_size=-1,
as_supervised=True,
))
大規模なデータセット
大きなデータセットはシャーディングされ（複数のファイルに分割され）、通常はメモリに収まらないため、キャッシュしないでください。
シャッフルとトレーニング
トレーニング中は、データを適切にシャッフルすることが重要です。データのシャッフルが不十分な場合、トレーニングの精度が低下する可能性があります。
使用に加えてds.shuffleレコードをシャッフルし、あなたも設定する必要がありますshuffle_files=True複数のファイルにシャードされている大規模なデータセットのために良いシャッフリング動作を取得します。それ以外の場合、エポックは同じ順序でシャードを読み取るため、データは真にランダム化されません。
ds = tfds.load('imagenet2012', split='train', shuffle_files=True)
また、ときshuffle_files=True 、TFDSは無効options.experimental_deterministic 、わずかなパフォーマンスの向上を与える可能性があります。決定論的なシャッフルを取得するには、それはオプトアウトでこの機能をすることが可能であるtfds.ReadConfigいずれかを設定することによって： read_config.shuffle_seedまたは上書きread_config.options.experimental_deterministic 。
ワーカー間でデータを自動シャーディング（TF）
複数の労働者のトレーニングは、あなたが使用することができた場合input_contextの引数tfds.ReadConfig各ワーカーは、データのサブセットを読み込みますので、。
input_context = tf.distribute.InputContext(
input_pipeline_id=1, # Worker id
num_input_pipelines=4, # Total number of workers
)
read_config = tfds.ReadConfig(
input_context=input_context,
)
ds = tfds.load('dataset', split='train', read_config=read_config)
これは、サブスプリットAPIを補完するものです。まず、subplitのAPIが適用される： train[:50%]読み込むためのファイルのリストに変換されます。その後、 ds.shard() opは、それらのファイルに適用されます。使用する場合、例えば、 train[:50%]とnum_input_pipelines=2 、2人の労働者の各々は、データの1/4を読み取ります。
ときshuffle_files=True 、ファイルは1つのワーカー内ではなく、労働者全体にシャッフルされています。各ワーカーは、エポック間で同じファイルのサブセットを読み取ります。
ワーカー間でデータを自動シャーディングする（Jax）
ジャックスでは、使用することができますtfds.even_splits労働者の間でデータを配布するためにAPIを。参照してください。スプリットAPIガイドを。
splits = tfds.even_splits('train', n=jax.process_count(), drop_remainder=True)
# The current `process_index` load only `1 / process_count` of the data.
ds = tfds.load('my_dataset', split=splits[jax.process_index()])
より高速な画像デコード
デフォルトでは、TFDSは画像を自動的にデコードします。しかし、して復号画像をスキップするよりパフォーマンスすることができる場合があるtfds.decode.SkipDecoding 、手動適用tf.io.decode_image opは：
- （例とをフィルタリングする場合
tf.data.Dataset.filter）の例は、濾過された後、画像を復号します。 - 画像をトリミングする際、融合に使用する
tf.image.decode_and_crop_jpegオペアンプを。
両方の例のコードはで提供され、デコードガイド。
未使用の機能をスキップする
機能のサブセットのみを使用している場合は、一部の機能を完全にスキップすることができます。データセットに未使用の機能が多数ある場合、それらをデコードしないと、パフォーマンスが大幅に向上する可能性があります。参照してくださいhttps://www.tensorflow.org/datasets/decode#only_decode_a_sub-set_of_the_featuresを