このページは Cloud Translation API によって翻訳されました。
Switch to English

tf.data：TensorFlow入力パイプラインを構築する

TensorFlow.orgで表示 GoogleColabで実行 GitHubでソースを表示ノートブックをダウンロード

tf.data APIを使用すると、単純で再利用可能な部分から複雑な入力パイプラインを構築できます。たとえば、画像モデルのパイプラインは、分散ファイルシステム内のファイルからデータを集約し、各画像にランダムな摂動を適用し、ランダムに選択された画像をトレーニング用のバッチにマージします。テキストモデルのパイプラインには、生のテキストデータからシンボルを抽出し、それらをルックアップテーブルを使用して埋め込み識別子に変換し、さまざまな長さのシーケンスをバッチ処理することが含まれる場合があります。 tf.data APIを使用すると、大量のデータを処理したり、さまざまなデータ形式から読み取ったり、複雑な変換を実行したりできます。

tf.data APIは、要素のシーケンスを表すtf.data.Dataset抽象化を導入します。各要素は、1つ以上のコンポーネントで構成されます。たとえば、画像パイプラインでは、要素は単一のトレーニング例であり、画像とそのラベルを表すテンソルコンポーネントのペアがあります。

データセットを作成するには、2つの異なる方法があります。

  • データソースは、メモリまたは1つ以上のファイルに格納されているDatasetからデータDatasetを構築します。

  • データ変換は、1つ以上のtf.data.Datasetオブジェクトからデータセットを構築します。

import tensorflow as tf

import pathlib
import os
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np

np.set_printoptions(precision=4)

基本的な仕組み

入力パイプラインを作成するには、データソースから開始する必要があります。たとえば、メモリ内のDatasetからデータDatasetを構築するには、 tf.data.Dataset.from_tensors()またはtf.data.Dataset.from_tensor_slices()使用できます。または、入力データが推奨されるTFRecord形式のファイルに保存されている場合は、 tf.data.TFRecordDataset()使用できます。

Datasetオブジェクトをtf.data.Dataset 、tf.data.Datasetオブジェクトのメソッド呼び出しをチェーンすることで、それを新しいDataset変換できます。たとえば、次のような要素毎の変換を適用することができるDataset.map()およびなどの多要素変換Dataset.batch()変換の完全なリストについては、tf.data.Datasetのドキュメントを参照してください。

DatasetオブジェクトはPythonの反復可能オブジェクトです。これにより、forループを使用してその要素を消費することが可能になります。

dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1])
dataset

<TensorSliceDataset shapes: (), types: tf.int32>

for elem in dataset:
  print(elem.numpy())

8
3
0
8
2
1

または、 iterを使用してPythonイテレータを明示的に作成し、 nextを使用してその要素を消費することによって：

it = iter(dataset)

print(next(it).numpy())

8

または、 reduce変換を使用してデータセット要素を使用することもできます。これにより、すべての要素が縮小されて単一の結果が生成されます。次の例は、 reduce変換を使用して整数のデータセットの合計を計算する方法を示しています。

print(dataset.reduce(0, lambda state, value: state + value).numpy())

22

データセットの構造

データセットは、それぞれが同一の（ネストされた）構造を有し、構造体の個々の成分により、任意のタイプの表現であることができる要素含まtf.TypeSpec含む、 tf.Tensor 、 tf.sparse.SparseTensor 、tf.RaggedTensor 、 tf.TensorArray 、またはtf.data.Dataset 。

Dataset.element_specプロパティを使用すると、各要素コンポーネントのタイプを検査できます。このプロパティは、要素の構造に一致するtf.TypeSpecオブジェクトのネストされた構造を返します。これは、単一のコンポーネント、コンポーネントのタプル、またはコンポーネントのネストされたタプルの場合があります。例えば：

dataset1 = tf.data.Dataset.from_tensor_slices(tf.random.uniform([4, 10]))

dataset1.element_spec

TensorSpec(shape=(10,), dtype=tf.float32, name=None)

dataset2 = tf.data.Dataset.from_tensor_slices(
   (tf.random.uniform([4]),
    tf.random.uniform([4, 100], maxval=100, dtype=tf.int32)))

dataset2.element_spec

(TensorSpec(shape=(), dtype=tf.float32, name=None),
 TensorSpec(shape=(100,), dtype=tf.int32, name=None))

dataset3 = tf.data.Dataset.zip((dataset1, dataset2))

dataset3.element_spec

(TensorSpec(shape=(10,), dtype=tf.float32, name=None),
 (TensorSpec(shape=(), dtype=tf.float32, name=None),
  TensorSpec(shape=(100,), dtype=tf.int32, name=None)))

# Dataset containing a sparse tensor.
dataset4 = tf.data.Dataset.from_tensors(tf.SparseTensor(indices=[[0, 0], [1, 2]], values=[1, 2], dense_shape=[3, 4]))

dataset4.element_spec

SparseTensorSpec(TensorShape([3, 4]), tf.int32)

# Use value_type to see the type of value represented by the element spec
dataset4.element_spec.value_type

tensorflow.python.framework.sparse_tensor.SparseTensor

Dataset変換は、任意の構造のデータセットをサポートします。使用する場合Dataset.map()及びDataset.filter()各要素に関数を適用する変換を、素子構造は、関数の引数を決定します。

dataset1 = tf.data.Dataset.from_tensor_slices(
    tf.random.uniform([4, 10], minval=1, maxval=10, dtype=tf.int32))

dataset1

<TensorSliceDataset shapes: (10,), types: tf.int32>

for z in dataset1:
  print(z.numpy())

[1 3 6 2 4 3 7 5 9 5]
[8 9 5 3 6 4 1 6 6 3]
[4 8 2 3 3 6 9 8 5 5]
[7 8 7 9 5 5 6 4 8 8]


dataset2 = tf.data.Dataset.from_tensor_slices(
   (tf.random.uniform([4]),
    tf.random.uniform([4, 100], maxval=100, dtype=tf.int32)))

dataset2

<TensorSliceDataset shapes: ((), (100,)), types: (tf.float32, tf.int32)>

dataset3 = tf.data.Dataset.zip((dataset1, dataset2))

dataset3

<ZipDataset shapes: ((10,), ((), (100,))), types: (tf.int32, (tf.float32, tf.int32))>

for a, (b,c) in dataset3:
  print('shapes: {a.shape}, {b.shape}, {c.shape}'.format(a=a, b=b, c=c))

shapes: (10,), (), (100,)
shapes: (10,), (), (100,)
shapes: (10,), (), (100,)
shapes: (10,), (), (100,)

入力データの読み取り

NumPy配列の消費

その他の例については、 NumPy配列の読み込みを参照してください。

すべての入力データがメモリに収まる場合、それらからDatasetを作成する最も簡単な方法は、それらをtf.Tensorオブジェクトに変換し、 Dataset.from_tensor_slices()を使用することDataset.from_tensor_slices() 。

train, test = tf.keras.datasets.fashion_mnist.load_data()

Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/train-labels-idx1-ubyte.gz
32768/29515 [=================================] - 0s 0us/step
Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/train-images-idx3-ubyte.gz
26427392/26421880 [==============================] - 0s 0us/step
Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/t10k-labels-idx1-ubyte.gz
8192/5148 [===============================================] - 0s 0us/step
Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/t10k-images-idx3-ubyte.gz
4423680/4422102 [==============================] - 0s 0us/step


images, labels = train
images = images/255

dataset = tf.data.Dataset.from_tensor_slices((images, labels))
dataset

<TensorSliceDataset shapes: ((28, 28), ()), types: (tf.float64, tf.uint8)>

Pythonジェネレーターの使用

tf.data.Datasetとして簡単に取り込むことができるもう1つの一般的なデータソースは、Pythonジェネレーターです。

def count(stop):
  i = 0
  while i<stop:
    yield i
    i += 1

for n in count(5):
  print(n)

0
1
2
3
4

Dataset.from_generatorコンストラクターは、Pythonジェネレーターを完全に機能するtf.data.Datasetます。

コンストラクターは、イテレーターではなく、呼び出し可能オブジェクトを入力として受け取ります。これにより、ジェネレーターが最後に到達したときにジェネレーターを再起動できます。オプションのargs引数を取ります。これは、呼び出し可能引数として渡されます。

output_typesための引数が必要であるtf.data構築tf.Graph内部、およびグラフのエッジは必要tf.dtype 。

ds_counter = tf.data.Dataset.from_generator(count, args=[25], output_types=tf.int32, output_shapes = (), )

for count_batch in ds_counter.repeat().batch(10).take(10):
  print(count_batch.numpy())

[0 1 2 3 4 5 6 7 8 9]
[10 11 12 13 14 15 16 17 18 19]
[20 21 22 23 24  0  1  2  3  4]
[ 5  6  7  8  9 10 11 12 13 14]
[15 16 17 18 19 20 21 22 23 24]
[0 1 2 3 4 5 6 7 8 9]
[10 11 12 13 14 15 16 17 18 19]
[20 21 22 23 24  0  1  2  3  4]
[ 5  6  7  8  9 10 11 12 13 14]
[15 16 17 18 19 20 21 22 23 24]

output_shapes引数は必須ではありませんが、多くのテンソルフロー操作はランクが不明なテンソルをサポートしていないため、強くお勧めします。特定の軸の長さが不明または可変である場合は、 output_shapes Noneに設定します。

output_shapesとoutput_typesは、他のデータセットメソッドと同じネストルールに従うことに注意することも重要です。

これは両方の側面を示すジェネレーターの例です。配列のタプルを返します。2番目の配列は長さが不明なベクトルです。

def gen_series():
  i = 0
  while True:
    size = np.random.randint(0, 10)
    yield i, np.random.normal(size=(size,))
    i += 1

for i, series in gen_series():
  print(i, ":", str(series))
  if i > 5:
    break

0 : [-0.1241  0.5308  0.3018]
1 : []
2 : [ 0.5769 -0.8721  2.0072 -1.7862  0.8289  0.59  ]
3 : [-1.5209 -1.5252  0.2506 -0.526   1.2647 -1.2677 -1.4078]
4 : [ 1.6039  0.2602  0.2278  1.205  -0.8033  0.3032]
5 : [ 0.5982  1.5779  0.0248  1.3666 -1.9277  1.3854 -0.4739]
6 : [ 1.0598 -0.2546  0.5908  1.3619  1.1141 -0.6058  0.8438 -2.4862]

最初の出力はint32 、2番目の出力はfloat32です。

最初の項目はスカラーであるshape ()であり、2番目の項目は未知の長さのベクトルであるshape (None,)

ds_series = tf.data.Dataset.from_generator(
    gen_series, 
    output_types=(tf.int32, tf.float32), 
    output_shapes=((), (None,)))

ds_series

<FlatMapDataset shapes: ((), (None,)), types: (tf.int32, tf.float32)>

これで、通常のtf.data.Datasetように使用できます。可変形状のデータセットをバッチ処理する場合は、 Dataset.padded_batchを使用する必要があることにDataset.padded_batch 。

ds_series_batch = ds_series.shuffle(20).padded_batch(10)

ids, sequence_batch = next(iter(ds_series_batch))
print(ids.numpy())
print()
print(sequence_batch.numpy())

[ 3  7  6 22  0 13  4 23  5 17]

[[ 9.5867e-01 -2.5104e-01  0.0000e+00  0.0000e+00  0.0000e+00  0.0000e+00
   0.0000e+00]
 [-1.4743e-01  4.1422e-02  4.8626e-01 -4.4328e-01 -3.0196e+00  3.0172e-01
   0.0000e+00]
 [ 2.9469e-01 -2.8750e-01 -1.2391e-01 -7.7315e-01  7.5218e-01  7.9246e-01
   0.0000e+00]
 [ 1.5680e+00 -6.4869e-01 -7.5440e-01  3.3234e-01 -1.0759e+00  0.0000e+00
   0.0000e+00]
 [ 4.0357e-01 -7.8729e-01  2.1975e-02  2.4870e-02 -9.1991e-01 -2.1324e+00
   0.0000e+00]
 [-8.2417e-02  1.0919e+00 -6.6252e-01 -4.2764e-01  7.9078e-01  1.9829e-03
  -9.5911e-01]
 [-2.7661e+00  0.0000e+00  0.0000e+00  0.0000e+00  0.0000e+00  0.0000e+00
   0.0000e+00]
 [ 0.0000e+00  0.0000e+00  0.0000e+00  0.0000e+00  0.0000e+00  0.0000e+00
   0.0000e+00]
 [ 1.7720e-01  1.1324e+00  0.0000e+00  0.0000e+00  0.0000e+00  0.0000e+00
   0.0000e+00]
 [-4.8885e-01  0.0000e+00  0.0000e+00  0.0000e+00  0.0000e+00  0.0000e+00
   0.0000e+00]]

より現実的な例については、ラッピングしてみてくださいpreprocessing.image.ImageDataGenerator通りtf.data.Dataset 。

最初にデータをダウンロードします。

flowers = tf.keras.utils.get_file(
    'flower_photos',
    'https://storage.googleapis.com/download.tensorflow.org/example_images/flower_photos.tgz',
    untar=True)

Downloading data from https://storage.googleapis.com/download.tensorflow.org/example_images/flower_photos.tgz
228818944/228813984 [==============================] - 2s 0us/step

image.ImageDataGenerator作成します

img_gen = tf.keras.preprocessing.image.ImageDataGenerator(rescale=1./255, rotation_range=20)

images, labels = next(img_gen.flow_from_directory(flowers))

Found 3670 images belonging to 5 classes.


print(images.dtype, images.shape)
print(labels.dtype, labels.shape)

float32 (32, 256, 256, 3)
float32 (32, 5)


ds = tf.data.Dataset.from_generator(
    lambda: img_gen.flow_from_directory(flowers), 
    output_types=(tf.float32, tf.float32), 
    output_shapes=([32,256,256,3], [32,5])
)

ds.element_spec

(TensorSpec(shape=(32, 256, 256, 3), dtype=tf.float32, name=None),
 TensorSpec(shape=(32, 5), dtype=tf.float32, name=None))

for images, label in ds.take(1):
  print('images.shape: ', images.shape)
  print('labels.shape: ', labels.shape)

Found 3670 images belonging to 5 classes.
images.shape:  (32, 256, 256, 3)
labels.shape:  (32, 5)

TFRecordデータの消費

エンドツーエンドの例については、 TFRecordのロードを参照してください。

tf.data APIはさまざまなファイル形式をサポートしているため、メモリに収まらない大きなデータセットを処理できます。たとえば、TFRecordファイル形式は、多くのTensorFlowアプリケーションがデータのトレーニングに使用する単純なレコード指向のバイナリ形式です。 tf.data.TFRecordDatasetクラスを使用すると、入力パイプラインの一部として1つ以上のTFRecordファイルのコンテンツをストリーミングできます。

これは、フランスの道路標識（FSNS）のテストファイルを使用した例です。

# Creates a dataset that reads all of the examples from two files.
fsns_test_file = tf.keras.utils.get_file("fsns.tfrec", "https://storage.googleapis.com/download.tensorflow.org/data/fsns-20160927/testdata/fsns-00000-of-00001")

Downloading data from https://storage.googleapis.com/download.tensorflow.org/data/fsns-20160927/testdata/fsns-00000-of-00001
7905280/7904079 [==============================] - 0s 0us/step

filenames引数TFRecordDatasetいずれかの文字列、文字列のリスト、またはすることができイニシャライザtf.Tensor文字列の。したがって、トレーニングと検証の目的で2セットのファイルがある場合は、ファイル名を入力引数として使用して、データセットを生成するファクトリメソッドを作成できます。

dataset = tf.data.TFRecordDataset(filenames = [fsns_test_file])
dataset

<TFRecordDatasetV2 shapes: (), types: tf.string>

多くのTensorFlowプロジェクトは、TFRecordファイルでシリアル化されたtf.train.Exampleレコードを使用します。これらは、検査する前にデコードする必要があります。

raw_example = next(iter(dataset))
parsed = tf.train.Example.FromString(raw_example.numpy())

parsed.features.feature['image/text']

bytes_list {
  value: "Rue Perreyon"
}

テキストデータの消費

エンドツーエンドの例については、テキストの読み込みを参照してください。

多くのデータセットは、1つ以上のテキストファイルとして配布されます。 tf.data.TextLineDatasetは、1つ以上のテキストファイルから行を抽出する簡単な方法を提供します。 1つ以上のファイル名を指定すると、 TextLineDatasetはそれらのファイルの行ごとに1つの文字列値要素を生成します。

directory_url = 'https://storage.googleapis.com/download.tensorflow.org/data/illiad/'
file_names = ['cowper.txt', 'derby.txt', 'butler.txt']

file_paths = [
    tf.keras.utils.get_file(file_name, directory_url + file_name)
    for file_name in file_names
]

Downloading data from https://storage.googleapis.com/download.tensorflow.org/data/illiad/cowper.txt
819200/815980 [==============================] - 0s 0us/step
Downloading data from https://storage.googleapis.com/download.tensorflow.org/data/illiad/derby.txt
811008/809730 [==============================] - 0s 0us/step
Downloading data from https://storage.googleapis.com/download.tensorflow.org/data/illiad/butler.txt
811008/807992 [==============================] - 0s 0us/step


dataset = tf.data.TextLineDataset(file_paths)

最初のファイルの最初の数行は次のとおりです。

for line in dataset.take(5):
  print(line.numpy())

b"\xef\xbb\xbfAchilles sing, O Goddess! Peleus' son;"
b'His wrath pernicious, who ten thousand woes'
b"Caused to Achaia's host, sent many a soul"
b'Illustrious into Ades premature,'
b'And Heroes gave (so stood the will of Jove)'

ファイル間で行をDataset.interleave使用しDataset.interleave 。これにより、ファイルをまとめてシャッフルするのが簡単になります。各翻訳の1行目、2行目、3行目は次のとおりです。

files_ds = tf.data.Dataset.from_tensor_slices(file_paths)
lines_ds = files_ds.interleave(tf.data.TextLineDataset, cycle_length=3)

for i, line in enumerate(lines_ds.take(9)):
  if i % 3 == 0:
    print()
  print(line.numpy())


b"\xef\xbb\xbfAchilles sing, O Goddess! Peleus' son;"
b"\xef\xbb\xbfOf Peleus' son, Achilles, sing, O Muse,"
b'\xef\xbb\xbfSing, O goddess, the anger of Achilles son of Peleus, that brought'

b'His wrath pernicious, who ten thousand woes'
b'The vengeance, deep and deadly; whence to Greece'
b'countless ills upon the Achaeans. Many a brave soul did it send'

b"Caused to Achaia's host, sent many a soul"
b'Unnumbered ills arose; which many a soul'
b'hurrying down to Hades, and many a hero did it yield a prey to dogs and'

デフォルトでは、 TextLineDatasetは各ファイルのすべての行を生成します。これは、たとえば、ファイルがヘッダー行で始まる場合やコメントが含まれている場合など、望ましくない場合があります。これらの行は、 Dataset.skip()またはDataset.filter()変換を使用して削除できます。ここでは、最初の行をスキップしてから、フィルターをかけて生存者のみを検索します。

titanic_file = tf.keras.utils.get_file("train.csv", "https://storage.googleapis.com/tf-datasets/titanic/train.csv")
titanic_lines = tf.data.TextLineDataset(titanic_file)

Downloading data from https://storage.googleapis.com/tf-datasets/titanic/train.csv
32768/30874 [===============================] - 0s 0us/step


for line in titanic_lines.take(10):
  print(line.numpy())

b'survived,sex,age,n_siblings_spouses,parch,fare,class,deck,embark_town,alone'
b'0,male,22.0,1,0,7.25,Third,unknown,Southampton,n'
b'1,female,38.0,1,0,71.2833,First,C,Cherbourg,n'
b'1,female,26.0,0,0,7.925,Third,unknown,Southampton,y'
b'1,female,35.0,1,0,53.1,First,C,Southampton,n'
b'0,male,28.0,0,0,8.4583,Third,unknown,Queenstown,y'
b'0,male,2.0,3,1,21.075,Third,unknown,Southampton,n'
b'1,female,27.0,0,2,11.1333,Third,unknown,Southampton,n'
b'1,female,14.0,1,0,30.0708,Second,unknown,Cherbourg,n'
b'1,female,4.0,1,1,16.7,Third,G,Southampton,n'


def survived(line):
  return tf.not_equal(tf.strings.substr(line, 0, 1), "0")

survivors = titanic_lines.skip(1).filter(survived)

for line in survivors.take(10):
  print(line.numpy())

b'1,female,38.0,1,0,71.2833,First,C,Cherbourg,n'
b'1,female,26.0,0,0,7.925,Third,unknown,Southampton,y'
b'1,female,35.0,1,0,53.1,First,C,Southampton,n'
b'1,female,27.0,0,2,11.1333,Third,unknown,Southampton,n'
b'1,female,14.0,1,0,30.0708,Second,unknown,Cherbourg,n'
b'1,female,4.0,1,1,16.7,Third,G,Southampton,n'
b'1,male,28.0,0,0,13.0,Second,unknown,Southampton,y'
b'1,female,28.0,0,0,7.225,Third,unknown,Cherbourg,y'
b'1,male,28.0,0,0,35.5,First,A,Southampton,y'
b'1,female,38.0,1,5,31.3875,Third,unknown,Southampton,n'

CSVデータの消費

その他の例については、 CSVファイルの読み込みとPandasDataFrameの読み込みを参照してください。

CSVファイル形式は、表形式のデータをプレーンテキストで保存するための一般的な形式です。

例えば：

titanic_file = tf.keras.utils.get_file("train.csv", "https://storage.googleapis.com/tf-datasets/titanic/train.csv")

df = pd.read_csv(titanic_file)
df.head()

データがメモリに収まる場合、同じDataset.from_tensor_slicesメソッドが辞書で機能し、このデータを簡単にインポートできるようになります。

titanic_slices = tf.data.Dataset.from_tensor_slices(dict(df))

for feature_batch in titanic_slices.take(1):
  for key, value in feature_batch.items():
    print("  {!r:20s}: {}".format(key, value))

  'survived'          : 0
  'sex'               : b'male'
  'age'               : 22.0
  'n_siblings_spouses': 1
  'parch'             : 0
  'fare'              : 7.25
  'class'             : b'Third'
  'deck'              : b'unknown'
  'embark_town'       : b'Southampton'
  'alone'             : b'n'

よりスケーラブルなアプローチは、必要に応じてディスクからロードすることです。

tf.dataモジュールは、 tf.data準拠する1つ以上のCSVファイルからレコードを抽出するメソッドを提供します。

experimental.make_csv_dataset関数は、csvファイルのセットを読み取るための高レベルのインターフェイスです。列タイプの推論と、バッチ処理やシャッフルなどの他の多くの機能をサポートして、使用を簡単にします。

titanic_batches = tf.data.experimental.make_csv_dataset(
    titanic_file, batch_size=4,
    label_name="survived")

for feature_batch, label_batch in titanic_batches.take(1):
  print("'survived': {}".format(label_batch))
  print("features:")
  for key, value in feature_batch.items():
    print("  {!r:20s}: {}".format(key, value))

'survived': [0 0 1 1]
features:
  'sex'               : [b'male' b'male' b'female' b'female']
  'age'               : [38. 16. 28. 28.]
  'n_siblings_spouses': [0 0 0 0]
  'parch'             : [1 0 0 0]
  'fare'              : [153.4625  10.5      7.8792   7.7333]
  'class'             : [b'First' b'Second' b'Third' b'Third']
  'deck'              : [b'C' b'unknown' b'unknown' b'unknown']
  'embark_town'       : [b'Southampton' b'Southampton' b'Queenstown' b'Queenstown']
  'alone'             : [b'n' b'y' b'y' b'y']

列のサブセットのみが必要な場合は、 select_columns引数を使用できます。

titanic_batches = tf.data.experimental.make_csv_dataset(
    titanic_file, batch_size=4,
    label_name="survived", select_columns=['class', 'fare', 'survived'])

for feature_batch, label_batch in titanic_batches.take(1):
  print("'survived': {}".format(label_batch))
  for key, value in feature_batch.items():
    print("  {!r:20s}: {}".format(key, value))

'survived': [0 0 0 0]
  'fare'              : [25.4667  7.8958 13.      7.8958]
  'class'             : [b'Third' b'Third' b'Second' b'Third']

よりきめ細かい制御を提供する低レベルのexperimental.CsvDatasetクラスもあります。列タイプの推論はサポートしていません。代わりに、各列のタイプを指定する必要があります。

titanic_types  = [tf.int32, tf.string, tf.float32, tf.int32, tf.int32, tf.float32, tf.string, tf.string, tf.string, tf.string] 
dataset = tf.data.experimental.CsvDataset(titanic_file, titanic_types , header=True)

for line in dataset.take(10):
  print([item.numpy() for item in line])

[0, b'male', 22.0, 1, 0, 7.25, b'Third', b'unknown', b'Southampton', b'n']
[1, b'female', 38.0, 1, 0, 71.2833, b'First', b'C', b'Cherbourg', b'n']
[1, b'female', 26.0, 0, 0, 7.925, b'Third', b'unknown', b'Southampton', b'y']
[1, b'female', 35.0, 1, 0, 53.1, b'First', b'C', b'Southampton', b'n']
[0, b'male', 28.0, 0, 0, 8.4583, b'Third', b'unknown', b'Queenstown', b'y']
[0, b'male', 2.0, 3, 1, 21.075, b'Third', b'unknown', b'Southampton', b'n']
[1, b'female', 27.0, 0, 2, 11.1333, b'Third', b'unknown', b'Southampton', b'n']
[1, b'female', 14.0, 1, 0, 30.0708, b'Second', b'unknown', b'Cherbourg', b'n']
[1, b'female', 4.0, 1, 1, 16.7, b'Third', b'G', b'Southampton', b'n']
[0, b'male', 20.0, 0, 0, 8.05, b'Third', b'unknown', b'Southampton', b'y']

一部の列が空の場合、この低レベルのインターフェースを使用すると、列タイプの代わりにデフォルト値を提供できます。

%%writefile missing.csv
1,2,3,4
,2,3,4
1,,3,4
1,2,,4
1,2,3,
,,,

Writing missing.csv


# Creates a dataset that reads all of the records from two CSV files, each with
# four float columns which may have missing values.

record_defaults = [999,999,999,999]
dataset = tf.data.experimental.CsvDataset("missing.csv", record_defaults)
dataset = dataset.map(lambda *items: tf.stack(items))
dataset

<MapDataset shapes: (4,), types: tf.int32>

for line in dataset:
  print(line.numpy())

[1 2 3 4]
[999   2   3   4]
[  1 999   3   4]
[  1   2 999   4]
[  1   2   3 999]
[999 999 999 999]

デフォルトでは、 CsvDatasetはファイルのすべての行のすべての列を生成します。これは、たとえば、ファイルが無視する必要のあるヘッダー行で始まる場合や、入力に一部の列が不要な場合など、望ましくない場合があります。これらのラインおよびフィールドを用いて除去することができheaderとselect_colsそれぞれ引数。

# Creates a dataset that reads all of the records from two CSV files with
# headers, extracting float data from columns 2 and 4.
record_defaults = [999, 999] # Only provide defaults for the selected columns
dataset = tf.data.experimental.CsvDataset("missing.csv", record_defaults, select_cols=[1, 3])
dataset = dataset.map(lambda *items: tf.stack(items))
dataset

<MapDataset shapes: (2,), types: tf.int32>

for line in dataset:
  print(line.numpy())

[2 4]
[2 4]
[999   4]
[2 4]
[  2 999]
[999 999]

ファイルのセットを消費する

ファイルのセットとして配布される多くのデータセットがあり、各ファイルが例です。

flowers_root = tf.keras.utils.get_file(
    'flower_photos',
    'https://storage.googleapis.com/download.tensorflow.org/example_images/flower_photos.tgz',
    untar=True)
flowers_root = pathlib.Path(flowers_root)

ルートディレクトリには、各クラスのディレクトリが含まれています。

for item in flowers_root.glob("*"):
  print(item.name)

sunflowers
daisy
LICENSE.txt
roses
tulips
dandelion

各クラスディレクトリのファイルは例です。

list_ds = tf.data.Dataset.list_files(str(flowers_root/'*/*'))

for f in list_ds.take(5):
  print(f.numpy())

b'/home/kbuilder/.keras/datasets/flower_photos/daisy/9489270024_1b05f08492_m.jpg'
b'/home/kbuilder/.keras/datasets/flower_photos/daisy/11023214096_b5b39fab08.jpg'
b'/home/kbuilder/.keras/datasets/flower_photos/sunflowers/14928117202_139d2142cc_n.jpg'
b'/home/kbuilder/.keras/datasets/flower_photos/roses/2215318403_06eb99176a.jpg'
b'/home/kbuilder/.keras/datasets/flower_photos/tulips/7481215720_73e40f178f_n.jpg'

tf.io.read_file関数を使用してデータを読み取り、パスからラベルを抽出して、 (image, label)ペアを返します。

def process_path(file_path):
  label = tf.strings.split(file_path, os.sep)[-2]
  return tf.io.read_file(file_path), label

labeled_ds = list_ds.map(process_path)

for image_raw, label_text in labeled_ds.take(1):
  print(repr(image_raw.numpy()[:100]))
  print()
  print(label_text.numpy())

b'\xff\xd8\xff\xe0\x00\x10JFIF\x00\x01\x01\x00\x00\x01\x00\x01\x00\x00\xff\xe2\x0cXICC_PROFILE\x00\x01\x01\x00\x00\x0cHLino\x02\x10\x00\x00mntrRGB XYZ \x07\xce\x00\x02\x00\t\x00\x06\x001\x00\x00acspMSFT\x00\x00\x00\x00IEC sRGB\x00\x00\x00\x00\x00\x00'

b'daisy'

データセット要素のバッチ処理

簡単なバッチ処理

バッチ処理の最も単純な形式は、データセットのn連続する要素を1つの要素にスタックします。 Dataset.batch()変換は、要素の各コンポーネントに適用されるtf.stack()演算子と同じ制約を使用して、これを正確に実行します。つまり、各コンポーネントiについて、すべての要素はまったく同じ形状のテンソルを持っている必要があります。

inc_dataset = tf.data.Dataset.range(100)
dec_dataset = tf.data.Dataset.range(0, -100, -1)
dataset = tf.data.Dataset.zip((inc_dataset, dec_dataset))
batched_dataset = dataset.batch(4)

for batch in batched_dataset.take(4):
  print([arr.numpy() for arr in batch])

[array([0, 1, 2, 3]), array([ 0, -1, -2, -3])]
[array([4, 5, 6, 7]), array([-4, -5, -6, -7])]
[array([ 8,  9, 10, 11]), array([ -8,  -9, -10, -11])]
[array([12, 13, 14, 15]), array([-12, -13, -14, -15])]

tf.dataは形状情報を伝達しようとしますが、 Dataset.batchのデフォルト設定では、最後のバッチがいっぱいでない可能性があるため、バッチサイズが不明になります。形状のNone注意してください。

batched_dataset

<BatchDataset shapes: ((None,), (None,)), types: (tf.int64, tf.int64)>

drop_remainder引数を使用して、その最後のバッチを無視し、完全な形状の伝播を取得します。

batched_dataset = dataset.batch(7, drop_remainder=True)
batched_dataset

<BatchDataset shapes: ((7,), (7,)), types: (tf.int64, tf.int64)>

パディングによるテンソルのバッチ処理

上記のレシピは、すべて同じサイズのテンソルで機能します。ただし、多くのモデル（シーケンスモデルなど）は、さまざまなサイズ（長さの異なるシーケンスなど）の入力データを処理します。この場合を処理するために、 Dataset.padded_batchトランスフォーメーションを使用すると、 Dataset.padded_batchできる1つ以上の次元を指定することにより、異なる形状のテンソルをバッチ処理できます。

dataset = tf.data.Dataset.range(100)
dataset = dataset.map(lambda x: tf.fill([tf.cast(x, tf.int32)], x))
dataset = dataset.padded_batch(4, padded_shapes=(None,))

for batch in dataset.take(2):
  print(batch.numpy())
  print()

[[0 0 0]
 [1 0 0]
 [2 2 0]
 [3 3 3]]

[[4 4 4 4 0 0 0]
 [5 5 5 5 5 0 0]
 [6 6 6 6 6 6 0]
 [7 7 7 7 7 7 7]]

Dataset.padded_batchトランスフォーメーションを使用すると、各コンポーネントのディメンションごとに異なるパディングを設定できます。これは、可変長（上記の例ではNoneで示されます）または一定長の場合があります。デフォルトが0であるパディング値をオーバーライドすることもできます。

トレーニングワークフロー

複数のエポックを処理する

tf.data APIは、同じデータの複数のエポックを処理する2つの主な方法を提供します。

複数のエポックでデータセットを反復処理する最も簡単な方法は、 Dataset.repeat()変換を使用することです。まず、タイタニックデータのデータセットを作成します。

titanic_file = tf.keras.utils.get_file("train.csv", "https://storage.googleapis.com/tf-datasets/titanic/train.csv")
titanic_lines = tf.data.TextLineDataset(titanic_file)

def plot_batch_sizes(ds):
  batch_sizes = [batch.shape[0] for batch in ds]
  plt.bar(range(len(batch_sizes)), batch_sizes)
  plt.xlabel('Batch number')
  plt.ylabel('Batch size')

引数なしでDataset.repeat()変換を適用すると、入力が無期限に繰り返されます。

Dataset.repeatトランスフォーメーションは、あるエポックの終了と次のエポックの開始を通知せずに、引数を連結します。このため、 Dataset.batch後に適用されたDataset.repeatは、エポック境界にまたがるバッチを生成します。

titanic_batches = titanic_lines.repeat(3).batch(128)
plot_batch_sizes(titanic_batches)

png

明確なエポック分離が必要な場合は、繰り返しの前にDataset.batch配置しDataset.batch 。

titanic_batches = titanic_lines.batch(128).repeat(3)

plot_batch_sizes(titanic_batches)

png

各エポックの最後にカスタム計算（統計の収集など）を実行する場合は、各エポックでデータセットの反復を再開するのが最も簡単です。

epochs = 3
dataset = titanic_lines.batch(128)

for epoch in range(epochs):
  for batch in dataset:
    print(batch.shape)
  print("End of epoch: ", epoch)

(128,)
(128,)
(128,)
(128,)
(116,)
End of epoch:  0
(128,)
(128,)
(128,)
(128,)
(116,)
End of epoch:  1
(128,)
(128,)
(128,)
(128,)
(116,)
End of epoch:  2

入力データをランダムにシャッフルする

Dataset.shuffle()トランスフォーメーションは、固定サイズのバッファーを維持し、そのバッファーからランダムに次の要素を均一に選択します。

効果を確認できるように、データセットにインデックスを追加します。

lines = tf.data.TextLineDataset(titanic_file)
counter = tf.data.experimental.Counter()

dataset = tf.data.Dataset.zip((counter, lines))
dataset = dataset.shuffle(buffer_size=100)
dataset = dataset.batch(20)
dataset

<BatchDataset shapes: ((None,), (None,)), types: (tf.int64, tf.string)>

buffer_sizeが100で、バッチサイズが20であるため、最初のバッチには、インデックスが120を超える要素は含まれていません。

n,line_batch = next(iter(dataset))
print(n.numpy())

[ 94  56  75  71  27  35  99  14  20  33  60   4  87  47  32  19  55  93
 112 103]

Dataset.batch同様に、 Dataset.batchに関連するDataset.repeat重要です。

Dataset.shuffleは、シャッフルバッファーが空になるまで、エポックの終了をDataset.shuffleしません。したがって、繰り返しの前に配置されたシャッフルは、次のエポックに移動する前に、あるエポックのすべての要素を表示します。

dataset = tf.data.Dataset.zip((counter, lines))
shuffled = dataset.shuffle(buffer_size=100).batch(10).repeat(2)

print("Here are the item ID's near the epoch boundary:\n")
for n, line_batch in shuffled.skip(60).take(5):
  print(n.numpy())

Here are the item ID's near the epoch boundary:

[371 576 469 293 598 618 559 512 491 524]
[527 613 566 625 573 621 608 375 568 587]
[600 578 617 580 496  18 541 601]
[16 54 62 59 98 18 82 61 91 99]
[50 86 75 90 40 92 63 94 51 80]


shuffle_repeat = [n.numpy().mean() for n, line_batch in shuffled]
plt.plot(shuffle_repeat, label="shuffle().repeat()")
plt.ylabel("Mean item ID")
plt.legend()

<matplotlib.legend.Legend at 0x7f4ce55901d0>

png

しかし、シャッフルの前に繰り返すと、エポックの境界が混ざり合います。

dataset = tf.data.Dataset.zip((counter, lines))
shuffled = dataset.repeat(2).shuffle(buffer_size=100).batch(10)

print("Here are the item ID's near the epoch boundary:\n")
for n, line_batch in shuffled.skip(55).take(15):
  print(n.numpy())

Here are the item ID's near the epoch boundary:

[549 311 612 441 614 521   8 434 606  12]
[623  31 622  22 509 435 447 448 479   6]
[487  19 358  28 545  36 593 588 502 527]
[ 45 586 596   7 154  16 559 402  43  27]
[432  25  38 417  29 570 582  46  14  11]
[594 572   2 554 563   5 556 444  21  30]
[537   0 530  33 483 608  68  18  75  10]
[ 81  84  58 626 542  86  87 610  85  41]
[  4 627 584 397 534  66  99 603 105  44]
[ 65 106  23  13 100 599 428 595  74 104]
[ 62  24  92 558 121  95 451  50 587  47]
[ 48 362  17  78  89 323  57  73 130  77]
[ 63 617  69 619 109 115   9  10  76 122]
[144  96  79 140 368 101 552 117 113 158]
[153 150  54 562 148 149 141 168 142  98]


repeat_shuffle = [n.numpy().mean() for n, line_batch in shuffled]

plt.plot(shuffle_repeat, label="shuffle().repeat()")
plt.plot(repeat_shuffle, label="repeat().shuffle()")
plt.ylabel("Mean item ID")
plt.legend()

<matplotlib.legend.Legend at 0x7f4cd03727b8>

png

データの前処理

Dataset.map(f)変換は、入力データセットの各要素に特定の関数fを適用することにより、新しいデータセットを生成します。これは、関数型プログラミング言語のリスト（およびその他の構造）に一般的に適用されるmap()関数に基づいていmap() 。関数fかかりtf.Tensor入力における単一の要素を表すオブジェクトを、そして返しtf.Tensorそれが新しいデータセット内の単一の要素を表現するオブジェクト。その実装では、標準のTensorFlow操作を使用して、ある要素を別の要素に変換します。

このセクションでは、 Dataset.map()使用方法の一般的な例について説明します。

画像データのデコードとサイズ変更

実世界の画像データでニューラルネットワークをトレーニングする場合、固定サイズにバッチ処理できるように、さまざまなサイズの画像を共通のサイズに変換する必要があることがよくあります。

花のファイル名データセットを再構築します。

list_ds = tf.data.Dataset.list_files(str(flowers_root/'*/*'))

データセット要素を操作する関数を記述します。

# Reads an image from a file, decodes it into a dense tensor, and resizes it
# to a fixed shape.
def parse_image(filename):
  parts = tf.strings.split(filename, os.sep)
  label = parts[-2]

  image = tf.io.read_file(filename)
  image = tf.image.decode_jpeg(image)
  image = tf.image.convert_image_dtype(image, tf.float32)
  image = tf.image.resize(image, [128, 128])
  return image, label

それが機能することをテストします。

file_path = next(iter(list_ds))
image, label = parse_image(file_path)

def show(image, label):
  plt.figure()
  plt.imshow(image)
  plt.title(label.numpy().decode('utf-8'))
  plt.axis('off')

show(image, label)

png

データセットにマッピングします。

images_ds = list_ds.map(parse_image)

for image, label in images_ds.take(2):
  show(image, label)

png

png

任意のPythonロジックを適用する

パフォーマンス上の理由から、可能な限りTensorFlow操作を使用してデータを前処理します。ただし、入力データを解析するときに外部Pythonライブラリを呼び出すと便利な場合があります。 Dataset.map()トランスフォーメーションでtf.py_function()操作を使用できます。

たとえば、ランダムな回転を適用する場合、 tf.imageモジュールにはtf.image.rot90しかありません。これは、画像の拡張にはあまり役立ちません。

tf.py_functionを示すには、代わりにscipy.ndimage.rotate関数を使用してみてください。

import scipy.ndimage as ndimage

def random_rotate_image(image):
  image = ndimage.rotate(image, np.random.uniform(-30, 30), reshape=False)
  return image

image, label = next(iter(images_ds))
image = random_rotate_image(image)
show(image, label)

Clipping input data to the valid range for imshow with RGB data ([0..1] for floats or [0..255] for integers).

png

で、この機能を使用するにはDataset.map同じ警告を持つように適用Dataset.from_generator 、あなたが関数を適用する場合、リターン形状や種類を記述する必要があります。

def tf_random_rotate_image(image, label):
  im_shape = image.shape
  [image,] = tf.py_function(random_rotate_image, [image], [tf.float32])
  image.set_shape(im_shape)
  return image, label

rot_ds = images_ds.map(tf_random_rotate_image)

for image, label in rot_ds.take(2):
  show(image, label)

Clipping input data to the valid range for imshow with RGB data ([0..1] for floats or [0..255] for integers).
Clipping input data to the valid range for imshow with RGB data ([0..1] for floats or [0..255] for integers).

png

png

tf.Exampleプロトコルバッファメッセージの解析

多くの入力パイプラインは、TFRecord形式からtf.train.Exampleプロトコルバッファメッセージを抽出します。各tf.train.Exampleレコードには、1つ以上の「機能」が含まれており、入力パイプラインは通常、これらの機能をテンソルに変換します。

fsns_test_file = tf.keras.utils.get_file("fsns.tfrec", "https://storage.googleapis.com/download.tensorflow.org/data/fsns-20160927/testdata/fsns-00000-of-00001")
dataset = tf.data.TFRecordDataset(filenames = [fsns_test_file])
dataset

<TFRecordDatasetV2 shapes: (), types: tf.string>

tf.train.Example外部でtf.data.Datasetをtf.data.Datasetして、データを理解できます。

raw_example = next(iter(dataset))
parsed = tf.train.Example.FromString(raw_example.numpy())

feature = parsed.features.feature
raw_img = feature['image/encoded'].bytes_list.value[0]
img = tf.image.decode_png(raw_img)
plt.imshow(img)
plt.axis('off')
_ = plt.title(feature["image/text"].bytes_list.value[0])

png

raw_example = next(iter(dataset))

def tf_parse(eg):
  example = tf.io.parse_example(
      eg[tf.newaxis], {
          'image/encoded': tf.io.FixedLenFeature(shape=(), dtype=tf.string),
          'image/text': tf.io.FixedLenFeature(shape=(), dtype=tf.string)
      })
  return example['image/encoded'][0], example['image/text'][0]

img, txt = tf_parse(raw_example)
print(txt.numpy())
print(repr(img.numpy()[:20]), "...")

b'Rue Perreyon'
b'\x89PNG\r\n\x1a\n\x00\x00\x00\rIHDR\x00\x00\x02X' ...


decoded = dataset.map(tf_parse)
decoded

<MapDataset shapes: ((), ()), types: (tf.string, tf.string)>

image_batch, text_batch = next(iter(decoded.batch(10)))
image_batch.shape

TensorShape([10])

時系列ウィンドウ処理

エンドツーエンドの時系列の例については、時系列予測を参照してください。

時系列データは、多くの場合、時間軸をそのままにして編成されます。

簡単なDataset.rangeを使用して、 Dataset.rangeことを示します。

range_ds = tf.data.Dataset.range(100000)

通常、この種のデータに基づくモデルでは、連続したタイムスライスが必要になります。

最も簡単なアプローチは、データをバッチ処理することです。

batch使用

batches = range_ds.batch(10, drop_remainder=True)

for batch in batches.take(5):
  print(batch.numpy())

[0 1 2 3 4 5 6 7 8 9]
[10 11 12 13 14 15 16 17 18 19]
[20 21 22 23 24 25 26 27 28 29]
[30 31 32 33 34 35 36 37 38 39]
[40 41 42 43 44 45 46 47 48 49]

または、将来の1つのステップで密な予測を行うには、フィーチャとラベルを相互に1ステップずつシフトします。

def dense_1_step(batch):
  # Shift features and labels one step relative to each other.
  return batch[:-1], batch[1:]

predict_dense_1_step = batches.map(dense_1_step)

for features, label in predict_dense_1_step.take(3):
  print(features.numpy(), " => ", label.numpy())

[0 1 2 3 4 5 6 7 8]  =>  [1 2 3 4 5 6 7 8 9]
[10 11 12 13 14 15 16 17 18]  =>  [11 12 13 14 15 16 17 18 19]
[20 21 22 23 24 25 26 27 28]  =>  [21 22 23 24 25 26 27 28 29]

固定オフセットではなくウィンドウ全体を予測するには、バッチを2つの部分に分割します。

batches = range_ds.batch(15, drop_remainder=True)

def label_next_5_steps(batch):
  return (batch[:-5],   # Take the first 5 steps
          batch[-5:])   # take the remainder

predict_5_steps = batches.map(label_next_5_steps)

for features, label in predict_5_steps.take(3):
  print(features.numpy(), " => ", label.numpy())

[0 1 2 3 4 5 6 7 8 9]  =>  [10 11 12 13 14]
[15 16 17 18 19 20 21 22 23 24]  =>  [25 26 27 28 29]
[30 31 32 33 34 35 36 37 38 39]  =>  [40 41 42 43 44]

あるバッチの機能と別のバッチのラベル​​の重複を許可するには、 Dataset.zip使用しDataset.zip 。

feature_length = 10
label_length = 5

features = range_ds.batch(feature_length, drop_remainder=True)
labels = range_ds.batch(feature_length).skip(1).map(lambda labels: labels[:-5])

predict_5_steps = tf.data.Dataset.zip((features, labels))

for features, label in predict_5_steps.take(3):
  print(features.numpy(), " => ", label.numpy())

[0 1 2 3 4 5 6 7 8 9]  =>  [10 11 12 13 14]
[10 11 12 13 14 15 16 17 18 19]  =>  [20 21 22 23 24]
[20 21 22 23 24 25 26 27 28 29]  =>  [30 31 32 33 34]

windowを使用する

Dataset.batch使用はDataset.batchますが、より細かい制御が必要になる場合があります。 Dataset.windowメソッドは完全な制御を提供しますが、注意が必要です。 DatasetのDatasets Datasetを返します。詳細については、データセットの構造を参照してください。

window_size = 5

windows = range_ds.window(window_size, shift=1)
for sub_ds in windows.take(5):
  print(sub_ds)

<_VariantDataset shapes: (), types: tf.int64>
<_VariantDataset shapes: (), types: tf.int64>
<_VariantDataset shapes: (), types: tf.int64>
<_VariantDataset shapes: (), types: tf.int64>
<_VariantDataset shapes: (), types: tf.int64>

Dataset.flat_mapメソッドは、データセットのデータセットを取得し、それを単一のデータセットにフラット化できます。

for x in windows.flat_map(lambda x: x).take(30):
   print(x.numpy(), end=' ')

WARNING:tensorflow:AutoGraph could not transform <function <lambda> at 0x7f4cd044e510> and will run it as-is.
Cause: could not parse the source code:

for x in windows.flat_map(lambda x: x).take(30):

This error may be avoided by creating the lambda in a standalone statement.

To silence this warning, decorate the function with @tf.autograph.experimental.do_not_convert
WARNING: AutoGraph could not transform <function <lambda> at 0x7f4cd044e510> and will run it as-is.
Cause: could not parse the source code:

for x in windows.flat_map(lambda x: x).take(30):

This error may be avoided by creating the lambda in a standalone statement.

To silence this warning, decorate the function with @tf.autograph.experimental.do_not_convert
0 1 2 3 4 1 2 3 4 5 2 3 4 5 6 3 4 5 6 7 4 5 6 7 8 5 6 7 8 9

ほとんどすべての場合、最初にデータセットを.batchする必要があります。

def sub_to_batch(sub):
  return sub.batch(window_size, drop_remainder=True)

for example in windows.flat_map(sub_to_batch).take(5):
  print(example.numpy())

[0 1 2 3 4]
[1 2 3 4 5]
[2 3 4 5 6]
[3 4 5 6 7]
[4 5 6 7 8]

これで、 shift引数が各ウィンドウの移動量を制御していることがわかります。

これをまとめると、次の関数を作成できます。

def make_window_dataset(ds, window_size=5, shift=1, stride=1):
  windows = ds.window(window_size, shift=shift, stride=stride)

  def sub_to_batch(sub):
    return sub.batch(window_size, drop_remainder=True)

  windows = windows.flat_map(sub_to_batch)
  return windows

ds = make_window_dataset(range_ds, window_size=10, shift = 5, stride=3)

for example in ds.take(10):
  print(example.numpy())

[ 0  3  6  9 12 15 18 21 24 27]
[ 5  8 11 14 17 20 23 26 29 32]
[10 13 16 19 22 25 28 31 34 37]
[15 18 21 24 27 30 33 36 39 42]
[20 23 26 29 32 35 38 41 44 47]
[25 28 31 34 37 40 43 46 49 52]
[30 33 36 39 42 45 48 51 54 57]
[35 38 41 44 47 50 53 56 59 62]
[40 43 46 49 52 55 58 61 64 67]
[45 48 51 54 57 60 63 66 69 72]

次に、前と同じように、ラベルを簡単に抽出できます。

dense_labels_ds = ds.map(dense_1_step)

for inputs,labels in dense_labels_ds.take(3):
  print(inputs.numpy(), "=>", labels.numpy())

[ 0  3  6  9 12 15 18 21 24] => [ 3  6  9 12 15 18 21 24 27]
[ 5  8 11 14 17 20 23 26 29] => [ 8 11 14 17 20 23 26 29 32]
[10 13 16 19 22 25 28 31 34] => [13 16 19 22 25 28 31 34 37]

リサンプリング

クラスが非常に不均衡なデータセットを操作する場合は、データセットをリサンプリングすることをお勧めします。 tf.dataは、これを行うための2つの方法を提供します。クレジットカード詐欺データセットは、この種の問題の良い例です。

zip_path = tf.keras.utils.get_file(
    origin='https://storage.googleapis.com/download.tensorflow.org/data/creditcard.zip',
    fname='creditcard.zip',
    extract=True)

csv_path = zip_path.replace('.zip', '.csv')

Downloading data from https://storage.googleapis.com/download.tensorflow.org/data/creditcard.zip
69156864/69155632 [==============================] - 3s 0us/step


creditcard_ds = tf.data.experimental.make_csv_dataset(
    csv_path, batch_size=1024, label_name="Class",
    # Set the column types: 30 floats and an int.
    column_defaults=[float()]*30+[int()])

ここで、クラスの分布を確認してください。非常に偏っています。

def count(counts, batch):
  features, labels = batch
  class_1 = labels == 1
  class_1 = tf.cast(class_1, tf.int32)

  class_0 = labels == 0
  class_0 = tf.cast(class_0, tf.int32)

  counts['class_0'] += tf.reduce_sum(class_0)
  counts['class_1'] += tf.reduce_sum(class_1)

  return counts

counts = creditcard_ds.take(10).reduce(
    initial_state={'class_0': 0, 'class_1': 0},
    reduce_func = count)

counts = np.array([counts['class_0'].numpy(),
                   counts['class_1'].numpy()]).astype(np.float32)

fractions = counts/counts.sum()
print(fractions)

[0.9957 0.0043]

不均衡なデータセットを使用したトレーニングの一般的なアプローチは、バランスを取ることです。 tf.dataは、このワークフローを可能にするいくつかのメソッドが含まれています。

データセットのサンプリング

データセットをリサンプリングする1つの方法は、 sample_from_datasetsを使用することsample_from_datasets 。これは、クラスごとに個別のdata.Datasetがある場合により適しています。

ここでは、フィルターを使用して、クレジットカード詐欺データからそれらを生成します。

negative_ds = (
  creditcard_ds
    .unbatch()
    .filter(lambda features, label: label==0)
    .repeat())
positive_ds = (
  creditcard_ds
    .unbatch()
    .filter(lambda features, label: label==1)
    .repeat())

WARNING:tensorflow:AutoGraph could not transform <function <lambda> at 0x7f4d44598488> and will run it as-is.
Cause: could not parse the source code:

    .filter(lambda features, label: label==0)

This error may be avoided by creating the lambda in a standalone statement.

To silence this warning, decorate the function with @tf.autograph.experimental.do_not_convert
WARNING: AutoGraph could not transform <function <lambda> at 0x7f4d44598488> and will run it as-is.
Cause: could not parse the source code:

    .filter(lambda features, label: label==0)

This error may be avoided by creating the lambda in a standalone statement.

To silence this warning, decorate the function with @tf.autograph.experimental.do_not_convert
WARNING:tensorflow:AutoGraph could not transform <function <lambda> at 0x7f4d445988c8> and will run it as-is.
Cause: could not parse the source code:

    .filter(lambda features, label: label==1)

This error may be avoided by creating the lambda in a standalone statement.

To silence this warning, decorate the function with @tf.autograph.experimental.do_not_convert
WARNING: AutoGraph could not transform <function <lambda> at 0x7f4d445988c8> and will run it as-is.
Cause: could not parse the source code:

    .filter(lambda features, label: label==1)

This error may be avoided by creating the lambda in a standalone statement.

To silence this warning, decorate the function with @tf.autograph.experimental.do_not_convert


for features, label in positive_ds.batch(10).take(1):
  print(label.numpy())

[1 1 1 1 1 1 1 1 1 1]

tf.data.experimental.sample_from_datasetsを使用するには、データセットとそれぞれの重みを渡します。

balanced_ds = tf.data.experimental.sample_from_datasets(
    [negative_ds, positive_ds], [0.5, 0.5]).batch(10)

これで、データセットは50/50の確率で各クラスの例を生成します。

for features, labels in balanced_ds.take(10):
  print(labels.numpy())

[1 1 0 1 1 0 1 0 1 0]
[0 0 1 0 0 0 0 1 1 1]
[0 0 0 0 0 0 0 1 0 1]
[0 0 0 0 1 0 0 0 0 0]
[1 1 0 0 1 0 1 1 0 1]
[0 1 1 0 0 0 1 0 1 0]
[0 1 0 0 1 1 0 0 1 0]
[1 0 0 0 1 0 1 0 1 0]
[1 1 1 0 1 1 1 0 1 0]
[1 0 1 1 1 0 1 1 0 1]

拒否のリサンプリング

上記のexperimental.sample_from_datasetsアプローチの問題の1つは、クラスごとに個別のtf.data.Datasetが必要なことです。 Dataset.filter使用はDataset.filterますが、すべてのデータが2回読み込まれます。

data.experimental.rejection_resample関数をデータセットに適用して、データセットを1回だけロードしながらリバランスすることができます。バランスをとるために、要素はデータセットから削除されます。

data.experimental.rejection_resampleはclass_func引数を取ります。このclass_funcは各データセット要素に適用され、バランスをとるために例がどのクラスに属するかを決定するために使用されます。

creditcard_dsの要素は、すでに(features, label)ペアです。したがって、 class_funcこれらのラベルを返す必要があります。

def class_func(features, label):
  return label

リサンプラーには、ターゲット分布と、オプションで初期分布推定も必要です。

resampler = tf.data.experimental.rejection_resample(
    class_func, target_dist=[0.5, 0.5], initial_dist=fractions)

リサンプラーは個々の例を扱うため、リサンプラーを適用する前にデータセットのunbatchする必要があります。

resample_ds = creditcard_ds.unbatch().apply(resampler).batch(10)

WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/data/experimental/ops/resampling.py:156: Print (from tensorflow.python.ops.logging_ops) is deprecated and will be removed after 2018-08-20.
Instructions for updating:
Use tf.print instead of tf.Print. Note that tf.print returns a no-output operator that directly prints the output. Outside of defuns or eager mode, this operator will not be executed unless it is directly specified in session.run or used as a control dependency for other operators. This is only a concern in graph mode. Below is an example of how to ensure tf.print executes in graph mode:

リサンプラーは、 class_func出力からcreates (class, example)ペアを返します。この場合、 exampleはすでに(feature, label)ペアであったため、 mapを使用してラベルの余分なコピーを削除します。

balanced_ds = resample_ds.map(lambda extra_label, features_and_label: features_and_label)

これで、データセットは50/50の確率で各クラスの例を生成します。

for features, labels in balanced_ds.take(10):
  print(labels.numpy())

[0 0 0 1 1 1 0 0 0 0]
[1 0 1 0 1 1 0 1 1 1]
[1 0 1 0 0 0 0 1 1 1]
[0 0 0 1 0 1 0 1 0 1]
[1 1 1 1 0 1 1 0 0 0]
[1 0 0 0 1 0 1 0 0 1]
[0 1 1 1 0 1 0 0 0 0]
[1 0 1 1 1 0 1 1 1 1]
[0 0 0 0 0 0 1 0 1 1]
[1 1 1 1 1 0 0 0 0 0]

イテレータチェックポイント

Tensorflowはチェックポイントの取得をサポートしているため、トレーニングプロセスが再開すると、最新のチェックポイントを復元して、進行状況のほとんどを回復できます。モデル変数のチェックポイントに加えて、データセットイテレーターの進行状況をチェックポイントすることもできます。これは、データセットが大きく、再起動するたびにデータセットを最初から開始したくない場合に役立ちます。ただし、 shuffleやprefetchなどの変換にはイテレータ内のバッファリング要素が必要なため、イテレータのチェックポイントが大きくなる可能性があることに注意してください。

イテレータをチェックポイントに含めるには、イテレータをtf.train.Checkpointコンストラクタに渡します。

range_ds = tf.data.Dataset.range(20)

iterator = iter(range_ds)
ckpt = tf.train.Checkpoint(step=tf.Variable(0), iterator=iterator)
manager = tf.train.CheckpointManager(ckpt, '/tmp/my_ckpt', max_to_keep=3)

print([next(iterator).numpy() for _ in range(5)])

save_path = manager.save()

print([next(iterator).numpy() for _ in range(5)])

ckpt.restore(manager.latest_checkpoint)

print([next(iterator).numpy() for _ in range(5)])

[0, 1, 2, 3, 4]
[5, 6, 7, 8, 9]
[5, 6, 7, 8, 9]

tf.kerasでtf.dataを使用する

tf.keras APIは、機械学習モデルの作成と実行の多くの側面を簡素化します。その.fit()および.evaluate()および.predict() APIは、入力としてデータセットをサポートします。簡単なデータセットとモデルの設定は次のとおりです。

train, test = tf.keras.datasets.fashion_mnist.load_data()

images, labels = train
images = images/255.0
labels = labels.astype(np.int32)

fmnist_train_ds = tf.data.Dataset.from_tensor_slices((images, labels))
fmnist_train_ds = fmnist_train_ds.shuffle(5000).batch(32)

model = tf.keras.Sequential([
  tf.keras.layers.Flatten(),
  tf.keras.layers.Dense(10)
])

model.compile(optimizer='adam',
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True), 
              metrics=['accuracy'])

Model.fitとModel.evaluate必要なのは(feature, label)ペアのデータセットを渡すことModel.evaluateです。

model.fit(fmnist_train_ds, epochs=2)

Epoch 1/2
WARNING:tensorflow:Layer flatten is casting an input tensor from dtype float64 to the layer's dtype of float32, which is new behavior in TensorFlow 2.  The layer has dtype float32 because its dtype defaults to floatx.

If you intended to run this layer in float32, you can safely ignore this warning. If in doubt, this warning is likely only an issue if you are porting a TensorFlow 1.X model to TensorFlow 2.

To change all layers to have dtype float64 by default, call `tf.keras.backend.set_floatx('float64')`. To change just this layer, pass dtype='float64' to the layer constructor. If you are the author of this layer, you can disable autocasting by passing autocast=False to the base Layer constructor.

1875/1875 [==============================] - 3s 2ms/step - loss: 0.5997 - accuracy: 0.7981
Epoch 2/2
1875/1875 [==============================] - 3s 2ms/step - loss: 0.4631 - accuracy: 0.8411

<tensorflow.python.keras.callbacks.History at 0x7f4cd016bc18>

たとえばDataset.repeat()呼び出すことによって無限のデータセットを渡す場合は、 steps_per_epoch引数も渡す必要があります。

model.fit(fmnist_train_ds.repeat(), epochs=2, steps_per_epoch=20)

Epoch 1/2
20/20 [==============================] - 0s 2ms/step - loss: 0.3873 - accuracy: 0.8734
Epoch 2/2
20/20 [==============================] - 0s 2ms/step - loss: 0.4442 - accuracy: 0.8313

<tensorflow.python.keras.callbacks.History at 0x7f4d4c10edd8>

評価のために、いくつかの評価ステップを渡すことができます。

loss, accuracy = model.evaluate(fmnist_train_ds)
print("Loss :", loss)
print("Accuracy :", accuracy)

1875/1875 [==============================] - 3s 2ms/step - loss: 0.4445 - accuracy: 0.8447
Loss : 0.44445285201072693
Accuracy : 0.8446999788284302

長いデータセットの場合、評価するステップ数を設定します。

loss, accuracy = model.evaluate(fmnist_train_ds.repeat(), steps=10)
print("Loss :", loss)
print("Accuracy :", accuracy)

10/10 [==============================] - 0s 2ms/step - loss: 0.4147 - accuracy: 0.8500
Loss : 0.4146668314933777
Accuracy : 0.8500000238418579

Model.predict呼び出す場合、ラベルは必要ありません。

predict_ds = tf.data.Dataset.from_tensor_slices(images).batch(32)
result = model.predict(predict_ds, steps = 10)
print(result.shape)

(320, 10)

ただし、ラベルを含むデータセットを渡すと、ラベルは無視されます。

result = model.predict(fmnist_train_ds, steps = 10)
print(result.shape)

(320, 10)