 TensorFlow.org上に表示します |  Googleのコラボで実行します |  GitHubの上のソースを表示 |  ダウンロードノート |
tf.data APIは、単純な、再利用可能なものから複雑な入力パイプラインを構築することができます。例えば、画像モデルのパイプラインは、分散ファイルシステム内のファイルからのデータを集約可能性がある各画像にランダムな摂動を適用し、トレーニングのためのバッチにランダムに選択された画像をマージします。テキストモデルのためのパイプラインは、ルックアップテーブルを用いて識別子を埋め込み、そして異なる長さの配列を一緒にバッチ処理に変換し、生のテキストデータからシンボルを抽出含むかもしれません。 tf.data APIは、それが可能な、大量のデータを扱う異なるデータ形式から読み出され、複雑な変換を行うことが可能となります。
tf.data APIを導入A tf.data.Dataset抽象各要素は、1つのまたは複数のコンポーネントから構成されている要素のシーケンスを表します。例えば、画像パイプラインにおいて、要素が画像とそのラベルを表すテンソル成分のペアと、単一のトレーニング例かもしれません。
データセットを作成するには、2つの異なる方法があります。
データソースは、作成
Datasetメモリ内に1つのまたは複数のファイルに格納されたデータから。データ変換は、一つ以上のデータセットから構築
tf.data.Datasetオブジェクトを。
import tensorflow as tf
import pathlib
import os
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np
np.set_printoptions(precision=4)
基本的な仕組み
入力パイプラインを作成するには、データ・ソースで開始する必要があります。例えば、構築するためにDatasetメモリ内のデータからは、使用することができますtf.data.Dataset.from_tensors()またはtf.data.Dataset.from_tensor_slices()あなたの入力データが推奨TFRecord形式のファイルに保存されている場合あるいは、あなたが使用することができますtf.data.TFRecordDataset()
あなたが持ってたら、 Datasetオブジェクトを、あなたは新しいにそれを変換することができDatasetのメソッド呼び出しの連鎖によってtf.data.Datasetオブジェクトを。たとえば、次のような要素毎の変換を適用することができるDataset.map()およびなどの多要素変換Dataset.batch()ドキュメントを参照してくださいtf.data.Dataset変換の完全なリストについて。
Datasetオブジェクトは、Pythonの反復可能です。これは、forループを使用して、その要素を消費することが可能となります。
dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1])
dataset
<TensorSliceDataset shapes: (), types: tf.int32>
for elem in dataset:
print(elem.numpy())
8 3 0 8 2 1
または明示的に使用してPythonのイテレータを作成することにより、 iterして使用してその要素を消費してnext ：
it = iter(dataset)
print(next(it).numpy())
8
あるいは、データセット要素が使用消費することができるreduce単一の結果を生成するためにすべての要素を減少させる変換を、。次の例では、使用する方法を示しreduce整数のセットの和を計算するための変換を。
print(dataset.reduce(0, lambda state, value: state + value).numpy())
22
データセットの構造
データセットは、それぞれが同一の（ネストされた）構造を有し、構造体の個々の成分により、任意のタイプの表現であることができる要素含まtf.TypeSpec含む、 tf.Tensor 、 tf.sparse.SparseTensor 、 tf.RaggedTensor 、 tf.TensorArray 、またはtf.data.Dataset 。
Dataset.element_specプロパティを使用すると、各要素部品の種類を検査することができます。プロパティは、 入れ子構造返しtf.TypeSpec単一成分、構成要素の組、または構成要素のネストされたタプルとすることができる素子の構造と一致する、オブジェクトを。例えば：
dataset1 = tf.data.Dataset.from_tensor_slices(tf.random.uniform([4, 10]))
dataset1.element_spec
TensorSpec(shape=(10,), dtype=tf.float32, name=None)
dataset2 = tf.data.Dataset.from_tensor_slices(
(tf.random.uniform([4]),
tf.random.uniform([4, 100], maxval=100, dtype=tf.int32)))
dataset2.element_spec
(TensorSpec(shape=(), dtype=tf.float32, name=None), TensorSpec(shape=(100,), dtype=tf.int32, name=None))
dataset3 = tf.data.Dataset.zip((dataset1, dataset2))
dataset3.element_spec
(TensorSpec(shape=(10,), dtype=tf.float32, name=None), (TensorSpec(shape=(), dtype=tf.float32, name=None), TensorSpec(shape=(100,), dtype=tf.int32, name=None)))
# Dataset containing a sparse tensor.
dataset4 = tf.data.Dataset.from_tensors(tf.SparseTensor(indices=[[0, 0], [1, 2]], values=[1, 2], dense_shape=[3, 4]))
dataset4.element_spec
SparseTensorSpec(TensorShape([3, 4]), tf.int32)
# Use value_type to see the type of value represented by the element spec
dataset4.element_spec.value_type
tensorflow.python.framework.sparse_tensor.SparseTensor
Dataset変換は、任意の構造のデータセットをサポートしています。使用する場合Dataset.map()及びDataset.filter()各要素に関数を適用する変換を、素子構造は、関数の引数を決定します。
dataset1 = tf.data.Dataset.from_tensor_slices(
tf.random.uniform([4, 10], minval=1, maxval=10, dtype=tf.int32))
dataset1
<TensorSliceDataset shapes: (10,), types: tf.int32>
for z in dataset1:
print(z.numpy())
[8 1 2 6 1 7 2 6 1 3] [6 5 6 5 3 5 2 5 3 6] [5 8 4 8 3 1 4 6 4 8] [2 4 5 8 3 5 7 9 4 2]
dataset2 = tf.data.Dataset.from_tensor_slices(
(tf.random.uniform([4]),
tf.random.uniform([4, 100], maxval=100, dtype=tf.int32)))
dataset2
<TensorSliceDataset shapes: ((), (100,)), types: (tf.float32, tf.int32)>
dataset3 = tf.data.Dataset.zip((dataset1, dataset2))
dataset3
<ZipDataset shapes: ((10,), ((), (100,))), types: (tf.int32, (tf.float32, tf.int32))>
for a, (b,c) in dataset3:
print('shapes: {a.shape}, {b.shape}, {c.shape}'.format(a=a, b=b, c=c))
shapes: (10,), (), (100,) shapes: (10,), (), (100,) shapes: (10,), (), (100,) shapes: (10,), (), (100,)
入力されたデータを読みます
消費numpyのアレイ
参照してくださいnumpyのアレイをロードする例については。
メモリ内の入力データのフィットのすべて、作成する最も簡単な方法ならばDataset彼らからは、それらを変換することですtf.Tensorオブジェクトおよび使用Dataset.from_tensor_slices() 。
train, test = tf.keras.datasets.fashion_mnist.load_data()
Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/train-labels-idx1-ubyte.gz 32768/29515 [=================================] - 0s 0us/step Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/train-images-idx3-ubyte.gz 26427392/26421880 [==============================] - 0s 0us/step Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/t10k-labels-idx1-ubyte.gz 8192/5148 [===============================================] - 0s 0us/step Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/t10k-images-idx3-ubyte.gz 4423680/4422102 [==============================] - 0s 0us/step
images, labels = train
images = images/255
dataset = tf.data.Dataset.from_tensor_slices((images, labels))
dataset
<TensorSliceDataset shapes: ((28, 28), ()), types: (tf.float64, tf.uint8)>
Pythonのジェネレータを消費
簡単として摂取することができる別の共通のデータソースtf.data.Dataset Pythonのジェネレータです。
def count(stop):
i = 0
while i<stop:
yield i
i += 1
for n in count(5):
print(n)
0 1 2 3 4
Dataset.from_generatorコンストラクタは完全に機能するには、Pythonのジェネレータを変換tf.data.Dataset 。
コンストラクタは、入力ではなく、イテレータとして呼び出し可能になります。これは、最後に到達したとき、それは発電機を再起動することができます。これはオプションとるargs呼び出し可能なの引数として渡される引数を、。
output_typesための引数が必要であるtf.data構築tf.Graph内部、およびグラフのエッジは必要tf.dtype 。
ds_counter = tf.data.Dataset.from_generator(count, args=[25], output_types=tf.int32, output_shapes = (), )
for count_batch in ds_counter.repeat().batch(10).take(10):
print(count_batch.numpy())
[0 1 2 3 4 5 6 7 8 9] [10 11 12 13 14 15 16 17 18 19] [20 21 22 23 24 0 1 2 3 4] [ 5 6 7 8 9 10 11 12 13 14] [15 16 17 18 19 20 21 22 23 24] [0 1 2 3 4 5 6 7 8 9] [10 11 12 13 14 15 16 17 18 19] [20 21 22 23 24 0 1 2 3 4] [ 5 6 7 8 9 10 11 12 13 14] [15 16 17 18 19 20 21 22 23 24]
output_shapes引数は必須ではありませんが、多くのtensorflow操作が不明ランクのテンソルをサポートしていないと非常にお奨めします。特定の軸の長さが不明または可変である場合、として設定Noneでoutput_shapes 。
これは、ことに注意することも重要ですoutput_shapesとoutput_types他のデータセットのメソッドと同じネストの規則に従ってください。
ここで、両方の側面を示す例ジェネレータは、それが二番目の配列が未知の長さを持つベクトルである配列のタプルを返し、です。
def gen_series():
i = 0
while True:
size = np.random.randint(0, 10)
yield i, np.random.normal(size=(size,))
i += 1
for i, series in gen_series():
print(i, ":", str(series))
if i > 5:
break
0 : [-1.978 -1.0531 0.1959 -2.1618] 1 : [ 1.9185 -0.1874 0.5084] 2 : [0.1441 0.3987 0.7737 0.9266 1.5057 0.9151] 3 : [ 0.681 -0.6155 -0.1231 -0.2429 0.6892 1.2571 -1.7588 -1.6575 -0.5375] 4 : [-0.5567 1.5298 0.7242 0.2213] 5 : [ 1.5572 -0.6856] 6 : [-1.0965 -0.336 1.2405 0.6006]
第一の出力は、 int32秒であるfloat32 。
最初の項目は、スカラー、形状である()及び第二は、未知の長さ、形状のベクトルで(None,)
ds_series = tf.data.Dataset.from_generator(
gen_series,
output_types=(tf.int32, tf.float32),
output_shapes=((), (None,)))
ds_series
<FlatMapDataset shapes: ((), (None,)), types: (tf.int32, tf.float32)>
今では、通常のように使用することができますtf.data.Dataset 。変数形でデータセットをバッチ処理するとき、あなたが使用する必要があることを注意Dataset.padded_batch 。
ds_series_batch = ds_series.shuffle(20).padded_batch(10)
ids, sequence_batch = next(iter(ds_series_batch))
print(ids.numpy())
print()
print(sequence_batch.numpy())
[ 2 10 18 3 6 15 25 23 0 4] [[ 1.2665 -0.6274 0.4076 1.0146 0. 0. 0. 0. ] [ 0.8091 -0.0683 -0.1464 0.2734 0.7461 -0.1009 0. 0. ] [-0.9381 1.5075 0. 0. 0. 0. 0. 0. ] [ 1.5705 0.4438 0. 0. 0. 0. 0. 0. ] [-0.4692 -1.8328 -2.2838 0.7418 0.0172 -0.3547 -1.4502 -1.2786] [-1.574 0. 0. 0. 0. 0. 0. 0. ] [-0.9274 1.4758 0. 0. 0. 0. 0. 0. ] [-0.5043 0.7066 0.9599 -1.2986 0. 0. 0. 0. ] [ 0. 0. 0. 0. 0. 0. 0. 0. ] [-0.4893 -0.6937 0. 0. 0. 0. 0. 0. ]]
より現実的な例については、ラップしてみてくださいpreprocessing.image.ImageDataGenerator通りtf.data.Dataset 。
まず、データをダウンロードしてください。
flowers = tf.keras.utils.get_file(
'flower_photos',
'https://storage.googleapis.com/download.tensorflow.org/example_images/flower_photos.tgz',
untar=True)
Downloading data from https://storage.googleapis.com/download.tensorflow.org/example_images/flower_photos.tgz 228818944/228813984 [==============================] - 2s 0us/step
img_gen = tf.keras.preprocessing.image.ImageDataGenerator(rescale=1./255, rotation_range=20)
images, labels = next(img_gen.flow_from_directory(flowers))
Found 3670 images belonging to 5 classes.
print(images.dtype, images.shape)
print(labels.dtype, labels.shape)
float32 (32, 256, 256, 3) float32 (32, 5)
ds = tf.data.Dataset.from_generator(
img_gen.flow_from_directory, args=[flowers],
output_types=(tf.float32, tf.float32),
output_shapes=([32,256,256,3], [32,5])
)
ds
<FlatMapDataset shapes: ((32, 256, 256, 3), (32, 5)), types: (tf.float32, tf.float32)>
TFRecordデータを消費
参照してくださいロードTFRecordsをエンドツーエンド例えば。
tf.dataあなたがメモリに収まらない大規模なデータセットを処理できるように、APIは、さまざまなファイル形式をサポートしています。例えば、TFRecordファイル形式は、多くのTensorFlowアプリケーションは、トレーニングデータに使用することを、簡単なレコード指向バイナリ形式です。 tf.data.TFRecordDatasetクラスは、入力パイプラインの一部として、一つ以上のTFRecordファイルの内容経由でストリーミングすることができます。
ここではフランスのストリート名のサイン（のFSN）からテストファイルを使用した例です。
# Creates a dataset that reads all of the examples from two files.
fsns_test_file = tf.keras.utils.get_file("fsns.tfrec", "https://storage.googleapis.com/download.tensorflow.org/data/fsns-20160927/testdata/fsns-00000-of-00001")
Downloading data from https://storage.googleapis.com/download.tensorflow.org/data/fsns-20160927/testdata/fsns-00000-of-00001 7905280/7904079 [==============================] - 0s 0us/step
filenames引数TFRecordDatasetいずれかの文字列、文字列のリスト、またはすることができイニシャライザtf.Tensor文字列の。あなたがトレーニングや検証の目的のために、ファイルの2セットを持っている場合はそのため、あなたは入力引数としてファイル名を取って、データセットを作成するファクトリメソッドを作成することができます。
dataset = tf.data.TFRecordDataset(filenames = [fsns_test_file])
dataset
<TFRecordDatasetV2 shapes: (), types: tf.string>
多くのTensorFlowプロジェクトは、シリアライズ使用tf.train.Example彼らのTFRecordファイル内のレコードを。彼らは検査することができる前に、これらの必要性が復号化されます。
raw_example = next(iter(dataset))
parsed = tf.train.Example.FromString(raw_example.numpy())
parsed.features.feature['image/text']
bytes_list {
value: "Rue Perreyon"
}
テキストデータを消費
参照してくださいロードテキストを終了例に終わりを。
多くのデータセットは、1つまたは複数のテキストファイルとして配布されています。 tf.data.TextLineDataset 1つまたは複数のテキストファイルから行を抽出するための簡単な方法を提供します。一の以上のファイル名が与えられ、 TextLineDatasetそれらのファイルの1行に1つの文字列値の要素を生成します。
directory_url = 'https://storage.googleapis.com/download.tensorflow.org/data/illiad/'
file_names = ['cowper.txt', 'derby.txt', 'butler.txt']
file_paths = [
tf.keras.utils.get_file(file_name, directory_url + file_name)
for file_name in file_names
]
Downloading data from https://storage.googleapis.com/download.tensorflow.org/data/illiad/cowper.txt 819200/815980 [==============================] - 0s 0us/step Downloading data from https://storage.googleapis.com/download.tensorflow.org/data/illiad/derby.txt 811008/809730 [==============================] - 0s 0us/step Downloading data from https://storage.googleapis.com/download.tensorflow.org/data/illiad/butler.txt 811008/807992 [==============================] - 0s 0us/step
dataset = tf.data.TextLineDataset(file_paths)
ここでは最初のファイルの最初の数行は以下のとおりです。
for line in dataset.take(5):
print(line.numpy())
b"\xef\xbb\xbfAchilles sing, O Goddess! Peleus' son;" b'His wrath pernicious, who ten thousand woes' b"Caused to Achaia's host, sent many a soul" b'Illustrious into Ades premature,' b'And Heroes gave (so stood the will of Jove)'
ファイル間の代替ラインに使用Dataset.interleave 。これは、簡単にファイルを一緒にシャッフルすることができます。ここで、各翻訳から、第2行目と3行目は、次のとおり
files_ds = tf.data.Dataset.from_tensor_slices(file_paths)
lines_ds = files_ds.interleave(tf.data.TextLineDataset, cycle_length=3)
for i, line in enumerate(lines_ds.take(9)):
if i % 3 == 0:
print()
print(line.numpy())
b"\xef\xbb\xbfAchilles sing, O Goddess! Peleus' son;" b"\xef\xbb\xbfOf Peleus' son, Achilles, sing, O Muse," b'\xef\xbb\xbfSing, O goddess, the anger of Achilles son of Peleus, that brought' b'His wrath pernicious, who ten thousand woes' b'The vengeance, deep and deadly; whence to Greece' b'countless ills upon the Achaeans. Many a brave soul did it send' b"Caused to Achaia's host, sent many a soul" b'Unnumbered ills arose; which many a soul' b'hurrying down to Hades, and many a hero did it yield a prey to dogs and'
デフォルトによって、 TextLineDatasetファイルがヘッダ行で始まり、またはコメントを含む場合、例えば、望ましくないかもしれない各ファイルのすべての行をもたらします。これらの線は、使用して除去することができるDataset.skip()またはDataset.filter()変換を。ここで、あなただけの生存者を見つけるために、その後、フィルタを最初の行をスキップします。
titanic_file = tf.keras.utils.get_file("train.csv", "https://storage.googleapis.com/tf-datasets/titanic/train.csv")
titanic_lines = tf.data.TextLineDataset(titanic_file)
Downloading data from https://storage.googleapis.com/tf-datasets/titanic/train.csv 32768/30874 [===============================] - 0s 0us/step
for line in titanic_lines.take(10):
print(line.numpy())
b'survived,sex,age,n_siblings_spouses,parch,fare,class,deck,embark_town,alone' b'0,male,22.0,1,0,7.25,Third,unknown,Southampton,n' b'1,female,38.0,1,0,71.2833,First,C,Cherbourg,n' b'1,female,26.0,0,0,7.925,Third,unknown,Southampton,y' b'1,female,35.0,1,0,53.1,First,C,Southampton,n' b'0,male,28.0,0,0,8.4583,Third,unknown,Queenstown,y' b'0,male,2.0,3,1,21.075,Third,unknown,Southampton,n' b'1,female,27.0,0,2,11.1333,Third,unknown,Southampton,n' b'1,female,14.0,1,0,30.0708,Second,unknown,Cherbourg,n' b'1,female,4.0,1,1,16.7,Third,G,Southampton,n'
def survived(line):
return tf.not_equal(tf.strings.substr(line, 0, 1), "0")
survivors = titanic_lines.skip(1).filter(survived)
for line in survivors.take(10):
print(line.numpy())
b'1,female,38.0,1,0,71.2833,First,C,Cherbourg,n' b'1,female,26.0,0,0,7.925,Third,unknown,Southampton,y' b'1,female,35.0,1,0,53.1,First,C,Southampton,n' b'1,female,27.0,0,2,11.1333,Third,unknown,Southampton,n' b'1,female,14.0,1,0,30.0708,Second,unknown,Cherbourg,n' b'1,female,4.0,1,1,16.7,Third,G,Southampton,n' b'1,male,28.0,0,0,13.0,Second,unknown,Southampton,y' b'1,female,28.0,0,0,7.225,Third,unknown,Cherbourg,y' b'1,male,28.0,0,0,35.5,First,A,Southampton,y' b'1,female,38.0,1,5,31.3875,Third,unknown,Southampton,n'
CSVデータを消費
参照してください。 CSVファイルをロードし、 ロードパンダデータフレームの詳細例について。
CSVファイル形式はプレーンテキストで表形式のデータを格納するための一般的なフォーマットです。
例えば：
titanic_file = tf.keras.utils.get_file("train.csv", "https://storage.googleapis.com/tf-datasets/titanic/train.csv")
df = pd.read_csv(titanic_file, index_col=None)
df.head()
メモリ内のデータのフィットが同じであればDataset.from_tensor_slices方法は、このデータを簡単にインポートすることができ、辞書上で動作します：
titanic_slices = tf.data.Dataset.from_tensor_slices(dict(df))
for feature_batch in titanic_slices.take(1):
for key, value in feature_batch.items():
print(" {!r:20s}: {}".format(key, value))
'survived' : 0 'sex' : b'male' 'age' : 22.0 'n_siblings_spouses': 1 'parch' : 0 'fare' : 7.25 'class' : b'Third' 'deck' : b'unknown' 'embark_town' : b'Southampton' 'alone' : b'n'
よりスケーラブルなアプローチが必要に応じて、ディスクからロードすることです。
tf.dataモジュールを遵守一つ以上のCSVファイルから抽出レコードにする方法を提供RFC 4180 。
experimental.make_csv_dataset機能は、CSVファイルのセットを読み取るための高レベルのインタフェースです。これは、利用状況を簡単に作るために、バッチ処理やシャッフルのように、列の型推論や他の多くの機能をサポートしています。
titanic_batches = tf.data.experimental.make_csv_dataset(
titanic_file, batch_size=4,
label_name="survived")
for feature_batch, label_batch in titanic_batches.take(1):
print("'survived': {}".format(label_batch))
print("features:")
for key, value in feature_batch.items():
print(" {!r:20s}: {}".format(key, value))
'survived': [0 1 0 0] features: 'sex' : [b'male' b'female' b'male' b'male'] 'age' : [28. 42. 43. 21.] 'n_siblings_spouses': [0 0 0 0] 'parch' : [0 0 0 0] 'fare' : [47.1 13. 8.05 8.6625] 'class' : [b'First' b'Second' b'Third' b'Third'] 'deck' : [b'unknown' b'unknown' b'unknown' b'unknown'] 'embark_town' : [b'Southampton' b'Southampton' b'Southampton' b'Southampton'] 'alone' : [b'y' b'y' b'y' b'y']
あなたは使用することができますselect_columnsあなただけの列のサブセットが必要な場合は、引数を。
titanic_batches = tf.data.experimental.make_csv_dataset(
titanic_file, batch_size=4,
label_name="survived", select_columns=['class', 'fare', 'survived'])
for feature_batch, label_batch in titanic_batches.take(1):
print("'survived': {}".format(label_batch))
for key, value in feature_batch.items():
print(" {!r:20s}: {}".format(key, value))
'survived': [1 0 1 1] 'fare' : [24.15 0. 13.8583 53.1 ] 'class' : [b'Third' b'Second' b'Second' b'First']
低レベルもありますexperimental.CsvDatasetより細かい制御を提供するクラスが。これは、列の型推論をサポートしていません。代わりに、各列のタイプを指定する必要があります。
titanic_types = [tf.int32, tf.string, tf.float32, tf.int32, tf.int32, tf.float32, tf.string, tf.string, tf.string, tf.string]
dataset = tf.data.experimental.CsvDataset(titanic_file, titanic_types , header=True)
for line in dataset.take(10):
print([item.numpy() for item in line])
[0, b'male', 22.0, 1, 0, 7.25, b'Third', b'unknown', b'Southampton', b'n'] [1, b'female', 38.0, 1, 0, 71.2833, b'First', b'C', b'Cherbourg', b'n'] [1, b'female', 26.0, 0, 0, 7.925, b'Third', b'unknown', b'Southampton', b'y'] [1, b'female', 35.0, 1, 0, 53.1, b'First', b'C', b'Southampton', b'n'] [0, b'male', 28.0, 0, 0, 8.4583, b'Third', b'unknown', b'Queenstown', b'y'] [0, b'male', 2.0, 3, 1, 21.075, b'Third', b'unknown', b'Southampton', b'n'] [1, b'female', 27.0, 0, 2, 11.1333, b'Third', b'unknown', b'Southampton', b'n'] [1, b'female', 14.0, 1, 0, 30.0708, b'Second', b'unknown', b'Cherbourg', b'n'] [1, b'female', 4.0, 1, 1, 16.7, b'Third', b'G', b'Southampton', b'n'] [0, b'male', 20.0, 0, 0, 8.05, b'Third', b'unknown', b'Southampton', b'y']
一部の列が空の場合、この低レベルのインタフェースを使用すると、デフォルト値の代わりに、列の型を提供することができます。
%%writefile missing.csv
1,2,3,4
,2,3,4
1,,3,4
1,2,,4
1,2,3,
,,,
Writing missing.csv
# Creates a dataset that reads all of the records from two CSV files, each with
# four float columns which may have missing values.
record_defaults = [999,999,999,999]
dataset = tf.data.experimental.CsvDataset("missing.csv", record_defaults)
dataset = dataset.map(lambda *items: tf.stack(items))
dataset
<MapDataset shapes: (4,), types: tf.int32>
for line in dataset:
print(line.numpy())
[1 2 3 4] [999 2 3 4] [ 1 999 3 4] [ 1 2 999 4] [ 1 2 3 999] [999 999 999 999]
デフォルトによって、 CsvDatasetファイルは無視されるべきヘッダ行で始まる場合、またはいくつかの列が入力に必要とされていない場合、例えば、望ましくないかもしれないファイルのすべての行のすべての列が得られます。これらのラインおよびフィールドを用いて除去することができheaderとselect_colsそれぞれ引数。
# Creates a dataset that reads all of the records from two CSV files with
# headers, extracting float data from columns 2 and 4.
record_defaults = [999, 999] # Only provide defaults for the selected columns
dataset = tf.data.experimental.CsvDataset("missing.csv", record_defaults, select_cols=[1, 3])
dataset = dataset.map(lambda *items: tf.stack(items))
dataset
<MapDataset shapes: (2,), types: tf.int32>
for line in dataset:
print(line.numpy())
[2 4] [2 4] [999 4] [2 4] [ 2 999] [999 999]
ファイルのセットを消費
各ファイルは一例であり、ファイルのセットとして配布多くのデータセットがあります。
flowers_root = tf.keras.utils.get_file(
'flower_photos',
'https://storage.googleapis.com/download.tensorflow.org/example_images/flower_photos.tgz',
untar=True)
flowers_root = pathlib.Path(flowers_root)
ルートディレクトリには、各クラスのディレクトリが含まれています。
for item in flowers_root.glob("*"):
print(item.name)
sunflowers daisy LICENSE.txt roses tulips dandelion
各クラスのディレクトリ内のファイルがその例であります：
list_ds = tf.data.Dataset.list_files(str(flowers_root/'*/*'))
for f in list_ds.take(5):
print(f.numpy())
b'/home/kbuilder/.keras/datasets/flower_photos/dandelion/7243478942_30bf542a2d_m.jpg' b'/home/kbuilder/.keras/datasets/flower_photos/tulips/4525067924_177ea3bfb4.jpg' b'/home/kbuilder/.keras/datasets/flower_photos/tulips/7002703410_3e97b29da5_n.jpg' b'/home/kbuilder/.keras/datasets/flower_photos/daisy/6299910262_336309ffa5_n.jpg' b'/home/kbuilder/.keras/datasets/flower_photos/sunflowers/6140661443_bb48344226.jpg'
使用してデータを読み取るtf.io.read_file関数と戻り、経路からラベルを抽出する(image, label)対。
def process_path(file_path):
label = tf.strings.split(file_path, os.sep)[-2]
return tf.io.read_file(file_path), label
labeled_ds = list_ds.map(process_path)
for image_raw, label_text in labeled_ds.take(1):
print(repr(image_raw.numpy()[:100]))
print()
print(label_text.numpy())
b'\xff\xd8\xff\xe0\x00\x10JFIF\x00\x01\x01\x01\x00H\x00H\x00\x00\xff\xe2\x0cXICC_PROFILE\x00\x01\x01\x00\x00\x0cHLino\x02\x10\x00\x00mntrRGB XYZ \x07\xce\x00\x02\x00\t\x00\x06\x001\x00\x00acspMSFT\x00\x00\x00\x00IEC sRGB\x00\x00\x00\x00\x00\x00' b'tulips'
データセットの要素をバッチ処理
単純なバッチ処理
スタックバッチ処理の最も単純な形態n単一の要素へのデータセットの連続した要素。 Dataset.batch()変換が正確にこれは、同じ制約をんtf.stack()演算子、要素の各コンポーネントに適用される：すなわち、各成分iについて、全ての要素がまったく同じ形状のテンソルを有していなければなりません。
inc_dataset = tf.data.Dataset.range(100)
dec_dataset = tf.data.Dataset.range(0, -100, -1)
dataset = tf.data.Dataset.zip((inc_dataset, dec_dataset))
batched_dataset = dataset.batch(4)
for batch in batched_dataset.take(4):
print([arr.numpy() for arr in batch])
[array([0, 1, 2, 3]), array([ 0, -1, -2, -3])] [array([4, 5, 6, 7]), array([-4, -5, -6, -7])] [array([ 8, 9, 10, 11]), array([ -8, -9, -10, -11])] [array([12, 13, 14, 15]), array([-12, -13, -14, -15])]
一方でtf.data試みは、形状情報を伝播するために、デフォルトの設定Dataset.batch未知のバッチサイズでの結果は、最後のバッチが満杯ではないかもしれないので。注意None形状で秒：
batched_dataset
<BatchDataset shapes: ((None,), (None,)), types: (tf.int64, tf.int64)>
使用drop_remainderその最後のバッチを無視し、完全な形の伝播を取得するには、引数を：
batched_dataset = dataset.batch(7, drop_remainder=True)
batched_dataset
<BatchDataset shapes: ((7,), (7,)), types: (tf.int64, tf.int64)>
パディングとバッチ処理テンソル
上記のレシピは、すべてが同じサイズを持っていることをテンソルのために動作します。しかし、様々な大きさを持つことができ、入力データと多くのモデル（例えばシーケンスモデル）作業（例えば系列長さの異なります）。このような場合に対処するために、 Dataset.padded_batch変換は、彼らが埋められている1つ以上のディメンションを指定することにより、異なる形状のバッチテンソルにできます。
dataset = tf.data.Dataset.range(100)
dataset = dataset.map(lambda x: tf.fill([tf.cast(x, tf.int32)], x))
dataset = dataset.padded_batch(4, padded_shapes=(None,))
for batch in dataset.take(2):
print(batch.numpy())
print()
[[0 0 0] [1 0 0] [2 2 0] [3 3 3]] [[4 4 4 4 0 0 0] [5 5 5 5 5 0 0] [6 6 6 6 6 6 0] [7 7 7 7 7 7 7]]
Dataset.padded_batch変換は、各コンポーネントの各次元の異なるパディングを設定することができ、それは、可変長（によって示されるかもしれNone 、上記の例の場合）または一定の長さ。パディング値、0にデフォルトを上書きすることも可能です。
トレーニングのワークフロー
複数のエポックを処理
tf.data APIの提供、同じデータの複数のエポックを処理するには、2つの主要な方法。
複数のエポックでデータセットを反復処理する最も簡単な方法は、使用することであるDataset.repeat()変換を。まず、チタンデータのデータセットを作成します。
titanic_file = tf.keras.utils.get_file("train.csv", "https://storage.googleapis.com/tf-datasets/titanic/train.csv")
titanic_lines = tf.data.TextLineDataset(titanic_file)
def plot_batch_sizes(ds):
batch_sizes = [batch.shape[0] for batch in ds]
plt.bar(range(len(batch_sizes)), batch_sizes)
plt.xlabel('Batch number')
plt.ylabel('Batch size')
適用Dataset.repeat()引数なしで変換すると、無期限の入力を繰り返します。
Dataset.repeat変換は、1つのエポックの終わりと次のエポックの始まりを知らせることなく、その引数を連結します。このためDataset.batch後に適用Dataset.repeatストラドルエポック境界というバッチを得られます：
titanic_batches = titanic_lines.repeat(3).batch(128)
plot_batch_sizes(titanic_batches)
あなたは明確なエポック分離が必要な場合は、入れDataset.batch繰り返し前に：
titanic_batches = titanic_lines.batch(128).repeat(3)
plot_batch_sizes(titanic_batches)
あなたは、各エポックの終わりに（例えば統計情報を収集するために）カスタム演算を実行したい場合、それは各エポックのデータセットの反復を再起動するのが最も簡単です。
epochs = 3
dataset = titanic_lines.batch(128)
for epoch in range(epochs):
for batch in dataset:
print(batch.shape)
print("End of epoch: ", epoch)
(128,) (128,) (128,) (128,) (116,) End of epoch: 0 (128,) (128,) (128,) (128,) (116,) End of epoch: 1 (128,) (128,) (128,) (128,) (116,) End of epoch: 2
ランダムに入力されたデータをシャッフル
Dataset.shuffle()変換は、固定サイズのバッファを維持し、そのバッファからランダムに一様に次の要素を選択します。
あなたが効果を見ることができるように、データセットにインデックスを追加します。
lines = tf.data.TextLineDataset(titanic_file)
counter = tf.data.experimental.Counter()
dataset = tf.data.Dataset.zip((counter, lines))
dataset = dataset.shuffle(buffer_size=100)
dataset = dataset.batch(20)
dataset
<BatchDataset shapes: ((None,), (None,)), types: (tf.int64, tf.string)>
以来buffer_size 100であり、そしてバッチサイズは20であり、最初のバッチは、120以上のインデックスを持つ要素が含まれていません。
n,line_batch = next(iter(dataset))
print(n.numpy())
[ 63 48 101 12 103 52 6 39 4 9 93 91 5 86 79 64 95 33 102 50]
同様にDataset.batchへの相対的な順序Dataset.repeat事項。
Dataset.shuffleシャッフルバッファが空になるまでエポックの終了を通知しません。次へ移動する前に、1つのエポックのすべての要素が表示されます繰り返しの前に置かシャッフルので：
dataset = tf.data.Dataset.zip((counter, lines))
shuffled = dataset.shuffle(buffer_size=100).batch(10).repeat(2)
print("Here are the item ID's near the epoch boundary:\n")
for n, line_batch in shuffled.skip(60).take(5):
print(n.numpy())
Here are the item ID's near the epoch boundary: [613 609 624 553 608 583 493 617 611 610] [217 508 579 601 319 616 606 549 618 623] [416 567 404 622 283 458 503 602] [ 87 68 56 16 6 62 1 89 58 106] [98 80 43 10 67 44 19 34 13 57]
shuffle_repeat = [n.numpy().mean() for n, line_batch in shuffled]
plt.plot(shuffle_repeat, label="shuffle().repeat()")
plt.ylabel("Mean item ID")
plt.legend()
<matplotlib.legend.Legend at 0x7fe0a00a1d68>
しかし、シャッフル前の繰り返しは、一緒にエポック境界をミックス：
dataset = tf.data.Dataset.zip((counter, lines))
shuffled = dataset.repeat(2).shuffle(buffer_size=100).batch(10)
print("Here are the item ID's near the epoch boundary:\n")
for n, line_batch in shuffled.skip(55).take(15):
print(n.numpy())
Here are the item ID's near the epoch boundary: [440 15 8 599 567 18 550 5 19 17] [ 12 501 571 473 466 21 531 596 580 555] [ 3 573 38 563 25 416 595 29 46 602] [485 566 561 16 331 615 386 28 609 41] [611 622 575 10 589 61 598 527 52 35] [ 55 597 42 23 13 47 11 505 68 582] [612 613 75 43 7 392 74 452 82 509] [ 9 44 62 491 71 343 51 590 60 98] [ 6 95 619 86 625 537 617 85 465 0] [ 88 27 92 101 109 111 104 24 36 113] [103 118 79 53 70 40 121 100 65 33] [562 588 124 125 64 84 83 67 610 130] [ 4 142 131 90 518 129 143 112 2 551] [377 91 140 76 50 48 526 553 156 591] [105 128 69 114 93 520 154 56 145 115]
repeat_shuffle = [n.numpy().mean() for n, line_batch in shuffled]
plt.plot(shuffle_repeat, label="shuffle().repeat()")
plt.plot(repeat_shuffle, label="repeat().shuffle()")
plt.ylabel("Mean item ID")
plt.legend()
<matplotlib.legend.Legend at 0x7fe0582fbb70>
前処理データ
Dataset.map(f)変換は、所定の関数を適用することにより、新しいデータセットを生成f入力データセットの各要素に。それは基づいているmap()関数型プログラミング言語では、一般的にリストに適用される機能（およびその他の構造）。関数fかかりtf.Tensor入力における単一の要素を表すオブジェクトを、そして返しtf.Tensorそれが新しいデータセット内の単一の要素を表現するオブジェクト。その実装は別のものに一つの要素を変換するために、標準TensorFlow操作を使用しています。
このセクションでは、使用方法の一般的な例について説明しDataset.map()
画像データを復号し、それをサイズ変更
実世界の画像データに対して、ニューラルネットワークを訓練するとき、彼らが固定サイズにバッチ処理することができるように、多くの場合、一般的なサイズに異なるサイズの画像を変換する必要があります。
花のファイル名のデータセットを再構築します。
list_ds = tf.data.Dataset.list_files(str(flowers_root/'*/*'))
データセットの要素を操作する関数を記述します。
# Reads an image from a file, decodes it into a dense tensor, and resizes it
# to a fixed shape.
def parse_image(filename):
parts = tf.strings.split(filename, os.sep)
label = parts[-2]
image = tf.io.read_file(filename)
image = tf.image.decode_jpeg(image)
image = tf.image.convert_image_dtype(image, tf.float32)
image = tf.image.resize(image, [128, 128])
return image, label
それが動作することをテストします。
file_path = next(iter(list_ds))
image, label = parse_image(file_path)
def show(image, label):
plt.figure()
plt.imshow(image)
plt.title(label.numpy().decode('utf-8'))
plt.axis('off')
show(image, label)
データセットの上にマッピングします。
images_ds = list_ds.map(parse_image)
for image, label in images_ds.take(2):
show(image, label)
任意のPythonロジックを適用します
パフォーマンス上の理由から、可能な限りあなたのデータを前処理に使用TensorFlow操作をするために。しかし、あなたの入力データを解析する際に、外部のPythonライブラリを呼び出すことが便利な場合があります。あなたは使用することができますtf.py_function()での動作をDataset.map()変換。
あなたはランダムな回転を適用する場合たとえば、 tf.imageモジュールのみを持っているtf.image.rot90画像増大のために非常に有用ではありません。
実証するためにtf.py_function 、使用してみてくださいscipy.ndimage.rotate代わりに機能を：
import scipy.ndimage as ndimage
def random_rotate_image(image):
image = ndimage.rotate(image, np.random.uniform(-30, 30), reshape=False)
return image
image, label = next(iter(images_ds))
image = random_rotate_image(image)
show(image, label)
Clipping input data to the valid range for imshow with RGB data ([0..1] for floats or [0..255] for integers).
で、この機能を使用するにはDataset.map同じ警告を持つように適用Dataset.from_generator 、あなたが関数を適用する場合、リターン形状や種類を記述する必要があります。
def tf_random_rotate_image(image, label):
im_shape = image.shape
[image,] = tf.py_function(random_rotate_image, [image], [tf.float32])
image.set_shape(im_shape)
return image, label
rot_ds = images_ds.map(tf_random_rotate_image)
for image, label in rot_ds.take(2):
show(image, label)
Clipping input data to the valid range for imshow with RGB data ([0..1] for floats or [0..255] for integers). Clipping input data to the valid range for imshow with RGB data ([0..1] for floats or [0..255] for integers).
解析tf.Exampleプロトコルバッファメッセージ
多くの入力パイプラインは、抽出tf.train.Example TFRecord形式からプロトコルバッファメッセージを。各tf.train.Exampleレコードは1つ以上の「機能」を含んでおり、入力されたパイプラインは、一般的テンソルにこれらの機能を変換します。
fsns_test_file = tf.keras.utils.get_file("fsns.tfrec", "https://storage.googleapis.com/download.tensorflow.org/data/fsns-20160927/testdata/fsns-00000-of-00001")
dataset = tf.data.TFRecordDataset(filenames = [fsns_test_file])
dataset
<TFRecordDatasetV2 shapes: (), types: tf.string>
あなたはで動作することができますtf.train.Exampleのプロト外tf.data.Datasetデータを理解するために：
raw_example = next(iter(dataset))
parsed = tf.train.Example.FromString(raw_example.numpy())
feature = parsed.features.feature
raw_img = feature['image/encoded'].bytes_list.value[0]
img = tf.image.decode_png(raw_img)
plt.imshow(img)
plt.axis('off')
_ = plt.title(feature["image/text"].bytes_list.value[0])
raw_example = next(iter(dataset))
def tf_parse(eg):
example = tf.io.parse_example(
eg[tf.newaxis], {
'image/encoded': tf.io.FixedLenFeature(shape=(), dtype=tf.string),
'image/text': tf.io.FixedLenFeature(shape=(), dtype=tf.string)
})
return example['image/encoded'][0], example['image/text'][0]
img, txt = tf_parse(raw_example)
print(txt.numpy())
print(repr(img.numpy()[:20]), "...")
b'Rue Perreyon' b'\x89PNG\r\n\x1a\n\x00\x00\x00\rIHDR\x00\x00\x02X' ...
decoded = dataset.map(tf_parse)
decoded
<MapDataset shapes: ((), ()), types: (tf.string, tf.string)>
image_batch, text_batch = next(iter(decoded.batch(10)))
image_batch.shape
TensorShape([10])
時系列ウィンドウ
終了時系列の例に終わりを参照： 時系列予測を 。
時間はそのまま軸に時系列データは、多くの場合、組織化されています。
簡単な使用Dataset.range実証します：
range_ds = tf.data.Dataset.range(100000)
一般的に、この種のデータに基づくモデルは、連続したタイムスライスをお勧めします。
最も簡単な方法は、データのバッチに次のようになります。
使用してbatch
batches = range_ds.batch(10, drop_remainder=True)
for batch in batches.take(5):
print(batch.numpy())
[0 1 2 3 4 5 6 7 8 9] [10 11 12 13 14 15 16 17 18 19] [20 21 22 23 24 25 26 27 28 29] [30 31 32 33 34 35 36 37 38 39] [40 41 42 43 44 45 46 47 48 49]
または将来に密な予測一歩を作るために、あなたは、互いに対して一段の機能とラベルをシフトするかもしれません。
def dense_1_step(batch):
# Shift features and labels one step relative to each other.
return batch[:-1], batch[1:]
predict_dense_1_step = batches.map(dense_1_step)
for features, label in predict_dense_1_step.take(3):
print(features.numpy(), " => ", label.numpy())
[0 1 2 3 4 5 6 7 8] => [1 2 3 4 5 6 7 8 9] [10 11 12 13 14 15 16 17 18] => [11 12 13 14 15 16 17 18 19] [20 21 22 23 24 25 26 27 28] => [21 22 23 24 25 26 27 28 29]
代わりのウィンドウ全体を予測するために、あなたは二つの部分にバッチを分割することができます固定オフセット：
batches = range_ds.batch(15, drop_remainder=True)
def label_next_5_steps(batch):
return (batch[:-5], # Take the first 5 steps
batch[-5:]) # take the remainder
predict_5_steps = batches.map(label_next_5_steps)
for features, label in predict_5_steps.take(3):
print(features.numpy(), " => ", label.numpy())
[0 1 2 3 4 5 6 7 8 9] => [10 11 12 13 14] [15 16 17 18 19 20 21 22 23 24] => [25 26 27 28 29] [30 31 32 33 34 35 36 37 38 39] => [40 41 42 43 44]
1回分の特徴や他のラベルの間にいくつかの重複を許可するには、使用Dataset.zip ：
feature_length = 10
label_length = 5
features = range_ds.batch(feature_length, drop_remainder=True)
labels = range_ds.batch(feature_length).skip(1).map(lambda labels: labels[:-5])
predict_5_steps = tf.data.Dataset.zip((features, labels))
for features, label in predict_5_steps.take(3):
print(features.numpy(), " => ", label.numpy())
[0 1 2 3 4 5 6 7 8 9] => [10 11 12 13 14] [10 11 12 13 14 15 16 17 18 19] => [20 21 22 23 24] [20 21 22 23 24 25 26 27 28 29] => [30 31 32 33 34]
使用してwindow
使用している間Dataset.batch作品を、あなたはより細かい制御を必要とするかもしれない状況があります。 Dataset.window方法はあなたに完全に制御できますが、いくつか注意が必要です。それが返すDatasetのDatasets 。参照データセットの構造を詳細については。
window_size = 5
windows = range_ds.window(window_size, shift=1)
for sub_ds in windows.take(5):
print(sub_ds)
<_VariantDataset shapes: (), types: tf.int64> <_VariantDataset shapes: (), types: tf.int64> <_VariantDataset shapes: (), types: tf.int64> <_VariantDataset shapes: (), types: tf.int64> <_VariantDataset shapes: (), types: tf.int64>
Dataset.flat_map方法は、データセットのデータセットを取り、1つのデータセットにそれを平らにすることができます：
for x in windows.flat_map(lambda x: x).take(30):
print(x.numpy(), end=' ')
WARNING:tensorflow:AutoGraph could not transform <function <lambda> at 0x7fe0582dbbf8> and will run it as-is. Cause: could not parse the source code: for x in windows.flat_map(lambda x: x).take(30): This error may be avoided by creating the lambda in a standalone statement. To silence this warning, decorate the function with @tf.autograph.experimental.do_not_convert WARNING: AutoGraph could not transform <function <lambda> at 0x7fe0582dbbf8> and will run it as-is. Cause: could not parse the source code: for x in windows.flat_map(lambda x: x).take(30): This error may be avoided by creating the lambda in a standalone statement. To silence this warning, decorate the function with @tf.autograph.experimental.do_not_convert 0 1 2 3 4 1 2 3 4 5 2 3 4 5 6 3 4 5 6 7 4 5 6 7 8 5 6 7 8 9
ほぼすべてのケースでは、あなたがしたいと思うでしょう.batch最初のデータセットを：
def sub_to_batch(sub):
return sub.batch(window_size, drop_remainder=True)
for example in windows.flat_map(sub_to_batch).take(5):
print(example.numpy())
[0 1 2 3 4] [1 2 3 4 5] [2 3 4 5 6] [3 4 5 6 7] [4 5 6 7 8]
さて、あなたは見ることができますshift引数を制御どのくらいの各ウィンドウの移動の上に。
このまとめを置くあなたはこの関数を書くかもしれません。
def make_window_dataset(ds, window_size=5, shift=1, stride=1):
windows = ds.window(window_size, shift=shift, stride=stride)
def sub_to_batch(sub):
return sub.batch(window_size, drop_remainder=True)
windows = windows.flat_map(sub_to_batch)
return windows
ds = make_window_dataset(range_ds, window_size=10, shift = 5, stride=3)
for example in ds.take(10):
print(example.numpy())
[ 0 3 6 9 12 15 18 21 24 27] [ 5 8 11 14 17 20 23 26 29 32] [10 13 16 19 22 25 28 31 34 37] [15 18 21 24 27 30 33 36 39 42] [20 23 26 29 32 35 38 41 44 47] [25 28 31 34 37 40 43 46 49 52] [30 33 36 39 42 45 48 51 54 57] [35 38 41 44 47 50 53 56 59 62] [40 43 46 49 52 55 58 61 64 67] [45 48 51 54 57 60 63 66 69 72]
そして、それは以前のように、ラベルを抽出するのは簡単です：
dense_labels_ds = ds.map(dense_1_step)
for inputs,labels in dense_labels_ds.take(3):
print(inputs.numpy(), "=>", labels.numpy())
[ 0 3 6 9 12 15 18 21 24] => [ 3 6 9 12 15 18 21 24 27] [ 5 8 11 14 17 20 23 26 29] => [ 8 11 14 17 20 23 26 29 32] [10 13 16 19 22 25 28 31 34] => [13 16 19 22 25 28 31 34 37]
リサンプリング
非常にクラス不均衡であるデータセットで作業するときは、データセットをリサンプリングすることができます。 tf.dataこれを行うには二つの方法が用意されています。クレジットカード詐欺のデータセットは、この種の問題の良い例です。
zip_path = tf.keras.utils.get_file(
origin='https://storage.googleapis.com/download.tensorflow.org/data/creditcard.zip',
fname='creditcard.zip',
extract=True)
csv_path = zip_path.replace('.zip', '.csv')
Downloading data from https://storage.googleapis.com/download.tensorflow.org/data/creditcard.zip 69156864/69155632 [==============================] - 10s 0us/step
creditcard_ds = tf.data.experimental.make_csv_dataset(
csv_path, batch_size=1024, label_name="Class",
# Set the column types: 30 floats and an int.
column_defaults=[float()]*30+[int()])
さて、クラスの分布を確認し、それが非常に偏っています。
def count(counts, batch):
features, labels = batch
class_1 = labels == 1
class_1 = tf.cast(class_1, tf.int32)
class_0 = labels == 0
class_0 = tf.cast(class_0, tf.int32)
counts['class_0'] += tf.reduce_sum(class_0)
counts['class_1'] += tf.reduce_sum(class_1)
return counts
counts = creditcard_ds.take(10).reduce(
initial_state={'class_0': 0, 'class_1': 0},
reduce_func = count)
counts = np.array([counts['class_0'].numpy(),
counts['class_1'].numpy()]).astype(np.float32)
fractions = counts/counts.sum()
print(fractions)
[0.996 0.004]
不均衡なデータセットで訓練への一般的なアプローチは、それのバランスをとることです。 tf.dataこのワークフローを有効にするいくつかのメソッドが含まれています。
データセットのサンプリング
データセットをリサンプリングするための一つのアプローチは、使用することですsample_from_datasets 。あなたは別の持っているとき、これは、より適用されdata.Dataset各クラスのを。
ここでは、単にクレジットカード詐欺のデータからそれらを生成するためにフィルタを使用します。
negative_ds = (
creditcard_ds
.unbatch()
.filter(lambda features, label: label==0)
.repeat())
positive_ds = (
creditcard_ds
.unbatch()
.filter(lambda features, label: label==1)
.repeat())
WARNING:tensorflow:AutoGraph could not transform <function <lambda> at 0x7fe0a01fd1e0> and will run it as-is.
Cause: could not parse the source code:
.filter(lambda features, label: label==0)
This error may be avoided by creating the lambda in a standalone statement.
To silence this warning, decorate the function with @tf.autograph.experimental.do_not_convert
WARNING: AutoGraph could not transform <function <lambda> at 0x7fe0a01fd1e0> and will run it as-is.
Cause: could not parse the source code:
.filter(lambda features, label: label==0)
This error may be avoided by creating the lambda in a standalone statement.
To silence this warning, decorate the function with @tf.autograph.experimental.do_not_convert
WARNING:tensorflow:AutoGraph could not transform <function <lambda> at 0x7fe058159620> and will run it as-is.
Cause: could not parse the source code:
.filter(lambda features, label: label==1)
This error may be avoided by creating the lambda in a standalone statement.
To silence this warning, decorate the function with @tf.autograph.experimental.do_not_convert
WARNING: AutoGraph could not transform <function <lambda> at 0x7fe058159620> and will run it as-is.
Cause: could not parse the source code:
.filter(lambda features, label: label==1)
This error may be avoided by creating the lambda in a standalone statement.
To silence this warning, decorate the function with @tf.autograph.experimental.do_not_convert
for features, label in positive_ds.batch(10).take(1):
print(label.numpy())
[1 1 1 1 1 1 1 1 1 1]
使用するにtf.data.experimental.sample_from_datasets 、データセット、およびそれぞれの重みを渡します。
balanced_ds = tf.data.experimental.sample_from_datasets(
[negative_ds, positive_ds], [0.5, 0.5]).batch(10)
今、データセットは50/50の確率で各クラスの例を生成します。
for features, labels in balanced_ds.take(10):
print(labels.numpy())
[0 0 0 1 0 0 1 1 0 0] [1 1 0 0 1 1 0 0 0 1] [1 1 0 0 0 0 0 0 1 1] [1 0 0 1 1 0 0 0 1 0] [1 1 0 0 0 1 1 0 0 1] [0 0 1 1 1 0 0 1 1 0] [0 0 0 1 0 0 0 1 1 1] [1 1 0 1 0 0 1 0 1 1] [0 1 0 0 1 1 0 0 0 1] [0 1 0 0 1 0 0 1 1 0]
拒絶リサンプリング
上記の問題の一つexperimental.sample_from_datasetsアプローチは、それが別の必要があることですtf.data.Datasetクラスあたりを。使用Dataset.filter動作しますが、すべてのデータの結果が二回ロードされています。
data.experimental.rejection_resample関数は一度だけそれをロードしている間、それをリバランスするためにデータセットに適用することができます。要素がバランスを達成するために、データセットから削除されます。
data.experimental.rejection_resampleかかるclass_func引数を。このclass_func各データセット要素に印加され、実施例は分散の目的のために属するクラスを決定するために使用されます。
要素creditcard_ds 、すでにある(features, label)のペア。だから、 class_funcちょうどそれらのラベルを返す必要があります：
def class_func(features, label):
return label
リサンプラはまた、標的分布を必要とし、必要に応じて初期分布推定：
resampler = tf.data.experimental.rejection_resample(
class_func, target_dist=[0.5, 0.5], initial_dist=fractions)
個々の例でリサンプラ取引は、あなたがしなければならないunbatchリサンプラを適用する前に、データセットを：
resample_ds = creditcard_ds.unbatch().apply(resampler).batch(10)
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/data/experimental/ops/resampling.py:156: Print (from tensorflow.python.ops.logging_ops) is deprecated and will be removed after 2018-08-20. Instructions for updating: Use tf.print instead of tf.Print. Note that tf.print returns a no-output operator that directly prints the output. Outside of defuns or eager mode, this operator will not be executed unless it is directly specified in session.run or used as a control dependency for other operators. This is only a concern in graph mode. Below is an example of how to ensure tf.print executes in graph mode:
リサンプラ戻る作成(class, example)の出力から、ペアをclass_func 。この場合、 exampleすでにでした(feature, label)のペアなので、使用mapラベルの余分なコピーを削除するには：
balanced_ds = resample_ds.map(lambda extra_label, features_and_label: features_and_label)
今、データセットは50/50の確率で各クラスの例を生成します。
for features, labels in balanced_ds.take(10):
print(labels.numpy())
[1 0 1 1 1 1 0 1 1 1] [0 0 1 1 1 0 1 0 1 1] [1 0 0 1 0 0 0 0 0 1] [1 1 1 1 1 1 0 1 1 1] [1 1 0 1 0 0 0 0 1 0] [1 0 0 0 1 0 1 0 1 0] [0 0 0 0 0 0 1 0 0 0] [0 0 0 1 1 0 0 1 0 1] [0 0 1 1 1 1 0 0 1 1] [0 0 1 1 0 1 0 1 1 0]
イテレータチェックポイント
Tensorflowサポートチェックポイントを取っているので、その進捗状況のほとんどを回復するために、最新のチェックポイントを復元することができたときにあなたのトレーニングのプロセスが再起動していること。モデル変数をチェックポイントに加えて、あなたはまた、データセットのイテレータの進捗状況をチェックポイントすることができます。あなたが大規模なデータセットを持っており、再起動のたびに最初からデータセットを開始したくない場合に便利である可能性があります。反復子チェックポイントのような変換ので、大きくてもよいことに注意してくださいshuffle及びprefetchイテレータ内の緩衝要素を必要とします。
チェックポイントであなたのイテレータを含めるには、へのイテレータを渡しtf.train.Checkpointコンストラクタ。
range_ds = tf.data.Dataset.range(20)
iterator = iter(range_ds)
ckpt = tf.train.Checkpoint(step=tf.Variable(0), iterator=iterator)
manager = tf.train.CheckpointManager(ckpt, '/tmp/my_ckpt', max_to_keep=3)
print([next(iterator).numpy() for _ in range(5)])
save_path = manager.save()
print([next(iterator).numpy() for _ in range(5)])
ckpt.restore(manager.latest_checkpoint)
print([next(iterator).numpy() for _ in range(5)])
[0, 1, 2, 3, 4] [5, 6, 7, 8, 9] [5, 6, 7, 8, 9]
高レベルAPIを使用します
tf.keras
tf.keras APIは、機械学習モデルを作成し、実行の多くの側面を簡素化します。その.fit()と.evaluate()と.predict() APIは、入力としてデータセットをサポートしています。ここでは簡単のデータセットとモデルのセットアップは次のとおりです。
train, test = tf.keras.datasets.fashion_mnist.load_data()
images, labels = train
images = images/255.0
labels = labels.astype(np.int32)
fmnist_train_ds = tf.data.Dataset.from_tensor_slices((images, labels))
fmnist_train_ds = fmnist_train_ds.shuffle(5000).batch(32)
model = tf.keras.Sequential([
tf.keras.layers.Flatten(),
tf.keras.layers.Dense(10)
])
model.compile(optimizer='adam',
loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
metrics=['accuracy'])
データセットを渡す(feature, label)のペアは、のために必要だことすべてでModel.fitとModel.evaluate ：
model.fit(fmnist_train_ds, epochs=2)
Epoch 1/2
WARNING:tensorflow:Layer flatten is casting an input tensor from dtype float64 to the layer's dtype of float32, which is new behavior in TensorFlow 2. The layer has dtype float32 because it's dtype defaults to floatx.
If you intended to run this layer in float32, you can safely ignore this warning. If in doubt, this warning is likely only an issue if you are porting a TensorFlow 1.X model to TensorFlow 2.
To change all layers to have dtype float64 by default, call `tf.keras.backend.set_floatx('float64')`. To change just this layer, pass dtype='float64' to the layer constructor. If you are the author of this layer, you can disable autocasting by passing autocast=False to the base Layer constructor.
1875/1875 [==============================] - 4s 2ms/step - loss: 0.6031 - accuracy: 0.7937
Epoch 2/2
1875/1875 [==============================] - 3s 2ms/step - loss: 0.4620 - accuracy: 0.8416
<tensorflow.python.keras.callbacks.History at 0x7fe13f9ed3c8>
あなたが呼び出すことにより、例えば、無限のデータセットを、渡すとDataset.repeat()あなただけのも渡す必要がsteps_per_epoch引数を：
model.fit(fmnist_train_ds.repeat(), epochs=2, steps_per_epoch=20)
Epoch 1/2 20/20 [==============================] - 0s 2ms/step - loss: 0.4050 - accuracy: 0.8672 Epoch 2/2 20/20 [==============================] - 0s 2ms/step - loss: 0.4077 - accuracy: 0.8703 <tensorflow.python.keras.callbacks.History at 0x7fe0ca13edd8>
評価のためには、評価ステップの数を渡すことができます。
loss, accuracy = model.evaluate(fmnist_train_ds)
print("Loss :", loss)
print("Accuracy :", accuracy)
1875/1875 [==============================] - 3s 2ms/step - loss: 0.4474 - accuracy: 0.8439 Loss : 0.4474281072616577 Accuracy : 0.843916654586792
長いデータセットについて、評価するステップ数を設定します。
loss, accuracy = model.evaluate(fmnist_train_ds.repeat(), steps=10)
print("Loss :", loss)
print("Accuracy :", accuracy)
10/10 [==============================] - 0s 2ms/step - loss: 0.5262 - accuracy: 0.8156 Loss : 0.5262183547019958 Accuracy : 0.815625011920929
ラベルは、呼び出すときに必要とされていないModel.predict 。
predict_ds = tf.data.Dataset.from_tensor_slices(images).batch(32)
result = model.predict(predict_ds, steps = 10)
print(result.shape)
(320, 10)
しかし、ラベルは、あなたがそれらを含むデータセットを渡す行う場合は無視されます。
result = model.predict(fmnist_train_ds, steps = 10)
print(result.shape)
(320, 10)
tf.estimator
使用するにはDataset中でinput_fnのtf.estimator.Estimator 、単に返すDatasetからinput_fnとフレームワークはあなたのためにその要素を消費するの世話をします。例えば：
import tensorflow_datasets as tfds
def train_input_fn():
titanic = tf.data.experimental.make_csv_dataset(
titanic_file, batch_size=32,
label_name="survived")
titanic_batches = (
titanic.cache().repeat().shuffle(500)
.prefetch(tf.data.experimental.AUTOTUNE))
return titanic_batches
embark = tf.feature_column.categorical_column_with_hash_bucket('embark_town', 32)
cls = tf.feature_column.categorical_column_with_vocabulary_list('class', ['First', 'Second', 'Third'])
age = tf.feature_column.numeric_column('age')
import tempfile
model_dir = tempfile.mkdtemp()
model = tf.estimator.LinearClassifier(
model_dir=model_dir,
feature_columns=[embark, cls, age],
n_classes=2
)
INFO:tensorflow:Using default config.
INFO:tensorflow:Using config: {'_model_dir': '/tmp/tmpefmfuc4o', '_tf_random_seed': None, '_save_summary_steps': 100, '_save_checkpoints_steps': None, '_save_checkpoints_secs': 600, '_session_config': allow_soft_placement: true
graph_options {
rewrite_options {
meta_optimizer_iterations: ONE
}
}
, '_keep_checkpoint_max': 5, '_keep_checkpoint_every_n_hours': 10000, '_log_step_count_steps': 100, '_train_distribute': None, '_device_fn': None, '_protocol': None, '_eval_distribute': None, '_experimental_distribute': None, '_experimental_max_worker_delay_secs': None, '_session_creation_timeout_secs': 7200, '_service': None, '_cluster_spec': ClusterSpec({}), '_task_type': 'worker', '_task_id': 0, '_global_id_in_cluster': 0, '_master': '', '_evaluation_master': '', '_is_chief': True, '_num_ps_replicas': 0, '_num_worker_replicas': 1}
model = model.train(input_fn=train_input_fn, steps=100)
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/ops/resource_variable_ops.py:1666: calling BaseResourceVariable.__init__ (from tensorflow.python.ops.resource_variable_ops) with constraint is deprecated and will be removed in a future version. Instructions for updating: If using Keras pass *_constraint arguments to layers. WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/training/training_util.py:236: Variable.initialized_value (from tensorflow.python.ops.variables) is deprecated and will be removed in a future version. Instructions for updating: Use Variable.read_value. Variables in 2.X are initialized automatically both in eager and graph (inside tf.defun) contexts. INFO:tensorflow:Calling model_fn. WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/feature_column/feature_column_v2.py:540: Layer.add_variable (from tensorflow.python.keras.engine.base_layer_v1) is deprecated and will be removed in a future version. Instructions for updating: Please use `layer.add_weight` method instead. WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/keras/optimizer_v2/ftrl.py:144: calling Constant.__init__ (from tensorflow.python.ops.init_ops) with dtype is deprecated and will be removed in a future version. Instructions for updating: Call initializer instance with the dtype argument instead of passing it to the constructor INFO:tensorflow:Done calling model_fn. INFO:tensorflow:Create CheckpointSaverHook. INFO:tensorflow:Graph was finalized. INFO:tensorflow:Running local_init_op. INFO:tensorflow:Done running local_init_op. INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 0... INFO:tensorflow:Saving checkpoints for 0 into /tmp/tmpefmfuc4o/model.ckpt. INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 0... INFO:tensorflow:loss = 0.6931472, step = 0 INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 100... INFO:tensorflow:Saving checkpoints for 100 into /tmp/tmpefmfuc4o/model.ckpt. INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 100... INFO:tensorflow:Loss for final step: 0.58668363.
result = model.evaluate(train_input_fn, steps=10)
for key, value in result.items():
print(key, ":", value)
INFO:tensorflow:Calling model_fn. INFO:tensorflow:Done calling model_fn. INFO:tensorflow:Starting evaluation at 2020-07-23T01:23:29Z INFO:tensorflow:Graph was finalized. INFO:tensorflow:Restoring parameters from /tmp/tmpefmfuc4o/model.ckpt-100 INFO:tensorflow:Running local_init_op. INFO:tensorflow:Done running local_init_op. INFO:tensorflow:Evaluation [1/10] INFO:tensorflow:Evaluation [2/10] INFO:tensorflow:Evaluation [3/10] INFO:tensorflow:Evaluation [4/10] INFO:tensorflow:Evaluation [5/10] INFO:tensorflow:Evaluation [6/10] INFO:tensorflow:Evaluation [7/10] INFO:tensorflow:Evaluation [8/10] INFO:tensorflow:Evaluation [9/10] INFO:tensorflow:Evaluation [10/10] INFO:tensorflow:Inference Time : 0.83507s INFO:tensorflow:Finished evaluation at 2020-07-23-01:23:30 INFO:tensorflow:Saving dict for global step 100: accuracy = 0.675, accuracy_baseline = 0.58125, auc = 0.71750116, auc_precision_recall = 0.6480325, average_loss = 0.64111984, global_step = 100, label/mean = 0.41875, loss = 0.64111984, precision = 0.85714287, prediction/mean = 0.30204886, recall = 0.26865673 INFO:tensorflow:Saving 'checkpoint_path' summary for global step 100: /tmp/tmpefmfuc4o/model.ckpt-100 accuracy : 0.675 accuracy_baseline : 0.58125 auc : 0.71750116 auc_precision_recall : 0.6480325 average_loss : 0.64111984 label/mean : 0.41875 loss : 0.64111984 precision : 0.85714287 prediction/mean : 0.30204886 recall : 0.26865673 global_step : 100
for pred in model.predict(train_input_fn):
for key, value in pred.items():
print(key, ":", value)
break
INFO:tensorflow:Calling model_fn. INFO:tensorflow:Done calling model_fn. INFO:tensorflow:Graph was finalized. INFO:tensorflow:Restoring parameters from /tmp/tmpefmfuc4o/model.ckpt-100 INFO:tensorflow:Running local_init_op. INFO:tensorflow:Done running local_init_op. logits : [-0.5965] logistic : [0.3551] probabilities : [0.6449 0.3551] class_ids : [0] classes : [b'0'] all_class_ids : [0 1] all_classes : [b'0' b'1']