 TensorFlow.org で見る |  Google Colabで実行 |  GitHub でソースを表示 |  ノートをダウンロード |
tf.data API を使用すると、単純で再利用可能なピースから複雑な入力パイプラインを構築できます。たとえば、画像モデルのパイプラインは、分散ファイル システム内のファイルからデータを集約し、ランダムな摂動を各画像に適用し、ランダムに選択した画像をトレーニング用のバッチにマージする場合があります。テキスト モデルのパイプラインには、生のテキスト データからのシンボルの抽出、ルックアップ テーブルを使用した埋め込み識別子への変換、異なる長さのシーケンスのバッチ処理が含まれる場合があります。 tf.data API は、大量のデータの処理、さまざまなデータ形式からの読み取り、および複雑な変換の実行を可能にします。
tf.data API は、各要素が 1 つ以上のコンポーネントで構成される要素のシーケンスを表すtf.data.Dataset抽象化を導入します。たとえば、画像パイプラインでは、要素は単一のトレーニング サンプルであり、画像とそのラベルを表すテンソル コンポーネントのペアを持つ場合があります。
データセットを作成するには、2 つの異なる方法があります。
データソースは、メモリまたは 1 つ以上のファイルに保存されている
DatasetからデータDatasetを構築します。データ変換は、1 つ以上の
tf.data.Datasetオブジェクトからデータセットを構築します。
import tensorflow as tf
import pathlib
import os
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np
np.set_printoptions(precision=4)
基本的な仕組み
入力パイプラインを作成するには、データソースから始める必要があります。たとえば、メモリ内のDatasetからデータDatasetを構築するには、 tf.data.Dataset.from_tensors()またはtf.data.Dataset.from_tensor_slices()使用できます。または、入力データが推奨される TFRecord 形式のファイルに保存されている場合は、 tf.data.TFRecordDataset()使用できます。
Datasetオブジェクトをtf.data.Dataset 、tf.data.Datasetオブジェクトのメソッド呼び出しを連鎖させることにより、それを新しいDataset変換できます。たとえば、次のような要素毎の変換を適用することができるDataset.map()およびなどの多要素変換Dataset.batch()変換の完全なリストについては、tf.data.Datasetのドキュメントを参照してください。
Datasetオブジェクトは Python イテラブルです。これにより、 for ループを使用してその要素を使用できるようになります。
dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1])
dataset
<TensorSliceDataset shapes: (), types: tf.int32>
for elem in dataset:
print(elem.numpy())
8 3 0 8 2 1
または、 iterを使用して明示的に Python イテレータを作成し、 nextを使用してその要素を使用します。
it = iter(dataset)
print(next(it).numpy())
8
または、データセット要素は、すべての要素を削減して単一の結果を生成するreduce変換を使用して使用できます。次の例は、 reduce変換を使用して整数のデータセットの合計を計算する方法を示しています。
print(dataset.reduce(0, lambda state, value: state + value).numpy())
22
データセット構造
データセットは、要素のシーケンスを生成します。各要素は、コンポーネントの同じ (ネストされた) 構造です。構造体の個々の成分は、によって任意の種類の表現であってもよいtf.TypeSpec含む、 tf.Tensor 、 tf.sparse.SparseTensor 、tf.RaggedTensor 、 tf.TensorArray 、又はtf.data.Dataset 。
要素の (ネストされた) 構造を表現するために使用できる Python コンストラクトには、 tuple 、 dict 、 NamedTuple 、およびOrderedDictます。特に、 listはデータセット要素の構造を表現するための有効な構造ではありません。これは、初期の tf.data ユーザーがlist入力 (たとえばtf.data.Dataset.from_tensors渡される) がテンソルとして自動的にパックされ、 list出力 (たとえばユーザー定義関数の戻り値) がtupleに強制されることを強く感じていたためtuple 。結果として、 list入力を構造として扱いたい場合は、それをtupleに変換する必要があり、 list出力を単一のコンポーネントにしたい場合は、 tf.stackを使用して明示的にパックする必要があります。 .
Dataset.element_specプロパティを使用すると、各要素コンポーネントのタイプを検査できます。プロパティは、要素の構造に一致するtf.TypeSpecオブジェクトのネストされた構造を返します。これは、単一のコンポーネント、コンポーネントのタプル、またはコンポーネントのネストされたタプルの場合があります。例えば：
dataset1 = tf.data.Dataset.from_tensor_slices(tf.random.uniform([4, 10]))
dataset1.element_spec
TensorSpec(shape=(10,), dtype=tf.float32, name=None)
dataset2 = tf.data.Dataset.from_tensor_slices(
(tf.random.uniform([4]),
tf.random.uniform([4, 100], maxval=100, dtype=tf.int32)))
dataset2.element_spec
(TensorSpec(shape=(), dtype=tf.float32, name=None), TensorSpec(shape=(100,), dtype=tf.int32, name=None))
dataset3 = tf.data.Dataset.zip((dataset1, dataset2))
dataset3.element_spec
(TensorSpec(shape=(10,), dtype=tf.float32, name=None), (TensorSpec(shape=(), dtype=tf.float32, name=None), TensorSpec(shape=(100,), dtype=tf.int32, name=None)))
# Dataset containing a sparse tensor.
dataset4 = tf.data.Dataset.from_tensors(tf.SparseTensor(indices=[[0, 0], [1, 2]], values=[1, 2], dense_shape=[3, 4]))
dataset4.element_spec
Dataset変換は、あらゆる構造のデータセットをサポートします。使用する場合Dataset.map()及びDataset.filter()各要素に関数を適用する変換を、素子構造は、関数の引数を決定します。
dataset1 = tf.data.Dataset.from_tensor_slices(
tf.random.uniform([4, 10], minval=1, maxval=10, dtype=tf.int32))
dataset1
<TensorSliceDataset shapes: (10,), types: tf.int32>
for z in dataset1:
print(z.numpy())
[2 7 7 7 5 9 3 3 5 2] [9 9 7 3 6 2 3 8 7 1] [2 9 7 1 8 7 8 3 8 2] [7 5 2 6 9 4 4 1 6 4]
dataset2 = tf.data.Dataset.from_tensor_slices(
(tf.random.uniform([4]),
tf.random.uniform([4, 100], maxval=100, dtype=tf.int32)))
dataset2
<TensorSliceDataset shapes: ((), (100,)), types: (tf.float32, tf.int32)>
dataset3 = tf.data.Dataset.zip((dataset1, dataset2))
dataset3
<ZipDataset shapes: ((10,), ((), (100,))), types: (tf.int32, (tf.float32, tf.int32))>
for a, (b,c) in dataset3:
print('shapes: {a.shape}, {b.shape}, {c.shape}'.format(a=a, b=b, c=c))
入力データの読み込み
NumPy 配列の使用
その他の例については、 NumPy 配列のロードを参照してください。
すべての入力データがメモリに収まる場合、それらからDatasetを作成する最も簡単な方法は、それらをtf.Tensorオブジェクトに変換し、 Dataset.from_tensor_slices()を使用することDataset.from_tensor_slices() 。
train, test = tf.keras.datasets.fashion_mnist.load_data()
Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/train-labels-idx1-ubyte.gz 32768/29515 [=================================] - 0s 0us/step Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/train-images-idx3-ubyte.gz 26427392/26421880 [==============================] - 0s 0us/step Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/t10k-labels-idx1-ubyte.gz 8192/5148 [===============================================] - 0s 0us/step Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/t10k-images-idx3-ubyte.gz 4423680/4422102 [==============================] - 0s 0us/step
images, labels = train
images = images/255
dataset = tf.data.Dataset.from_tensor_slices((images, labels))
dataset
<TensorSliceDataset shapes: ((28, 28), ()), types: (tf.float64, tf.uint8)>
Python ジェネレーターの使用
tf.data.Datasetとして簡単にtf.data.Datasetもう 1 つの一般的なデータ ソースは、Python ジェネレーターです。
def count(stop):
i = 0
while i<stop:
yield i
i += 1
for n in count(5):
print(n)
0 1 2 3 4
Dataset.from_generatorコンストラクターは、Python ジェネレーターを完全に機能するtf.data.Datasetます。
コンストラクターは、イテレーターではなく、呼び出し可能オブジェクトを入力として受け取ります。これにより、最後に到達したときにジェネレーターを再起動できます。これは、オプションのargs引数を取ります。これは、呼び出し可能オブジェクトの引数として渡されます。
output_typesための引数が必要であるtf.data構築tf.Graph内部、およびグラフのエッジは必要tf.dtype 。
ds_counter = tf.data.Dataset.from_generator(count, args=[25], output_types=tf.int32, output_shapes = (), )
for count_batch in ds_counter.repeat().batch(10).take(10):
print(count_batch.numpy())
[0 1 2 3 4 5 6 7 8 9] [10 11 12 13 14 15 16 17 18 19] [20 21 22 23 24 0 1 2 3 4] [ 5 6 7 8 9 10 11 12 13 14] [15 16 17 18 19 20 21 22 23 24] [0 1 2 3 4 5 6 7 8 9] [10 11 12 13 14 15 16 17 18 19] [20 21 22 23 24 0 1 2 3 4] [ 5 6 7 8 9 10 11 12 13 14] [15 16 17 18 19 20 21 22 23 24]
output_shapes引数は必須ではありませんが、多くのテンソルフロー操作が未知のランクのテンソルをサポートしていないため、強く推奨されます。特定の軸の長さが不明または変数である場合は、 output_shapesでそれをNoneに設定します。
output_shapesとoutput_typesは、他のデータセット メソッドと同じネスト規則に従うことに注意することも重要です。
これは、両方の側面を示すサンプル ジェネレーターです。これは、配列のタプルを返します。2 番目の配列は、長さが不明なベクトルです。
def gen_series():
i = 0
while True:
size = np.random.randint(0, 10)
yield i, np.random.normal(size=(size,))
i += 1
for i, series in gen_series():
print(i, ":", str(series))
if i > 5:
break
0 : [0.2357] 1 : [-0.4635 0.0882 -0.7401 -1.2436 -0.1392 1.8694 -2.2567 1.5493 -1.0368] 2 : [] 3 : [] 4 : [1.1482 1.0136] 5 : [ 0.7923 -2.2942 0.4162 1.5056 1.6008 0.1861] 6 : [ 0.7311 0.9217 1.3697 -1.0795 1.0586 -1.0768]
最初の出力はint32 、2 番目の出力はfloat32です。
最初の項目はスカラー、形状()であり、2 番目は未知の長さのベクトル形状(None,)
ds_series = tf.data.Dataset.from_generator(
gen_series,
output_types=(tf.int32, tf.float32),
output_shapes=((), (None,)))
ds_series
<FlatMapDataset shapes: ((), (None,)), types: (tf.int32, tf.float32)>
これで、通常のtf.data.Datasetように使用できます。可変形状のデータセットをバッチ処理する場合は、 Dataset.padded_batchを使用する必要があることにDataset.padded_batch 。
ds_series_batch = ds_series.shuffle(20).padded_batch(10)
ids, sequence_batch = next(iter(ds_series_batch))
print(ids.numpy())
print()
print(sequence_batch.numpy())
[17 11 18 8 23 2 6 13 26 28] [[ 1.0784e+00 6.2397e-01 3.3750e-01 -2.1123e+00 0.0000e+00 0.0000e+00 0.0000e+00 0.0000e+00] [ 1.3756e-01 -1.5717e+00 -8.0335e-01 0.0000e+00 0.0000e+00 0.0000e+00 0.0000e+00 0.0000e+00] [-9.1093e-01 6.3951e-01 4.9384e-04 2.0273e+00 -3.6473e-01 -3.6264e-02 -7.3862e-01 -5.3504e-01] [ 1.6893e-01 0.0000e+00 0.0000e+00 0.0000e+00 0.0000e+00 0.0000e+00 0.0000e+00 0.0000e+00] [-1.1584e+00 -7.9125e-01 0.0000e+00 0.0000e+00 0.0000e+00 0.0000e+00 0.0000e+00 0.0000e+00] [-1.7383e-01 -2.5935e-01 4.8755e-01 1.5578e+00 -4.7534e-01 0.0000e+00 0.0000e+00 0.0000e+00] [-4.0072e-01 -7.4969e-01 -1.1954e+00 9.0354e-02 0.0000e+00 0.0000e+00 0.0000e+00 0.0000e+00] [-8.6638e-02 -1.4680e+00 1.3155e+00 1.1772e+00 0.0000e+00 0.0000e+00 0.0000e+00 0.0000e+00] [-1.1352e-01 -1.1264e+00 0.0000e+00 0.0000e+00 0.0000e+00 0.0000e+00 0.0000e+00 0.0000e+00] [-1.2858e+00 7.7001e-02 -1.7588e-01 0.0000e+00 0.0000e+00 0.0000e+00 0.0000e+00 0.0000e+00]]
より現実的な例については、ラッピングしてみてくださいpreprocessing.image.ImageDataGenerator通りtf.data.Dataset 。
最初にデータをダウンロードします。
flowers = tf.keras.utils.get_file(
'flower_photos',
'https://storage.googleapis.com/download.tensorflow.org/example_images/flower_photos.tgz',
untar=True)
Downloading data from https://storage.googleapis.com/download.tensorflow.org/example_images/flower_photos.tgz 228818944/228813984 [==============================] - 1s 0us/step
image.ImageDataGenerator作成します。
img_gen = tf.keras.preprocessing.image.ImageDataGenerator(rescale=1./255, rotation_range=20)
images, labels = next(img_gen.flow_from_directory(flowers))
Found 3670 images belonging to 5 classes.
print(images.dtype, images.shape)
print(labels.dtype, labels.shape)
float32 (32, 256, 256, 3) float32 (32, 5)
ds = tf.data.Dataset.from_generator(
lambda: img_gen.flow_from_directory(flowers),
output_types=(tf.float32, tf.float32),
output_shapes=([32,256,256,3], [32,5])
)
ds.element_spec
(TensorSpec(shape=(32, 256, 256, 3), dtype=tf.float32, name=None), TensorSpec(shape=(32, 5), dtype=tf.float32, name=None))
for images, label in ds.take(1):
print('images.shape: ', images.shape)
print('labels.shape: ', labels.shape)
Found 3670 images belonging to 5 classes. images.shape: (32, 256, 256, 3) labels.shape: (32, 5)
TFRecord データの消費
エンド ツー エンドの例については、 TFRecords のロードを参照してください。
tf.data API はさまざまなファイル形式をサポートしているため、メモリに収まらない大きなデータセットを処理できます。たとえば、TFRecord ファイル形式は、多くの TensorFlow アプリケーションがトレーニング データに使用する単純なレコード指向のバイナリ形式です。 tf.data.TFRecordDatasetクラスを使用すると、入力パイプラインの一部として 1 つ以上の TFRecord ファイルのコンテンツをストリーミングできます。
これは、French Street Name Signs (FSNS) のテスト ファイルを使用した例です。
# Creates a dataset that reads all of the examples from two files.
fsns_test_file = tf.keras.utils.get_file("fsns.tfrec", "https://storage.googleapis.com/download.tensorflow.org/data/fsns-20160927/testdata/fsns-00000-of-00001")
Downloading data from https://storage.googleapis.com/download.tensorflow.org/data/fsns-20160927/testdata/fsns-00000-of-00001 7905280/7904079 [==============================] - 0s 0us/step
filenames引数TFRecordDatasetいずれかの文字列、文字列のリスト、またはすることができイニシャライザtf.Tensor文字列の。したがって、トレーニングと検証の目的で 2 セットのファイルがある場合、データセットを生成するファクトリ メソッドを作成し、ファイル名を入力引数として使用できます。
dataset = tf.data.TFRecordDataset(filenames = [fsns_test_file])
dataset
<TFRecordDatasetV2 shapes: (), types: tf.string>
多くの TensorFlow プロジェクトは、TFRecord ファイルでシリアライズされたtf.train.Exampleレコードを使用します。これらは、検査する前にデコードする必要があります。
raw_example = next(iter(dataset))
parsed = tf.train.Example.FromString(raw_example.numpy())
parsed.features.feature['image/text']
bytes_list {
value: "Rue Perreyon"
}
テキストデータの消費
エンド ツー エンドの例については、テキストのロードを参照してください。
多くのデータセットは、1 つまたは複数のテキスト ファイルとして配布されます。 tf.data.TextLineDatasetは、1 つまたは複数のテキスト ファイルから行を抽出する簡単な方法を提供します。 1 つ以上のファイル名を指定すると、 TextLineDatasetはそれらのファイルの行ごとに 1 つの文字列値要素を生成します。
directory_url = 'https://storage.googleapis.com/download.tensorflow.org/data/illiad/'
file_names = ['cowper.txt', 'derby.txt', 'butler.txt']
file_paths = [
tf.keras.utils.get_file(file_name, directory_url + file_name)
for file_name in file_names
]
Downloading data from https://storage.googleapis.com/download.tensorflow.org/data/illiad/cowper.txt 819200/815980 [==============================] - 0s 0us/step Downloading data from https://storage.googleapis.com/download.tensorflow.org/data/illiad/derby.txt 811008/809730 [==============================] - 0s 0us/step Downloading data from https://storage.googleapis.com/download.tensorflow.org/data/illiad/butler.txt 811008/807992 [==============================] - 0s 0us/step
dataset = tf.data.TextLineDataset(file_paths)
最初のファイルの最初の数行を次に示します。
for line in dataset.take(5):
print(line.numpy())
b"\xef\xbb\xbfAchilles sing, O Goddess! Peleus' son;" b'His wrath pernicious, who ten thousand woes' b"Caused to Achaia's host, sent many a soul" b'Illustrious into Ades premature,' b'And Heroes gave (so stood the will of Jove)'
ファイル間で行をDataset.interleave使用しDataset.interleave 。これにより、ファイルを一緒にシャッフルするのが簡単になります。各翻訳の 1 行目、2 行目、3 行目は次のとおりです。
files_ds = tf.data.Dataset.from_tensor_slices(file_paths)
lines_ds = files_ds.interleave(tf.data.TextLineDataset, cycle_length=3)
for i, line in enumerate(lines_ds.take(9)):
if i % 3 == 0:
print()
print(line.numpy())
b"\xef\xbb\xbfAchilles sing, O Goddess! Peleus' son;" b"\xef\xbb\xbfOf Peleus' son, Achilles, sing, O Muse," b'\xef\xbb\xbfSing, O goddess, the anger of Achilles son of Peleus, that brought' b'His wrath pernicious, who ten thousand woes' b'The vengeance, deep and deadly; whence to Greece' b'countless ills upon the Achaeans. Many a brave soul did it send' b"Caused to Achaia's host, sent many a soul" b'Unnumbered ills arose; which many a soul' b'hurrying down to Hades, and many a hero did it yield a prey to dogs and'
デフォルトでは、 TextLineDatasetは各ファイルのすべての行を生成します。これは、たとえば、ファイルがヘッダー行で始まっていたり、コメントが含まれている場合など、望ましくない場合があります。これらの行は、 Dataset.skip()またはDataset.filter()変換を使用して削除できます。ここでは、最初の行をスキップしてから、フィルター処理して生存者のみを検索します。
titanic_file = tf.keras.utils.get_file("train.csv", "https://storage.googleapis.com/tf-datasets/titanic/train.csv")
titanic_lines = tf.data.TextLineDataset(titanic_file)
Downloading data from https://storage.googleapis.com/tf-datasets/titanic/train.csv 32768/30874 [===============================] - 0s 0us/step
for line in titanic_lines.take(10):
print(line.numpy())
b'survived,sex,age,n_siblings_spouses,parch,fare,class,deck,embark_town,alone' b'0,male,22.0,1,0,7.25,Third,unknown,Southampton,n' b'1,female,38.0,1,0,71.2833,First,C,Cherbourg,n' b'1,female,26.0,0,0,7.925,Third,unknown,Southampton,y' b'1,female,35.0,1,0,53.1,First,C,Southampton,n' b'0,male,28.0,0,0,8.4583,Third,unknown,Queenstown,y' b'0,male,2.0,3,1,21.075,Third,unknown,Southampton,n' b'1,female,27.0,0,2,11.1333,Third,unknown,Southampton,n' b'1,female,14.0,1,0,30.0708,Second,unknown,Cherbourg,n' b'1,female,4.0,1,1,16.7,Third,G,Southampton,n'
def survived(line):
return tf.not_equal(tf.strings.substr(line, 0, 1), "0")
survivors = titanic_lines.skip(1).filter(survived)
for line in survivors.take(10):
print(line.numpy())
b'1,female,38.0,1,0,71.2833,First,C,Cherbourg,n' b'1,female,26.0,0,0,7.925,Third,unknown,Southampton,y' b'1,female,35.0,1,0,53.1,First,C,Southampton,n' b'1,female,27.0,0,2,11.1333,Third,unknown,Southampton,n' b'1,female,14.0,1,0,30.0708,Second,unknown,Cherbourg,n' b'1,female,4.0,1,1,16.7,Third,G,Southampton,n' b'1,male,28.0,0,0,13.0,Second,unknown,Southampton,y' b'1,female,28.0,0,0,7.225,Third,unknown,Cherbourg,y' b'1,male,28.0,0,0,35.5,First,A,Southampton,y' b'1,female,38.0,1,5,31.3875,Third,unknown,Southampton,n'
CSVデータの消費
その他の例については、「 CSV ファイルのロード」および「 Pandas データフレームのロード」を参照してください。
CSV ファイル形式は、表形式のデータをプレーン テキストで保存するための一般的な形式です。
例えば：
titanic_file = tf.keras.utils.get_file("train.csv", "https://storage.googleapis.com/tf-datasets/titanic/train.csv")
df = pd.read_csv(titanic_file)
df.head()
データがメモリに収まる場合、同じDataset.from_tensor_slicesメソッドが辞書で機能し、このデータを簡単にインポートできます。
titanic_slices = tf.data.Dataset.from_tensor_slices(dict(df))
for feature_batch in titanic_slices.take(1):
for key, value in feature_batch.items():
print(" {!r:20s}: {}".format(key, value))
'survived' : 0 'sex' : b'male' 'age' : 22.0 'n_siblings_spouses': 1 'parch' : 0 'fare' : 7.25 'class' : b'Third' 'deck' : b'unknown' 'embark_town' : b'Southampton' 'alone' : b'n'
よりスケーラブルなアプローチは、必要に応じてディスクからロードすることです。
tf.dataモジュールは、 RFC 4180 に準拠した 1 つ以上の CSV ファイルからレコードを抽出するメソッドを提供します。
experimental.make_csv_dataset関数は、csv ファイルのセットを読み取るための高レベルのインターフェースです。列の型の推論と、バッチ処理やシャッフルなどの他の多くの機能をサポートしているため、使用が簡単になります。
titanic_batches = tf.data.experimental.make_csv_dataset(
titanic_file, batch_size=4,
label_name="survived")
for feature_batch, label_batch in titanic_batches.take(1):
print("'survived': {}".format(label_batch))
print("features:")
for key, value in feature_batch.items():
print(" {!r:20s}: {}".format(key, value))
'survived': [1 1 1 1] features: 'sex' : [b'female' b'female' b'male' b'female'] 'age' : [40. 30. 17. 19.] 'n_siblings_spouses': [0 0 0 0] 'parch' : [0 0 2 0] 'fare' : [ 13. 12.475 110.8833 26. ] 'class' : [b'Second' b'Third' b'First' b'Second'] 'deck' : [b'unknown' b'unknown' b'C' b'unknown'] 'embark_town' : [b'Southampton' b'Southampton' b'Cherbourg' b'Southampton'] 'alone' : [b'y' b'y' b'n' b'y']
列のサブセットのみが必要な場合は、 select_columns引数を使用できます。
titanic_batches = tf.data.experimental.make_csv_dataset(
titanic_file, batch_size=4,
label_name="survived", select_columns=['class', 'fare', 'survived'])
for feature_batch, label_batch in titanic_batches.take(1):
print("'survived': {}".format(label_batch))
for key, value in feature_batch.items():
print(" {!r:20s}: {}".format(key, value))
'survived': [0 0 0 0] 'fare' : [ 15.5 55.9 8.05 108.9 ] 'class' : [b'Third' b'First' b'Third' b'First']
より細かい制御を提供する低レベルのexperimental.CsvDatasetクラスもあります。列型の推論はサポートされていません。代わりに、各列のタイプを指定する必要があります。
titanic_types = [tf.int32, tf.string, tf.float32, tf.int32, tf.int32, tf.float32, tf.string, tf.string, tf.string, tf.string]
dataset = tf.data.experimental.CsvDataset(titanic_file, titanic_types , header=True)
for line in dataset.take(10):
print([item.numpy() for item in line])
[0, b'male', 22.0, 1, 0, 7.25, b'Third', b'unknown', b'Southampton', b'n'] [1, b'female', 38.0, 1, 0, 71.2833, b'First', b'C', b'Cherbourg', b'n'] [1, b'female', 26.0, 0, 0, 7.925, b'Third', b'unknown', b'Southampton', b'y'] [1, b'female', 35.0, 1, 0, 53.1, b'First', b'C', b'Southampton', b'n'] [0, b'male', 28.0, 0, 0, 8.4583, b'Third', b'unknown', b'Queenstown', b'y'] [0, b'male', 2.0, 3, 1, 21.075, b'Third', b'unknown', b'Southampton', b'n'] [1, b'female', 27.0, 0, 2, 11.1333, b'Third', b'unknown', b'Southampton', b'n'] [1, b'female', 14.0, 1, 0, 30.0708, b'Second', b'unknown', b'Cherbourg', b'n'] [1, b'female', 4.0, 1, 1, 16.7, b'Third', b'G', b'Southampton', b'n'] [0, b'male', 20.0, 0, 0, 8.05, b'Third', b'unknown', b'Southampton', b'y']
一部の列が空の場合、この低レベルのインターフェイスを使用すると、列タイプの代わりにデフォルト値を提供できます。
%%writefile missing.csv
1,2,3,4
,2,3,4
1,,3,4
1,2,,4
1,2,3,
,,,
Writing missing.csv
# Creates a dataset that reads all of the records from two CSV files, each with
# four float columns which may have missing values.
record_defaults = [999,999,999,999]
dataset = tf.data.experimental.CsvDataset("missing.csv", record_defaults)
dataset = dataset.map(lambda *items: tf.stack(items))
dataset
<MapDataset shapes: (4,), types: tf.int32>
for line in dataset:
print(line.numpy())
[1 2 3 4] [999 2 3 4] [ 1 999 3 4] [ 1 2 999 4] [ 1 2 3 999] [999 999 999 999]
デフォルトでは、 CsvDatasetはファイルのすべての行のすべての列を生成しますが、これは望ましくない可能性があります。たとえば、ファイルが無視すべきヘッダー行で始まっている場合や、入力で一部の列が必要ない場合などです。これらの行とフィールドは、それぞれheaderおよびselect_cols引数で削除できます。
# Creates a dataset that reads all of the records from two CSV files with
# headers, extracting float data from columns 2 and 4.
record_defaults = [999, 999] # Only provide defaults for the selected columns
dataset = tf.data.experimental.CsvDataset("missing.csv", record_defaults, select_cols=[1, 3])
dataset = dataset.map(lambda *items: tf.stack(items))
dataset
<MapDataset shapes: (2,), types: tf.int32>
for line in dataset:
print(line.numpy())
[2 4] [2 4] [999 4] [2 4] [ 2 999] [999 999]
ファイルのセットを消費する
一連のファイルとして配布されている多くのデータセットがあり、各ファイルは例です。
flowers_root = tf.keras.utils.get_file(
'flower_photos',
'https://storage.googleapis.com/download.tensorflow.org/example_images/flower_photos.tgz',
untar=True)
flowers_root = pathlib.Path(flowers_root)
ルート ディレクトリには、各クラスのディレクトリが含まれています。
for item in flowers_root.glob("*"):
print(item.name)
sunflowers daisy LICENSE.txt roses tulips dandelion
各クラス ディレクトリ内のファイルは例です。
list_ds = tf.data.Dataset.list_files(str(flowers_root/'*/*'))
for f in list_ds.take(5):
print(f.numpy())
b'/home/kbuilder/.keras/datasets/flower_photos/roses/3871586333_5a708d5cf4_n.jpg' b'/home/kbuilder/.keras/datasets/flower_photos/dandelion/19551343954_83bb52f310_m.jpg' b'/home/kbuilder/.keras/datasets/flower_photos/tulips/13289268363_b9337d751e.jpg' b'/home/kbuilder/.keras/datasets/flower_photos/roses/3253243865_435c1f2c2b_m.jpg' b'/home/kbuilder/.keras/datasets/flower_photos/daisy/22244161124_53e457bb66_n.jpg'
tf.io.read_file関数を使用してデータを読み取り、パスからラベルを抽出して(image, label)ペアを返します。
def process_path(file_path):
label = tf.strings.split(file_path, os.sep)[-2]
return tf.io.read_file(file_path), label
labeled_ds = list_ds.map(process_path)
for image_raw, label_text in labeled_ds.take(1):
print(repr(image_raw.numpy()[:100]))
print()
print(label_text.numpy())
b'\xff\xd8\xff\xe0\x00\x10JFIF\x00\x01\x01\x00\x00\x01\x00\x01\x00\x00\xff\xfe\x00\x0cAppleMark\n\xff\xe2\x05XICC_PROFILE\x00\x01\x01\x00\x00\x05Happl\x02 \x00\x00scnrRGB XYZ \x07\xd3\x00\x07\x00\x01\x00\x00\x00\x00\x00\x00acspAPPL\x00\x00\x00\x00' b'roses'
データセット要素のバッチ処理
単純なバッチ処理
バッチ処理の最も単純な形式は、データセットのn連続する要素を単一の要素にスタックします。 Dataset.batch()変換は、要素の各コンポーネントに適用されるtf.stack()演算子と同じ制約で、まさにこれを行います。つまり、各コンポーネントi について、すべての要素はまったく同じ形状のテンソルを持たなければなりません。
inc_dataset = tf.data.Dataset.range(100)
dec_dataset = tf.data.Dataset.range(0, -100, -1)
dataset = tf.data.Dataset.zip((inc_dataset, dec_dataset))
batched_dataset = dataset.batch(4)
for batch in batched_dataset.take(4):
print([arr.numpy() for arr in batch])
[array([0, 1, 2, 3]), array([ 0, -1, -2, -3])] [array([4, 5, 6, 7]), array([-4, -5, -6, -7])] [array([ 8, 9, 10, 11]), array([ -8, -9, -10, -11])] [array([12, 13, 14, 15]), array([-12, -13, -14, -15])]
一方でtf.data試みは、形状情報を伝播するために、デフォルトの設定Dataset.batch未知のバッチサイズでの結果は、最後のバッチが満杯ではないかもしれないので。シェイプ内のNone注意してください。
batched_dataset
<BatchDataset shapes: ((None,), (None,)), types: (tf.int64, tf.int64)>
drop_remainder引数を使用して、その最後のバッチを無視し、完全な形状の伝播を取得します。
batched_dataset = dataset.batch(7, drop_remainder=True)
batched_dataset
<BatchDataset shapes: ((7,), (7,)), types: (tf.int64, tf.int64)>
パディングによるテンソルのバッチ処理
上記のレシピは、すべて同じサイズのテンソルに対して機能します。ただし、多くのモデル (シーケンス モデルなど) は、さまざまなサイズ (長さが異なるシーケンスなど) の入力データを処理します。この場合を処理するために、 Dataset.padded_batch変換では、テンソルがパディングされる 1 つ以上の次元を指定することにより、異なる形状のテンソルをバッチ処理できます。
dataset = tf.data.Dataset.range(100)
dataset = dataset.map(lambda x: tf.fill([tf.cast(x, tf.int32)], x))
dataset = dataset.padded_batch(4, padded_shapes=(None,))
for batch in dataset.take(2):
print(batch.numpy())
print()
[[0 0 0] [1 0 0] [2 2 0] [3 3 3]] [[4 4 4 4 0 0 0] [5 5 5 5 5 0 0] [6 6 6 6 6 6 0] [7 7 7 7 7 7 7]]
Dataset.padded_batch変換を使用すると、各コンポーネントの各ディメンションに異なるパディングを設定でき、可変長 (上記の例ではNoneで示されます) または固定長にすることができます。デフォルトの 0 であるパディング値を上書きすることもできます。
トレーニングのワークフロー
複数のエポックの処理
tf.data API は、同じデータの複数のエポックを処理する 2 つの主な方法を提供します。
複数のエポックでデータセットを反復処理する最も簡単な方法は、 Dataset.repeat()変換を使用することです。まず、タイタニック データのデータセットを作成します。
titanic_file = tf.keras.utils.get_file("train.csv", "https://storage.googleapis.com/tf-datasets/titanic/train.csv")
titanic_lines = tf.data.TextLineDataset(titanic_file)
def plot_batch_sizes(ds):
batch_sizes = [batch.shape[0] for batch in ds]
plt.bar(range(len(batch_sizes)), batch_sizes)
plt.xlabel('Batch number')
plt.ylabel('Batch size')
引数なしでDataset.repeat()変換を適用すると、入力が無期限に繰り返されます。
Dataset.repeat変換は、1 つのエポックの終了と次のエポックの開始を通知せずに引数を連結します。このため、 Dataset.batch後に適用されたDataset.repeatは、エポック境界にまたがるバッチを生成します。
titanic_batches = titanic_lines.repeat(3).batch(128)
plot_batch_sizes(titanic_batches)
明確なエポック分離が必要な場合は、繰り返しの前にDataset.batch配置しDataset.batch 。
titanic_batches = titanic_lines.batch(128).repeat(3)
plot_batch_sizes(titanic_batches)
各エポックの最後にカスタム計算 (統計を収集するなど) を実行したい場合は、各エポックでデータセットの反復を再開するのが最も簡単です。
epochs = 3
dataset = titanic_lines.batch(128)
for epoch in range(epochs):
for batch in dataset:
print(batch.shape)
print("End of epoch: ", epoch)
(128,) (128,) (128,) (128,) (116,) End of epoch: 0 (128,) (128,) (128,) (128,) (116,) End of epoch: 1 (128,) (128,) (128,) (128,) (116,) End of epoch: 2
入力データをランダムにシャッフルする
Dataset.shuffle()変換は固定サイズのバッファを維持し、そのバッファから一様にランダムに次の要素を選択します。
効果を確認できるように、データセットにインデックスを追加します。
lines = tf.data.TextLineDataset(titanic_file)
counter = tf.data.experimental.Counter()
dataset = tf.data.Dataset.zip((counter, lines))
dataset = dataset.shuffle(buffer_size=100)
dataset = dataset.batch(20)
dataset
<BatchDataset shapes: ((None,), (None,)), types: (tf.int64, tf.string)>
buffer_sizeが 100 で、バッチ サイズが 20 であるため、最初のバッチにはインデックスが 120 を超える要素は含まれていません。
n,line_batch = next(iter(dataset))
print(n.numpy())
[ 39 5 30 77 45 104 102 54 31 89 93 29 38 85 60 9 78 76 1 41]
Dataset.batch同様に、 Dataset.batchに関連するDataset.repeat重要です。
Dataset.shuffleは、シャッフル バッファーが空になるまでエポックの終了をDataset.shuffleしません。したがって、繰り返しの前にシャッフルを配置すると、次のエポックに移動する前に、1 つのエポックのすべての要素が表示されます。
dataset = tf.data.Dataset.zip((counter, lines))
shuffled = dataset.shuffle(buffer_size=100).batch(10).repeat(2)
print("Here are the item ID's near the epoch boundary:\n")
for n, line_batch in shuffled.skip(60).take(5):
print(n.numpy())
Here are the item ID's near the epoch boundary: [618 522 447 528 576 514 626 610 502 404] [601 577 586 560 490 469 604 275 551 561] [567 550 423 486 544 457 578 448] [85 78 32 73 45 99 37 94 13 54] [101 55 4 109 41 25 80 106 9 113]
shuffle_repeat = [n.numpy().mean() for n, line_batch in shuffled]
plt.plot(shuffle_repeat, label="shuffle().repeat()")
plt.ylabel("Mean item ID")
plt.legend()
<matplotlib.legend.Legend at 0x7fe00c013690>
ただし、シャッフルの前に繰り返すと、エポックの境界が混ざります。
dataset = tf.data.Dataset.zip((counter, lines))
shuffled = dataset.repeat(2).shuffle(buffer_size=100).batch(10)
print("Here are the item ID's near the epoch boundary:\n")
for n, line_batch in shuffled.skip(55).take(15):
print(n.numpy())
Here are the item ID's near the epoch boundary: [611 401 577 625 2 557 585 6 618 502] [ 31 607 588 24 0 627 455 613 547 605] [537 544 240 15 43 555 621 34 590 8] [ 27 475 528 546 560 48 53 489 54 37] [599 561 30 570 21 499 586 10 5 12] [367 60 568 525 1 619 589 23 548 35] [ 17 470 616 42 569 83 70 405 46 463] [ 50 72 612 623 28 522 581 86 77 76] [474 598 609 25 65 491 543 97 536 93] [ 16 101 58 90 19 38 111 615 119 49] [ 39 110 75 95 122 94 4 67 64 51] [ 22 606 610 99 601 526 116 571 80 109] [ 29 32 125 138 608 33 139 106 147 127] [130 114 117 18 59 79 66 123 124 155] [103 579 100 107 165 115 92 84 3 52]
repeat_shuffle = [n.numpy().mean() for n, line_batch in shuffled]
plt.plot(shuffle_repeat, label="shuffle().repeat()")
plt.plot(repeat_shuffle, label="repeat().shuffle()")
plt.ylabel("Mean item ID")
plt.legend()
<matplotlib.legend.Legend at 0x7fe004095b50>
データの前処理
Dataset.map(f)変換は、指定された関数fを入力データセットの各要素に適用することにより、新しいデータセットを生成します。これは、関数型プログラミング言語のリスト (およびその他の構造) に一般的に適用されるmap()関数に基づいていmap() 。関数fかかりtf.Tensor入力における単一の要素を表すオブジェクトを、そして返しtf.Tensorそれが新しいデータセット内の単一の要素を表現するオブジェクト。その実装は、標準の TensorFlow 操作を使用して、ある要素を別の要素に変換します。
このセクションでは、 Dataset.map()使用方法の一般的な例について説明します。
画像データのデコードとリサイズ
実世界の画像データでニューラル ネットワークをトレーニングする場合、多くの場合、さまざまなサイズの画像を共通のサイズに変換して、固定サイズにバッチ処理できるようにする必要があります。
花のファイル名データセットを再構築します。
list_ds = tf.data.Dataset.list_files(str(flowers_root/'*/*'))
データセット要素を操作する関数を記述します。
# Reads an image from a file, decodes it into a dense tensor, and resizes it
# to a fixed shape.
def parse_image(filename):
parts = tf.strings.split(filename, os.sep)
label = parts[-2]
image = tf.io.read_file(filename)
image = tf.image.decode_jpeg(image)
image = tf.image.convert_image_dtype(image, tf.float32)
image = tf.image.resize(image, [128, 128])
return image, label
動作することをテストします。
file_path = next(iter(list_ds))
image, label = parse_image(file_path)
def show(image, label):
plt.figure()
plt.imshow(image)
plt.title(label.numpy().decode('utf-8'))
plt.axis('off')
show(image, label)
それをデータセットにマッピングします。
images_ds = list_ds.map(parse_image)
for image, label in images_ds.take(2):
show(image, label)
任意の Python ロジックの適用
パフォーマンス上の理由から、可能な限り TensorFlow オペレーションを使用してデータを前処理してください。ただし、入力データを解析するときに、外部の Python ライブラリを呼び出すと便利な場合があります。 Dataset.map()変換でtf.py_function()操作を使用できます。
たとえば、ランダムな回転を適用したい場合、 tf.imageモジュールにはtf.image.rot90しかありませんが、これは画像拡張にはあまり役に立ちません。
tf.py_functionを示すtf.py_function 、代わりにscipy.ndimage.rotate関数を使用してみてください。
import scipy.ndimage as ndimage
def random_rotate_image(image):
image = ndimage.rotate(image, np.random.uniform(-30, 30), reshape=False)
return image
image, label = next(iter(images_ds))
image = random_rotate_image(image)
show(image, label)
Clipping input data to the valid range for imshow with RGB data ([0..1] for floats or [0..255] for integers).
で、この機能を使用するにはDataset.map同じ警告を持つように適用Dataset.from_generator 、あなたが関数を適用する場合、リターン形状や種類を記述する必要があります。
def tf_random_rotate_image(image, label):
im_shape = image.shape
[image,] = tf.py_function(random_rotate_image, [image], [tf.float32])
image.set_shape(im_shape)
return image, label
rot_ds = images_ds.map(tf_random_rotate_image)
for image, label in rot_ds.take(2):
show(image, label)
Clipping input data to the valid range for imshow with RGB data ([0..1] for floats or [0..255] for integers). Clipping input data to the valid range for imshow with RGB data ([0..1] for floats or [0..255] for integers).
tf.Example解析tf.Exampleプロトコル バッファ メッセージの例
多くの入力パイプラインは、TFRecord 形式からtf.train.Exampleプロトコル バッファ メッセージを抽出します。各tf.train.Exampleレコードには 1 つ以上の「特徴」が含まれており、入力パイプラインは通常、これらの特徴をテンソルに変換します。
fsns_test_file = tf.keras.utils.get_file("fsns.tfrec", "https://storage.googleapis.com/download.tensorflow.org/data/fsns-20160927/testdata/fsns-00000-of-00001")
dataset = tf.data.TFRecordDataset(filenames = [fsns_test_file])
dataset
<TFRecordDatasetV2 shapes: (), types: tf.string>
tf.train.Example外部でtf.train.Example protos をtf.data.Datasetして、データを理解することができます。
raw_example = next(iter(dataset))
parsed = tf.train.Example.FromString(raw_example.numpy())
feature = parsed.features.feature
raw_img = feature['image/encoded'].bytes_list.value[0]
img = tf.image.decode_png(raw_img)
plt.imshow(img)
plt.axis('off')
_ = plt.title(feature["image/text"].bytes_list.value[0])
raw_example = next(iter(dataset))
def tf_parse(eg):
example = tf.io.parse_example(
eg[tf.newaxis], {
'image/encoded': tf.io.FixedLenFeature(shape=(), dtype=tf.string),
'image/text': tf.io.FixedLenFeature(shape=(), dtype=tf.string)
})
return example['image/encoded'][0], example['image/text'][0]
img, txt = tf_parse(raw_example)
print(txt.numpy())
print(repr(img.numpy()[:20]), "...")
b'Rue Perreyon' b'\x89PNG\r\n\x1a\n\x00\x00\x00\rIHDR\x00\x00\x02X' ...
decoded = dataset.map(tf_parse)
decoded
<MapDataset shapes: ((), ()), types: (tf.string, tf.string)>
image_batch, text_batch = next(iter(decoded.batch(10)))
image_batch.shape
TensorShape([10])
時系列ウィンドウ処理
エンド ツー エンドの時系列の例については、時系列予測を参照してください。
時系列データは、時間軸を保ったまま整理されることがよくあります。
単純なDataset.rangeを使用して、 Dataset.rangeことを示します。
range_ds = tf.data.Dataset.range(100000)
通常、この種のデータに基づくモデルには、連続したタイム スライスが必要です。
最も簡単なアプローチは、データをバッチ処理することです。
batch使用
batches = range_ds.batch(10, drop_remainder=True)
for batch in batches.take(5):
print(batch.numpy())
[0 1 2 3 4 5 6 7 8 9] [10 11 12 13 14 15 16 17 18 19] [20 21 22 23 24 25 26 27 28 29] [30 31 32 33 34 35 36 37 38 39] [40 41 42 43 44 45 46 47 48 49]
または、将来に向けて 1 ステップ先の密な予測を行うには、特徴とラベルを相互に 1 ステップずつずらすことができます。
def dense_1_step(batch):
# Shift features and labels one step relative to each other.
return batch[:-1], batch[1:]
predict_dense_1_step = batches.map(dense_1_step)
for features, label in predict_dense_1_step.take(3):
print(features.numpy(), " => ", label.numpy())
[0 1 2 3 4 5 6 7 8] => [1 2 3 4 5 6 7 8 9] [10 11 12 13 14 15 16 17 18] => [11 12 13 14 15 16 17 18 19] [20 21 22 23 24 25 26 27 28] => [21 22 23 24 25 26 27 28 29]
固定オフセットの代わりにウィンドウ全体を予測するには、バッチを 2 つの部分に分割します。
batches = range_ds.batch(15, drop_remainder=True)
def label_next_5_steps(batch):
return (batch[:-5], # Inputs: All except the last 5 steps
batch[-5:]) # Labels: The last 5 steps
predict_5_steps = batches.map(label_next_5_steps)
for features, label in predict_5_steps.take(3):
print(features.numpy(), " => ", label.numpy())
[0 1 2 3 4 5 6 7 8 9] => [10 11 12 13 14] [15 16 17 18 19 20 21 22 23 24] => [25 26 27 28 29] [30 31 32 33 34 35 36 37 38 39] => [40 41 42 43 44]
あるバッチの機能と別のバッチのラベルとの間である程度の重複を許可するには、 Dataset.zip使用しDataset.zip 。
feature_length = 10
label_length = 3
features = range_ds.batch(feature_length, drop_remainder=True)
labels = range_ds.batch(feature_length).skip(1).map(lambda labels: labels[:label_length])
predicted_steps = tf.data.Dataset.zip((features, labels))
for features, label in predicted_steps.take(5):
print(features.numpy(), " => ", label.numpy())
[0 1 2 3 4 5 6 7 8 9] => [10 11 12] [10 11 12 13 14 15 16 17 18 19] => [20 21 22] [20 21 22 23 24 25 26 27 28 29] => [30 31 32] [30 31 32 33 34 35 36 37 38 39] => [40 41 42] [40 41 42 43 44 45 46 47 48 49] => [50 51 52]
windowを使用する
Dataset.batch使用中には、より細かい制御が必要になる場合があります。 Dataset.windowメソッドは完全な制御を提供しますが、注意が必要です: Datasets Datasetを返します。詳細については、データセット構造を参照してください。
window_size = 5
windows = range_ds.window(window_size, shift=1)
for sub_ds in windows.take(5):
print(sub_ds)
<_VariantDataset shapes: (), types: tf.int64> <_VariantDataset shapes: (), types: tf.int64> <_VariantDataset shapes: (), types: tf.int64> <_VariantDataset shapes: (), types: tf.int64> <_VariantDataset shapes: (), types: tf.int64>
Dataset.flat_mapメソッドは、データセットのデータセットを受け取り、それを単一のデータセットにフラット化できます。
for x in windows.flat_map(lambda x: x).take(30):
print(x.numpy(), end=' ')
0 1 2 3 4 1 2 3 4 5 2 3 4 5 6 3 4 5 6 7 4 5 6 7 8 5 6 7 8 9
ほとんどの場合、最初にデータセットを.batchする必要があります。
def sub_to_batch(sub):
return sub.batch(window_size, drop_remainder=True)
for example in windows.flat_map(sub_to_batch).take(5):
print(example.numpy())
[0 1 2 3 4] [1 2 3 4 5] [2 3 4 5 6] [3 4 5 6 7] [4 5 6 7 8]
これで、 shift引数が各ウィンドウが移動する量を制御することがわかります。
これをまとめると、次の関数を書くことができます。
def make_window_dataset(ds, window_size=5, shift=1, stride=1):
windows = ds.window(window_size, shift=shift, stride=stride)
def sub_to_batch(sub):
return sub.batch(window_size, drop_remainder=True)
windows = windows.flat_map(sub_to_batch)
return windows
ds = make_window_dataset(range_ds, window_size=10, shift = 5, stride=3)
for example in ds.take(10):
print(example.numpy())
[ 0 3 6 9 12 15 18 21 24 27] [ 5 8 11 14 17 20 23 26 29 32] [10 13 16 19 22 25 28 31 34 37] [15 18 21 24 27 30 33 36 39 42] [20 23 26 29 32 35 38 41 44 47] [25 28 31 34 37 40 43 46 49 52] [30 33 36 39 42 45 48 51 54 57] [35 38 41 44 47 50 53 56 59 62] [40 43 46 49 52 55 58 61 64 67] [45 48 51 54 57 60 63 66 69 72]
その後、以前と同じようにラベルを簡単に抽出できます。
dense_labels_ds = ds.map(dense_1_step)
for inputs,labels in dense_labels_ds.take(3):
print(inputs.numpy(), "=>", labels.numpy())
[ 0 3 6 9 12 15 18 21 24] => [ 3 6 9 12 15 18 21 24 27] [ 5 8 11 14 17 20 23 26 29] => [ 8 11 14 17 20 23 26 29 32] [10 13 16 19 22 25 28 31 34] => [13 16 19 22 25 28 31 34 37]
リサンプリング
クラスのバランスが非常に悪いデータセットを操作する場合、データセットを再サンプリングする必要がある場合があります。 tf.dataは、これを行うための 2 つのメソッドを提供します。クレジット カード詐欺のデータセットは、この種の問題の良い例です。
zip_path = tf.keras.utils.get_file(
origin='https://storage.googleapis.com/download.tensorflow.org/data/creditcard.zip',
fname='creditcard.zip',
extract=True)
csv_path = zip_path.replace('.zip', '.csv')
Downloading data from https://storage.googleapis.com/download.tensorflow.org/data/creditcard.zip 69156864/69155632 [==============================] - 2s 0us/step
creditcard_ds = tf.data.experimental.make_csv_dataset(
csv_path, batch_size=1024, label_name="Class",
# Set the column types: 30 floats and an int.
column_defaults=[float()]*30+[int()])
次に、クラスの分布を確認します。非常に偏っています。
def count(counts, batch):
features, labels = batch
class_1 = labels == 1
class_1 = tf.cast(class_1, tf.int32)
class_0 = labels == 0
class_0 = tf.cast(class_0, tf.int32)
counts['class_0'] += tf.reduce_sum(class_0)
counts['class_1'] += tf.reduce_sum(class_1)
return counts
counts = creditcard_ds.take(10).reduce(
initial_state={'class_0': 0, 'class_1': 0},
reduce_func = count)
counts = np.array([counts['class_0'].numpy(),
counts['class_1'].numpy()]).astype(np.float32)
fractions = counts/counts.sum()
print(fractions)
[0.9961 0.0039]
不均衡なデータセットを使用したトレーニングの一般的なアプローチは、バランスをとることです。 tf.dataは、このワークフローを可能にするいくつかのメソッドが含まれています。
データセットのサンプリング
データセットをリサンプリングする方法の 1 つは、 sample_from_datasetsを使用することsample_from_datasets 。これは、クラスごとに個別のdata.Datasetがある場合により当てはまります。
ここでは、フィルターを使用してクレジット カード詐欺データからそれらを生成します。
negative_ds = (
creditcard_ds
.unbatch()
.filter(lambda features, label: label==0)
.repeat())
positive_ds = (
creditcard_ds
.unbatch()
.filter(lambda features, label: label==1)
.repeat())
for features, label in positive_ds.batch(10).take(1):
print(label.numpy())
[1 1 1 1 1 1 1 1 1 1]
tf.data.experimental.sample_from_datasetsを使用するには、データセットとそれぞれの重みを渡します。
balanced_ds = tf.data.experimental.sample_from_datasets(
[negative_ds, positive_ds], [0.5, 0.5]).batch(10)
これで、データセットは 50/50 の確率で各クラスの例を生成します。
for features, labels in balanced_ds.take(10):
print(labels.numpy())
[1 1 1 0 1 0 1 1 0 1] [1 1 1 0 0 1 0 0 0 0] [0 1 1 1 1 1 1 1 0 0] [0 0 1 0 0 0 1 0 0 0] [0 1 0 0 1 0 1 1 0 1] [1 0 0 0 0 1 1 1 0 1] [0 0 0 1 1 0 0 1 0 1] [1 0 0 1 1 0 0 1 1 0] [0 0 1 0 0 0 0 1 0 0] [1 1 1 1 0 0 1 1 1 0]
拒否リサンプリング
上記の問題の一つexperimental.sample_from_datasetsアプローチは、それが別の必要があることですtf.data.Datasetクラスあたりを。 Dataset.filterを使用するとDataset.filterますが、すべてのデータが 2 回読み込まれます。
data.experimental.rejection_resample関数をデータセットに適用して、データセットを 1 回だけロードしながら、バランスを取り直すことができます。バランスを取るためにデータセットから要素が削除されます。
data.experimental.rejection_resampleはclass_func引数を取ります。このclass_funcは各データセット要素に適用され、バランスを取る目的で例が属するクラスを決定するために使用されます。
creditcard_dsの要素は、すでに(features, label)ペアです。したがって、 class_funcこれらのラベルを返すだけで済みます。
def class_func(features, label):
return label
リサンプラーには、ターゲット分布、およびオプションで初期分布推定も必要です。
resampler = tf.data.experimental.rejection_resample(
class_func, target_dist=[0.5, 0.5], initial_dist=fractions)
リサンプラーは個々の例を扱うため、リサンプラーを適用する前にデータセットをunbatchする必要があります。
resample_ds = creditcard_ds.unbatch().apply(resampler).batch(10)
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow/python/data/experimental/ops/resampling.py:156: Print (from tensorflow.python.ops.logging_ops) is deprecated and will be removed after 2018-08-20. Instructions for updating: Use tf.print instead of tf.Print. Note that tf.print returns a no-output operator that directly prints the output. Outside of defuns or eager mode, this operator will not be executed unless it is directly specified in session.run or used as a control dependency for other operators. This is only a concern in graph mode. Below is an example of how to ensure tf.print executes in graph mode:
リサンプラーは、 class_func出力から作成された(class, example)ペアを返します。この場合、 exampleはすでに(feature, label)ペアであるため、 mapを使用してラベルの余分なコピーを削除します。
balanced_ds = resample_ds.map(lambda extra_label, features_and_label: features_and_label)
これで、データセットは 50/50 の確率で各クラスの例を生成します。
for features, labels in balanced_ds.take(10):
print(labels.numpy())
[1 0 0 0 1 0 1 1 0 0] [1 1 0 0 0 1 0 0 0 0] [1 1 1 1 0 0 0 0 0 1] [1 0 0 1 0 1 1 1 1 1] [1 0 1 0 1 1 0 0 1 1] [1 1 0 1 0 1 0 0 0 0] [0 0 0 1 1 1 0 1 1 1] [1 0 0 0 1 0 0 0 0 1] [1 1 0 1 0 0 1 0 1 0] [0 1 1 1 0 1 0 1 1 1]
イテレータのチェックポイント
Tensorflow はチェックポイントの取得をサポートしているため、トレーニング プロセスが再開されたときに最新のチェックポイントを復元して、ほとんどの進行状況を回復できます。モデル変数のチェックポイントに加えて、データセット イテレータの進行状況をチェックポイントすることもできます。これは、大規模なデータセットがあり、再起動のたびにデータセットを最初から開始したくない場合に役立ちます。ただし、 shuffleやprefetchなどの変換ではイテレータ内の要素をバッファリングする必要があるため、イテレータのチェックポイントは大きくなる可能性があることに注意してください。
チェックポイントにイテレータを含めるには、イテレータをtf.train.Checkpointコンストラクターに渡します。
range_ds = tf.data.Dataset.range(20)
iterator = iter(range_ds)
ckpt = tf.train.Checkpoint(step=tf.Variable(0), iterator=iterator)
manager = tf.train.CheckpointManager(ckpt, '/tmp/my_ckpt', max_to_keep=3)
print([next(iterator).numpy() for _ in range(5)])
save_path = manager.save()
print([next(iterator).numpy() for _ in range(5)])
ckpt.restore(manager.latest_checkpoint)
print([next(iterator).numpy() for _ in range(5)])
[0, 1, 2, 3, 4] [5, 6, 7, 8, 9] [5, 6, 7, 8, 9]
tf.keras での tf.data の使用
tf.keras API は、機械学習モデルの作成と実行の多くの側面を簡素化します。その.fit()および.evaluate()および.predict() API は、データセットを入力としてサポートします。簡単なデータセットとモデルのセットアップを次に示します。
train, test = tf.keras.datasets.fashion_mnist.load_data()
images, labels = train
images = images/255.0
labels = labels.astype(np.int32)
fmnist_train_ds = tf.data.Dataset.from_tensor_slices((images, labels))
fmnist_train_ds = fmnist_train_ds.shuffle(5000).batch(32)
model = tf.keras.Sequential([
tf.keras.layers.Flatten(),
tf.keras.layers.Dense(10)
])
model.compile(optimizer='adam',
loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
metrics=['accuracy'])
Model.fitとModel.evaluate必要なことは(feature, label)ペアのデータセットを渡すことModel.evaluateです。
model.fit(fmnist_train_ds, epochs=2)
Epoch 1/2 1875/1875 [==============================] - 3s 1ms/step - loss: 0.5999 - accuracy: 0.7962 Epoch 2/2 1875/1875 [==============================] - 3s 1ms/step - loss: 0.4618 - accuracy: 0.8428 <tensorflow.python.keras.callbacks.History at 0x7fdffe98bd10>
たとえばDataset.repeat()呼び出すことによって無限のデータセットを渡す場合は、 steps_per_epoch引数も渡す必要があります。
model.fit(fmnist_train_ds.repeat(), epochs=2, steps_per_epoch=20)
Epoch 1/2 20/20 [==============================] - 0s 1ms/step - loss: 0.3764 - accuracy: 0.8656 Epoch 2/2 20/20 [==============================] - 0s 1ms/step - loss: 0.4980 - accuracy: 0.8406 <tensorflow.python.keras.callbacks.History at 0x7fe00c129050>
評価のために、評価ステップの数を渡すことができます:
loss, accuracy = model.evaluate(fmnist_train_ds)
print("Loss :", loss)
print("Accuracy :", accuracy)
1875/1875 [==============================] - 2s 951us/step - loss: 0.4384 - accuracy: 0.8501 Loss : 0.4384005665779114 Accuracy : 0.8500999808311462
長いデータセットの場合、評価するステップ数を設定します。
loss, accuracy = model.evaluate(fmnist_train_ds.repeat(), steps=10)
print("Loss :", loss)
print("Accuracy :", accuracy)
10/10 [==============================] - 0s 1ms/step - loss: 0.4299 - accuracy: 0.8625 Loss : 0.4299231171607971 Accuracy : 0.862500011920929
Model.predict呼び出す場合、ラベルは必要ありません。
predict_ds = tf.data.Dataset.from_tensor_slices(images).batch(32)
result = model.predict(predict_ds, steps = 10)
print(result.shape)
(320, 10)
ただし、ラベルを含むデータセットを渡すと、ラベルは無視されます。
result = model.predict(fmnist_train_ds, steps = 10)
print(result.shape)
(320, 10)