推定者

TensorFlow.orgで見る

Google Colabで実行

GitHubでソースを表示する

ノートブックをダウンロード

このドキュメントの紹介tf.estimator -a高レベルTensorFlowのAPI。エスティメータは次のアクションをカプセル化します。

• トレーニング
• 評価
• 予測
• サービングのためのエクスポート

私たちが提供する既成の見積もりを使用するか、独自のカスタム見積もりを作成することができます。すべてのEstimator（既製でもカスタムでも）は、 tf.estimator.Estimatorクラスに基づくクラスです。

簡単な例として、 Estimatorチュートリアルを試してください 。 API設計の概要については、 ホワイトペーパーを参照してください。

メリット

tf.keras.Modelと同様に、 estimatorはモデルレベルの抽象化です。 tf.estimatorは、現在tf.kerasために現在開発中のいくつかの機能を提供します。これらは：

• パラメータサーバーベースのトレーニング
• TFXの完全な統合。

見積もり機能

見積もりには次の利点があります。

• モデルを変更せずに、ローカルホストまたは分散マルチサーバー環境でEstimatorベースのモデルを実行できます。さらに、モデルを再コーディングせずに、CPU、GPU、またはTPUでEstimatorベースのモデルを実行できます。
• 推定器は、次の方法とタイミングを制御する安全な分散トレーニングループを提供します。
  • データを読み込む
  • 例外を処理する
  • チェックポイントファイルを作成し、障害から回復する
  • TensorBoardの概要を保存する

Estimatorを使用してアプリケーションを作成する場合は、データ入力パイプラインをモデルから分離する必要があります。この分離により、さまざまなデータセットでの実験が簡素化されます。

既製の見積もり

事前に作成された推定器を使用すると、ベースのTensorFlow APIよりもはるかに高い概念レベルで作業できます。 Estimatorsがすべての「配管」を処理するため、計算グラフやセッションの作成について心配する必要がなくなります。さらに、事前に作成されたEstimatorを使用すると、最小限のコード変更だけでさまざまなモデルアーキテクチャを試すことができます。たとえば、 tf.estimator.DNNClassifierは、密なフィードフォワードニューラルネットワークに基づいて分類モデルをトレーニングする既成のEstimatorクラスです。

既成のEstimatorsプログラムの構造

事前に作成されたEstimatorに依存するTensorFlowプログラムは、通常、次の4つのステップで構成されています。

1. 1つ以上のデータセットインポート関数を記述します。

たとえば、トレーニングセットをインポートする関数とテストセットをインポートする関数を作成できます。各データセットインポート関数は2つのオブジェクトを返す必要があります。

• キーが特徴名で値が対応する特徴データを含むTensors（またはSparseTensors）である辞書
• 1つ以上のラベルを含むTensor

たとえば、次のコードは入力関数の基本的なスケルトンを示しています。

def input_fn(dataset):
    ...  # manipulate dataset, extracting the feature dict and the label
    return feature_dict, label

詳細については、 データガイドを参照してください。

2.特徴列を定義します。

各tf.feature_columnは、機能名、そのタイプ、および入力前処理を識別します。たとえば、次のスニペットは、整数または浮動小数点データを保持する3つの機能列を作成します。最初の2つの機能列は、単に機能の名前とタイプを識別します。 3番目の機能列は、生データをスケーリングするためにプログラムが呼び出すラムダも指定します。

# Define three numeric feature columns.
population = tf.feature_column.numeric_column('population')
crime_rate = tf.feature_column.numeric_column('crime_rate')
median_education = tf.feature_column.numeric_column(
  'median_education',
  normalizer_fn=lambda x: x - global_education_mean)

詳細については、 機能列のチュートリアルを参照してください 。

3.関連する既製のEstimatorをインスタンス化します。

たとえば、 LinearClassifierという名前のLinearClassifier Estimatorのインスタンス化の例を次に示します。

# Instantiate an estimator, passing the feature columns.
estimator = tf.estimator.LinearClassifier(
  feature_columns=[population, crime_rate, median_education])

詳細については、 線形分類子のチュートリアルを参照してください 。

4.トレーニング、評価、または推論メソッドを呼び出します。

たとえば、すべてのEstimatorは、モデルをトレーニングするtrainメソッドを提供します。

# `input_fn` is the function created in Step 1
estimator.train(input_fn=my_training_set, steps=2000)

この例を以下に示します。

既成の見積もりの​​利点

事前に作成されたEstimatorはベストプラクティスをエンコードし、次の利点を提供します。

• 計算グラフのさまざまな部分を実行する場所を決定し、単一のマシンまたはクラスターに戦略を実装するためのベストプラクティス。
• イベント（概要）を作成するためのベストプラクティスと一般的に役立つ概要。

既成のEstimatorを使用しない場合は、前述の機能を自分で実装する必要があります。

カスタム推定量

すべてのEstimatorの中心は、既製でもカスタムでも、そのモデル関数です 。これは、トレーニング、評価、予測のためのグラフを作成する方法です。既製のEstimatorを使用している場合、他の誰かがすでにモデル関数を実装しています。カスタムEstimatorを使用する場合は、モデル関数を自分で作成する必要があります。

推奨ワークフロー

1. 適切な既成のEstimatorが存在すると仮定して、それを使用して最初のモデルを構築し、その結果を使用してベースラインを確立します。
2. この既成のEstimatorを使用して、データの整合性と信頼性を含め、全体的なパイプラインを構築してテストします。
3. 適切な代替の事前作成された推定器が利用可能な場合は、実験を実行して、どの事前作成された推定器が最良の結果を生成するかを決定します。
4. おそらく、独自のカスタムEstimatorを作成して、モデルをさらに改善します。

import tensorflow as tf

import tensorflow_datasets as tfds

Kerasモデルから推定器を作成する

tf.keras.estimator.model_to_estimatorを使用して、既存のtf.keras.estimator.model_to_estimatorモデルを推定器に変換できます。そうすることで、Kerasモデルが分散トレーニングなどのEstimatorの強みにアクセスできるようになります。

Keras MobileNet V2モデルをインスタンス化し、トレーニングするオプティマイザ、損失、およびメトリックを使用してモデルをコンパイルします。

keras_mobilenet_v2 = tf.keras.applications.MobileNetV2(
    input_shape=(160, 160, 3), include_top=False)
keras_mobilenet_v2.trainable = False

estimator_model = tf.keras.Sequential([
    keras_mobilenet_v2,
    tf.keras.layers.GlobalAveragePooling2D(),
    tf.keras.layers.Dense(1)
])

# Compile the model
estimator_model.compile(
    optimizer='adam',
    loss=tf.keras.losses.BinaryCrossentropy(from_logits=True),
    metrics=['accuracy'])

Downloading data from https://storage.googleapis.com/tensorflow/keras-applications/mobilenet_v2/mobilenet_v2_weights_tf_dim_ordering_tf_kernels_1.0_160_no_top.h5
9412608/9406464 [==============================] - 1s 0us/step

コンパイルされたKerasモデルからEstimatorを作成します。 Kerasモデルの初期モデル状態は、作成されたEstimator保持されます。

est_mobilenet_v2 = tf.keras.estimator.model_to_estimator(keras_model=estimator_model)

INFO:tensorflow:Using default config.
WARNING:tensorflow:Using temporary folder as model directory: /tmp/tmpk2yc1sw_
INFO:tensorflow:Using the Keras model provided.
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow_estimator/python/estimator/keras.py:220: set_learning_phase (from tensorflow.python.keras.backend) is deprecated and will be removed after 2020-10-11.
Instructions for updating:
Simply pass a True/False value to the `training` argument of the `__call__` method of your layer or model.
INFO:tensorflow:Using config: {'_model_dir': '/tmp/tmpk2yc1sw_', '_tf_random_seed': None, '_save_summary_steps': 100, '_save_checkpoints_steps': None, '_save_checkpoints_secs': 600, '_session_config': allow_soft_placement: true
graph_options {
  rewrite_options {
    meta_optimizer_iterations: ONE
  }
}
, '_keep_checkpoint_max': 5, '_keep_checkpoint_every_n_hours': 10000, '_log_step_count_steps': 100, '_train_distribute': None, '_device_fn': None, '_protocol': None, '_eval_distribute': None, '_experimental_distribute': None, '_experimental_max_worker_delay_secs': None, '_session_creation_timeout_secs': 7200, '_service': None, '_cluster_spec': ClusterSpec({}), '_task_type': 'worker', '_task_id': 0, '_global_id_in_cluster': 0, '_master': '', '_evaluation_master': '', '_is_chief': True, '_num_ps_replicas': 0, '_num_worker_replicas': 1}

他のEstimatorと同様に、派生Estimatorを扱います。

IMG_SIZE = 160  # All images will be resized to 160x160

def preprocess(image, label):
  image = tf.cast(image, tf.float32)
  image = (image/127.5) - 1
  image = tf.image.resize(image, (IMG_SIZE, IMG_SIZE))
  return image, label

def train_input_fn(batch_size):
  data = tfds.load('cats_vs_dogs', as_supervised=True)
  train_data = data['train']
  train_data = train_data.map(preprocess).shuffle(500).batch(batch_size)
  return train_data

トレーニングするには、Estimatorのtrain関数を呼び出します。

est_mobilenet_v2.train(input_fn=lambda: train_input_fn(32), steps=500)

WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/training/training_util.py:236: Variable.initialized_value (from tensorflow.python.ops.variables) is deprecated and will be removed in a future version.
Instructions for updating:
Use Variable.read_value. Variables in 2.X are initialized automatically both in eager and graph (inside tf.defun) contexts.
Downloading and preparing dataset cats_vs_dogs/4.0.0 (download: 786.68 MiB, generated: Unknown size, total: 786.68 MiB) to /home/kbuilder/tensorflow_datasets/cats_vs_dogs/4.0.0...

Warning:absl:1738 images were corrupted and were skipped

Shuffling and writing examples to /home/kbuilder/tensorflow_datasets/cats_vs_dogs/4.0.0.incompleteBO81F5/cats_vs_dogs-train.tfrecord
Dataset cats_vs_dogs downloaded and prepared to /home/kbuilder/tensorflow_datasets/cats_vs_dogs/4.0.0. Subsequent calls will reuse this data.
INFO:tensorflow:Calling model_fn.

INFO:tensorflow:Calling model_fn.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Warm-starting with WarmStartSettings: WarmStartSettings(ckpt_to_initialize_from='/tmp/tmpk2yc1sw_/keras/keras_model.ckpt', vars_to_warm_start='.*', var_name_to_vocab_info={}, var_name_to_prev_var_name={})

INFO:tensorflow:Warm-starting with WarmStartSettings: WarmStartSettings(ckpt_to_initialize_from='/tmp/tmpk2yc1sw_/keras/keras_model.ckpt', vars_to_warm_start='.*', var_name_to_vocab_info={}, var_name_to_prev_var_name={})

INFO:tensorflow:Warm-starting from: /tmp/tmpk2yc1sw_/keras/keras_model.ckpt

INFO:tensorflow:Warm-starting from: /tmp/tmpk2yc1sw_/keras/keras_model.ckpt

INFO:tensorflow:Warm-starting variables only in TRAINABLE_VARIABLES.

INFO:tensorflow:Warm-starting variables only in TRAINABLE_VARIABLES.

INFO:tensorflow:Warm-started 158 variables.

INFO:tensorflow:Warm-started 158 variables.

INFO:tensorflow:Create CheckpointSaverHook.

INFO:tensorflow:Create CheckpointSaverHook.

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 0...

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 0...

INFO:tensorflow:Saving checkpoints for 0 into /tmp/tmpk2yc1sw_/model.ckpt.

INFO:tensorflow:Saving checkpoints for 0 into /tmp/tmpk2yc1sw_/model.ckpt.

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 0...

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 0...

INFO:tensorflow:loss = 0.8240633, step = 0

INFO:tensorflow:loss = 0.8240633, step = 0

INFO:tensorflow:global_step/sec: 22.1268

INFO:tensorflow:global_step/sec: 22.1268

INFO:tensorflow:loss = 0.66763145, step = 100 (4.521 sec)

INFO:tensorflow:loss = 0.66763145, step = 100 (4.521 sec)

INFO:tensorflow:global_step/sec: 23.8348

INFO:tensorflow:global_step/sec: 23.8348

INFO:tensorflow:loss = 0.6708636, step = 200 (4.195 sec)

INFO:tensorflow:loss = 0.6708636, step = 200 (4.195 sec)

INFO:tensorflow:global_step/sec: 23.9713

INFO:tensorflow:global_step/sec: 23.9713

INFO:tensorflow:loss = 0.61437285, step = 300 (4.172 sec)

INFO:tensorflow:loss = 0.61437285, step = 300 (4.172 sec)

INFO:tensorflow:global_step/sec: 23.8109

INFO:tensorflow:global_step/sec: 23.8109

INFO:tensorflow:loss = 0.65069425, step = 400 (4.199 sec)

INFO:tensorflow:loss = 0.65069425, step = 400 (4.199 sec)

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 500...

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 500...

INFO:tensorflow:Saving checkpoints for 500 into /tmp/tmpk2yc1sw_/model.ckpt.

INFO:tensorflow:Saving checkpoints for 500 into /tmp/tmpk2yc1sw_/model.ckpt.

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 500...

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 500...

INFO:tensorflow:Loss for final step: 0.5952678.

INFO:tensorflow:Loss for final step: 0.5952678.

<tensorflow_estimator.python.estimator.estimator.EstimatorV2 at 0x7f6a584aeb70>

同様に、評価するには、Estimatorのevaluate関数を呼び出します。

est_mobilenet_v2.evaluate(input_fn=lambda: train_input_fn(32), steps=10)

INFO:tensorflow:Calling model_fn.

INFO:tensorflow:Calling model_fn.

Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/keras/engine/training_v1.py:2048: Model.state_updates (from tensorflow.python.keras.engine.training) is deprecated and will be removed in a future version.
Instructions for updating:
This property should not be used in TensorFlow 2.0, as updates are applied automatically.

Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/keras/engine/training_v1.py:2048: Model.state_updates (from tensorflow.python.keras.engine.training) is deprecated and will be removed in a future version.
Instructions for updating:
This property should not be used in TensorFlow 2.0, as updates are applied automatically.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Starting evaluation at 2020-09-11T01:22:33Z

INFO:tensorflow:Starting evaluation at 2020-09-11T01:22:33Z

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Restoring parameters from /tmp/tmpk2yc1sw_/model.ckpt-500

INFO:tensorflow:Restoring parameters from /tmp/tmpk2yc1sw_/model.ckpt-500

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Evaluation [1/10]

INFO:tensorflow:Evaluation [1/10]

INFO:tensorflow:Evaluation [2/10]

INFO:tensorflow:Evaluation [2/10]

INFO:tensorflow:Evaluation [3/10]

INFO:tensorflow:Evaluation [3/10]

INFO:tensorflow:Evaluation [4/10]

INFO:tensorflow:Evaluation [4/10]

INFO:tensorflow:Evaluation [5/10]

INFO:tensorflow:Evaluation [5/10]

INFO:tensorflow:Evaluation [6/10]

INFO:tensorflow:Evaluation [6/10]

INFO:tensorflow:Evaluation [7/10]

INFO:tensorflow:Evaluation [7/10]

INFO:tensorflow:Evaluation [8/10]

INFO:tensorflow:Evaluation [8/10]

INFO:tensorflow:Evaluation [9/10]

INFO:tensorflow:Evaluation [9/10]

INFO:tensorflow:Evaluation [10/10]

INFO:tensorflow:Evaluation [10/10]

INFO:tensorflow:Inference Time : 2.07820s

INFO:tensorflow:Inference Time : 2.07820s

INFO:tensorflow:Finished evaluation at 2020-09-11-01:22:35

INFO:tensorflow:Finished evaluation at 2020-09-11-01:22:35

INFO:tensorflow:Saving dict for global step 500: accuracy = 0.63125, global_step = 500, loss = 0.630646

INFO:tensorflow:Saving dict for global step 500: accuracy = 0.63125, global_step = 500, loss = 0.630646

INFO:tensorflow:Saving 'checkpoint_path' summary for global step 500: /tmp/tmpk2yc1sw_/model.ckpt-500

INFO:tensorflow:Saving 'checkpoint_path' summary for global step 500: /tmp/tmpk2yc1sw_/model.ckpt-500

{'accuracy': 0.63125, 'loss': 0.630646, 'global_step': 500}

詳細については、 tf.keras.estimator.model_to_estimatorのドキュメントを参照してください。