SIG TFX-Addonsコミュニティに参加して、TFXをさらに改善してください!
このページは Cloud Translation API によって翻訳されました。
Switch to English

TensorFlowモデル分析

TensorFlow Extended(TFX)の主要コンポーネントの例

TensorFlow Model Analysis(TFMA)は、データのさまざまなスライスにわたってモデル評価を実行するためのライブラリです。 TFMAは、 Apache Beamを使用して、大量のデータに対して分散して計算を実行します。

このサンプルのcolabノートブックは、TFMAを使用して、データセットの特性に関してモデルのパフォーマンスを調査および視覚化する方法を示しています。以前にトレーニングしたモデルを使用します。これで、結果を試すことができます。私たちがトレーニングしたモデルは、シカゴ市がリリースしたTaxiTripsデータセットを使用するChicagoTaxiExample用です。 BigQueryUIで完全なデータセットを調べます。

モデラーおよび開発者として、このデータがどのように使用されるか、およびモデルの予測が引き起こす可能性のある潜在的な利益と害について考えてください。このようなモデルは、社会の偏見や格差を強化する可能性があります。機能は解決したい問題に関連していますか、それともバイアスを導入しますか?詳細については、 MLの公平性についてお読みください。

データセットの列は次のとおりです。

Pickup_community_area運賃trip_start_month
trip_start_hour trip_start_day trip_start_timestamp
Pickup_latitude Pickup_longitude dropoff_latitude
dropoff_longitude trip_miles Pickup_census_tract
dropoff_census_tract支払いタイプ会社
trip_seconds dropoff_community_areaチップ

JupyterExtensionsをインストールする

jupyter nbextension enable --py widgetsnbextension --sys-prefix 
jupyter nbextension install --py --symlink tensorflow_model_analysis --sys-prefix 
jupyter nbextension enable --py tensorflow_model_analysis --sys-prefix 

TensorFlowモデル分析(TFMA)をインストールします

これにより、すべての依存関係が取り込まれ、1分かかります。

すべての依存関係が正しくインストールされていることを確認するために、エラーが発生しないようにする前に、このインストール手順を複数回再実行する必要がある場合があります。

# This setup was tested with TF 2.3 and TFMA 0.24 (using colab), but it should
# also work with the latest release.
import sys

# Confirm that we're using Python 3
assert sys.version_info.major==3, 'This notebook must be run using Python 3.'

print('Installing TensorFlow')
import tensorflow as tf
print('TF version: {}'.format(tf.__version__))

print('Installing Tensorflow Model Analysis and Dependencies')
!pip install -q tensorflow_model_analysis
import apache_beam as beam
print('Beam version: {}'.format(beam.__version__))
import tensorflow_model_analysis as tfma
print('TFMA version: {}'.format(tfma.__version__))

ファイルをロードする

必要なものがすべて含まれているtarファイルをダウンロードします。これには以下が含まれます。

  • トレーニングと評価のデータセット
  • データスキーマ
  • 保存されたモデル(ケラと推定量)と評価された保存されたモデル(推定量)のトレーニングと提供。
# Download the tar file from GCP and extract it
import io, os, tempfile
TAR_NAME = 'saved_models-2.2'
BASE_DIR = tempfile.mkdtemp()
DATA_DIR = os.path.join(BASE_DIR, TAR_NAME, 'data')
MODELS_DIR = os.path.join(BASE_DIR, TAR_NAME, 'models')
SCHEMA = os.path.join(BASE_DIR, TAR_NAME, 'schema.pbtxt')
OUTPUT_DIR = os.path.join(BASE_DIR, 'output')

!curl -O https://storage.googleapis.com/artifacts.tfx-oss-public.appspot.com/datasets/{TAR_NAME}.tar
!tar xf {TAR_NAME}.tar
!mv {TAR_NAME} {BASE_DIR}
!rm {TAR_NAME}.tar

print("Here's what we downloaded:")
!ls -R {BASE_DIR}
% Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 6800k  100 6800k    0     0  36.0M      0 --:--:-- --:--:-- --:--:-- 36.0M
Here's what we downloaded:
/tmp/tmpwwp9evm1:
saved_models-2.2

/tmp/tmpwwp9evm1/saved_models-2.2:
data  models  schema.pbtxt

/tmp/tmpwwp9evm1/saved_models-2.2/data:
eval  train

/tmp/tmpwwp9evm1/saved_models-2.2/data/eval:
data.csv

/tmp/tmpwwp9evm1/saved_models-2.2/data/train:
data.csv

/tmp/tmpwwp9evm1/saved_models-2.2/models:
estimator  keras

/tmp/tmpwwp9evm1/saved_models-2.2/models/estimator:
eval_model_dir  serving_model_dir

/tmp/tmpwwp9evm1/saved_models-2.2/models/estimator/eval_model_dir:
1591221811

/tmp/tmpwwp9evm1/saved_models-2.2/models/estimator/eval_model_dir/1591221811:
saved_model.pb  tmp.pbtxt  variables

/tmp/tmpwwp9evm1/saved_models-2.2/models/estimator/eval_model_dir/1591221811/variables:
variables.data-00000-of-00001  variables.index

/tmp/tmpwwp9evm1/saved_models-2.2/models/estimator/serving_model_dir:
checkpoint
eval_chicago-taxi-eval
events.out.tfevents.1591221780.my-pipeline-b57vp-237544850
export
graph.pbtxt
model.ckpt-100.data-00000-of-00001
model.ckpt-100.index
model.ckpt-100.meta

/tmp/tmpwwp9evm1/saved_models-2.2/models/estimator/serving_model_dir/eval_chicago-taxi-eval:
events.out.tfevents.1591221799.my-pipeline-b57vp-237544850

/tmp/tmpwwp9evm1/saved_models-2.2/models/estimator/serving_model_dir/export:
chicago-taxi

/tmp/tmpwwp9evm1/saved_models-2.2/models/estimator/serving_model_dir/export/chicago-taxi:
1591221801

/tmp/tmpwwp9evm1/saved_models-2.2/models/estimator/serving_model_dir/export/chicago-taxi/1591221801:
saved_model.pb  variables

/tmp/tmpwwp9evm1/saved_models-2.2/models/estimator/serving_model_dir/export/chicago-taxi/1591221801/variables:
variables.data-00000-of-00001  variables.index

/tmp/tmpwwp9evm1/saved_models-2.2/models/keras:
0  1  2

/tmp/tmpwwp9evm1/saved_models-2.2/models/keras/0:
saved_model.pb  variables

/tmp/tmpwwp9evm1/saved_models-2.2/models/keras/0/variables:
variables.data-00000-of-00001  variables.index

/tmp/tmpwwp9evm1/saved_models-2.2/models/keras/1:
saved_model.pb  variables

/tmp/tmpwwp9evm1/saved_models-2.2/models/keras/1/variables:
variables.data-00000-of-00001  variables.index

/tmp/tmpwwp9evm1/saved_models-2.2/models/keras/2:
saved_model.pb  variables

/tmp/tmpwwp9evm1/saved_models-2.2/models/keras/2/variables:
variables.data-00000-of-00001  variables.index

スキーマを解析する

ダウンロードしたものの中には、 TensorFlow DataValidationによって作成されたデータのスキーマがありました。 TFMAで使用できるように、これを解析してみましょう。

import tensorflow as tf
from google.protobuf import text_format
from tensorflow.python.lib.io import file_io
from tensorflow_metadata.proto.v0 import schema_pb2
from tensorflow.core.example import example_pb2

schema = schema_pb2.Schema()
contents = file_io.read_file_to_string(SCHEMA)
schema = text_format.Parse(contents, schema)

スキーマを使用してTFRecordを作成する

データセットへのTFMAアクセスを許可する必要があるので、TFRecordsファイルを作成しましょう。各機能に正しいタイプが提供されるため、スキーマを使用してスキーマを作成できます。

import csv

datafile = os.path.join(DATA_DIR, 'eval', 'data.csv')
reader = csv.DictReader(open(datafile, 'r'))
examples = []
for line in reader:
  example = example_pb2.Example()
  for feature in schema.feature:
    key = feature.name
    if feature.type == schema_pb2.FLOAT:
      example.features.feature[key].float_list.value[:] = (
          [float(line[key])] if len(line[key]) > 0 else [])
    elif feature.type == schema_pb2.INT:
      example.features.feature[key].int64_list.value[:] = (
          [int(line[key])] if len(line[key]) > 0 else [])
    elif feature.type == schema_pb2.BYTES:
      example.features.feature[key].bytes_list.value[:] = (
          [line[key].encode('utf8')] if len(line[key]) > 0 else [])
  # Add a new column 'big_tipper' that indicates if tips was > 20% of the fare. 
  # TODO(b/157064428): Remove after label transformation is supported for Keras.
  big_tipper = float(line['tips']) > float(line['fare']) * 0.2
  example.features.feature['big_tipper'].float_list.value[:] = [big_tipper]
  examples.append(example)

tfrecord_file = os.path.join(BASE_DIR, 'train_data.rio')
with tf.io.TFRecordWriter(tfrecord_file) as writer:
  for example in examples:
    writer.write(example.SerializeToString())

!ls {tfrecord_file}
/tmp/tmpwwp9evm1/train_data.rio

TFMAのセットアップと実行

TFMAは、TF kerasモデル、一般的なTF2シグネチャAPIに基づくモデル、TF推定器ベースのモデルなど、さまざまなモデルタイプをサポートしています。 get_startedガイドには、サポートされているモデルタイプの完全なリストと制限があります。この例では、 EvalSavedModelベースのモデルと、 EvalSavedModelとして保存されたEstimatorベースのモデルを構成する方法を示します。他の構成の例については、 FAQを参照してください

TFMAは、トレーニング時に使用されたメトリック(つまり、組み込みメトリック)と、モデルがTFMA構成設定の一部として保存された後に定義されたメトリックの計算をサポートします。 kerasのセットアップでは、構成の一部としてメトリックとプロットを手動で追加する方法を示します(サポートされているメトリックとプロットについては、メトリックガイドを参照してください)。 Estimatorのセットアップには、モデルとともに保存された組み込みのメトリックを使用します。私たちのセットアップには、次のセクションでより詳細に説明するいくつかのスライス仕様も含まれています。

tfma.EvalConfigtfma.EvalSharedModelを作成した後、 tfma.EvalSharedModelを使用してtfma.run_model_analysis実行できます。これにより、 tfma.EvalResultメトリックとプロットをレンダリングするために使用できるtfma.EvalResultが作成されます。

ケラス

import tensorflow_model_analysis as tfma

# Setup tfma.EvalConfig settings
keras_eval_config = text_format.Parse("""
  ## Model information
  model_specs {
    # For keras (and serving models) we need to add a `label_key`.
    label_key: "big_tipper"
  }

  ## Post training metric information. These will be merged with any built-in
  ## metrics from training.
  metrics_specs {
    metrics { class_name: "ExampleCount" }
    metrics { class_name: "BinaryAccuracy" }
    metrics { class_name: "BinaryCrossentropy" }
    metrics { class_name: "AUC" }
    metrics { class_name: "AUCPrecisionRecall" }
    metrics { class_name: "Precision" }
    metrics { class_name: "Recall" }
    metrics { class_name: "MeanLabel" }
    metrics { class_name: "MeanPrediction" }
    metrics { class_name: "Calibration" }
    metrics { class_name: "CalibrationPlot" }
    metrics { class_name: "ConfusionMatrixPlot" }
    # ... add additional metrics and plots ...
  }

  ## Slicing information
  slicing_specs {}  # overall slice
  slicing_specs {
    feature_keys: ["trip_start_hour"]
  }
  slicing_specs {
    feature_keys: ["trip_start_day"]
  }
  slicing_specs {
    feature_values: {
      key: "trip_start_month"
      value: "1"
    }
  }
  slicing_specs {
    feature_keys: ["trip_start_hour", "trip_start_day"]
  }
""", tfma.EvalConfig())

# Create a tfma.EvalSharedModel that points at our keras model.
keras_model_path = os.path.join(MODELS_DIR, 'keras', '2')
keras_eval_shared_model = tfma.default_eval_shared_model(
    eval_saved_model_path=keras_model_path,
    eval_config=keras_eval_config)

keras_output_path = os.path.join(OUTPUT_DIR, 'keras')

# Run TFMA
keras_eval_result = tfma.run_model_analysis(
    eval_shared_model=keras_eval_shared_model,
    eval_config=keras_eval_config,
    data_location=tfrecord_file,
    output_path=keras_output_path)
WARNING:absl:Tensorflow version (2.4.1) found. Note that TFMA support for TF 2.0 is currently in beta
WARNING:apache_beam.runners.interactive.interactive_environment:Dependencies required for Interactive Beam PCollection visualization are not available, please use: `pip install apache-beam[interactive]` to install necessary dependencies to enable all data visualization features.
WARNING:apache_beam.io.tfrecordio:Couldn't find python-snappy so the implementation of _TFRecordUtil._masked_crc32c is not as fast as it could be.
WARNING:tensorflow:From /home/kbuilder/.local/lib/python3.6/site-packages/tensorflow_model_analysis/writers/metrics_plots_and_validations_writer.py:112: tf_record_iterator (from tensorflow.python.lib.io.tf_record) is deprecated and will be removed in a future version.
Instructions for updating:
Use eager execution and: 
`tf.data.TFRecordDataset(path)`
WARNING:tensorflow:From /home/kbuilder/.local/lib/python3.6/site-packages/tensorflow_model_analysis/writers/metrics_plots_and_validations_writer.py:112: tf_record_iterator (from tensorflow.python.lib.io.tf_record) is deprecated and will be removed in a future version.
Instructions for updating:
Use eager execution and: 
`tf.data.TFRecordDataset(path)`

Estimator

import tensorflow_model_analysis as tfma

# Setup tfma.EvalConfig settings
estimator_eval_config = text_format.Parse("""
  ## Model information
  model_specs {
    # To use EvalSavedModel set `signature_name` to "eval".
    signature_name: "eval"
  }

  ## Post training metric information. These will be merged with any built-in
  ## metrics from training.
  metrics_specs {
    metrics { class_name: "ConfusionMatrixPlot" }
    # ... add additional metrics and plots ...
  }

  ## Slicing information
  slicing_specs {}  # overall slice
  slicing_specs {
    feature_keys: ["trip_start_hour"]
  }
  slicing_specs {
    feature_keys: ["trip_start_day"]
  }
  slicing_specs {
    feature_values: {
      key: "trip_start_month"
      value: "1"
    }
  }
  slicing_specs {
    feature_keys: ["trip_start_hour", "trip_start_day"]
  }
""", tfma.EvalConfig())

# Create a tfma.EvalSharedModel that points at our eval saved model.
estimator_base_model_path = os.path.join(
    MODELS_DIR, 'estimator', 'eval_model_dir')
estimator_model_path = os.path.join(
    estimator_base_model_path, os.listdir(estimator_base_model_path)[0])
estimator_eval_shared_model = tfma.default_eval_shared_model(
    eval_saved_model_path=estimator_model_path,
    eval_config=estimator_eval_config)

estimator_output_path = os.path.join(OUTPUT_DIR, 'estimator')

# Run TFMA
estimator_eval_result = tfma.run_model_analysis(
    eval_shared_model=estimator_eval_shared_model,
    eval_config=estimator_eval_config,
    data_location=tfrecord_file,
    output_path=estimator_output_path)
WARNING:absl:Tensorflow version (2.4.1) found. Note that TFMA support for TF 2.0 is currently in beta
WARNING:tensorflow:From /home/kbuilder/.local/lib/python3.6/site-packages/tensorflow_model_analysis/eval_saved_model/load.py:169: load (from tensorflow.python.saved_model.loader_impl) is deprecated and will be removed in a future version.
Instructions for updating:
This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.loader.load or tf.compat.v1.saved_model.load. There will be a new function for importing SavedModels in Tensorflow 2.0.
WARNING:tensorflow:From /home/kbuilder/.local/lib/python3.6/site-packages/tensorflow_model_analysis/eval_saved_model/load.py:169: load (from tensorflow.python.saved_model.loader_impl) is deprecated and will be removed in a future version.
Instructions for updating:
This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.loader.load or tf.compat.v1.saved_model.load. There will be a new function for importing SavedModels in Tensorflow 2.0.
INFO:tensorflow:Restoring parameters from /tmp/tmpwwp9evm1/saved_models-2.2/models/estimator/eval_model_dir/1591221811/variables/variables
INFO:tensorflow:Restoring parameters from /tmp/tmpwwp9evm1/saved_models-2.2/models/estimator/eval_model_dir/1591221811/variables/variables
WARNING:tensorflow:From /home/kbuilder/.local/lib/python3.6/site-packages/tensorflow_model_analysis/eval_saved_model/graph_ref.py:189: get_tensor_from_tensor_info (from tensorflow.python.saved_model.utils_impl) is deprecated and will be removed in a future version.
Instructions for updating:
This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.utils.get_tensor_from_tensor_info or tf.compat.v1.saved_model.get_tensor_from_tensor_info.
WARNING:tensorflow:From /home/kbuilder/.local/lib/python3.6/site-packages/tensorflow_model_analysis/eval_saved_model/graph_ref.py:189: get_tensor_from_tensor_info (from tensorflow.python.saved_model.utils_impl) is deprecated and will be removed in a future version.
Instructions for updating:
This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.utils.get_tensor_from_tensor_info or tf.compat.v1.saved_model.get_tensor_from_tensor_info.

メトリックとプロットの視覚化

評価を実行したので、TFMAを使用した視覚化を見てみましょう。次の例では、kerasモデルで評価を実行した結果を視覚化します。 estimatorベースのモデルを表示するには、 eval_resultを更新してestimator_eval_result変数をポイントします。

eval_result = keras_eval_result
# eval_result = estimator_eval_result

レンダリングメトリック

指標を表示するには、 tfma.view.render_slicing_metricsを使用しtfma.view.render_slicing_metrics

デフォルトでは、ビューにはOverallスライスが表示されます。特定のスライスを表示するには、列の名前を使用するか( slicing_columnを設定して)、 tfma.SlicingSpecます。

メトリックの視覚化は、次の相互作用をサポートします。

  • クリックしてドラッグしてパン
  • スクロールしてズーム
  • 右クリックしてビューをリセットします
  • 目的のデータポイントにカーソルを合わせると、詳細が表示されます。
  • 下部の選択を使用して、4つの異なるタイプのビューから選択します。

たとえば、 slicing_columnを設定して、以前のslicing_specs trip_start_hour機能をslicing_specsます。

tfma.view.render_slicing_metrics(eval_result, slicing_column='trip_start_hour')
SlicingMetricsViewer(config={'weightedExamplesColumn': 'example_count'}, data=[{'slice': 'trip_start_hour:2', …

スライスの概要

スライスの数が少ない場合、デフォルトの視覚化はスライスの概要です。各スライスのメトリックの値が表示されます。上記のtrip_start_hourを選択したため、1時間ごとの精度やAUCなどの指標が表示され、特定の時間に固有の問題を探し、他の時間には固有の問題を探すことができません。

上記の視覚化では:

  • 列ヘッダーをクリックして、 trip_start_hours機能である機能列を並べ替えてみてください
  • 精度で並べ替えてみてください。例を使用した一部の時間の精度が0であることに注意してください。これは、問題を示している可能性があります。

このグラフでは、スライス内のさまざまな指標を選択して表示することもできます。

  • [表示]メニューからさまざまな指標を選択してみてください
  • [表示]メニューでリコールを選択してみてください。例を使用した一部の時間のリコールは0であり、問​​題がある可能性があります。

しきい値を設定して、例の数が少ないスライス、つまり「重み」を除外することもできます。最小数の例を入力するか、スライダーを使用できます。

メトリックヒストグラム

このビューは、代替の視覚化としてメトリックヒストグラムもサポートします。これは、スライスの数が多い場合のデフォルトのビューでもあります。結果はバケットに分割され、スライス数/総重量/両方を視覚化できます。列ヘッダーをクリックすると、列を並べ替えることができます。重みが小さいスライスは、しきい値を設定することで除外できます。灰色の帯をドラッグすると、さらにフィルタリングを適用できます。範囲をリセットするには、バンドをダブルクリックします。フィルタリングを使用して、ビジュアライゼーションテーブルとメトリックテーブルの外れ値を削除することもできます。歯車アイコンをクリックして、線形目盛ではなく対数目盛に切り替えます。

  • Visualizationメニューで「MetricsHistogram」を選択してみてください

その他のスライス

私たちの最初のtfma.EvalConfig全体のリストを作成slicing_specs我々はに渡されたスライス情報更新することで可視化することができ、 tfma.view.render_slicing_metrics 。ここでは、 trip_start_dayスライス(曜日)を選択します。 trip_start_daytrip_start_month変更し、もう一度レンダリングして、さまざまなスライスを調べてみてください。

tfma.view.render_slicing_metrics(eval_result, slicing_column='trip_start_day')
SlicingMetricsViewer(config={'weightedExamplesColumn': 'example_count'}, data=[{'slice': 'trip_start_day:3', '…

TFMAは、機能の組み合わせを分析するための機能クロスの作成もサポートしています。元の設定では、 trip_start_hourtrip_start_dayクロスが作成されました。

tfma.view.render_slicing_metrics(
    eval_result,
    slicing_spec=tfma.SlicingSpec(
        feature_keys=['trip_start_hour', 'trip_start_day']))
SlicingMetricsViewer(config={'weightedExamplesColumn': 'example_count'}, data=[{'slice': 'trip_start_day_X_tri…

2つの列を交差させると、多くの組み合わせが作成されます。正午から始まる旅行だけを見るように、クロスを絞り込みましょう。次に、視覚化からbinary_accuracyを選択しましょう。

tfma.view.render_slicing_metrics(
    eval_result,
    slicing_spec=tfma.SlicingSpec(
        feature_keys=['trip_start_day'], feature_values={'trip_start_hour': '12'}))
SlicingMetricsViewer(config={'weightedExamplesColumn': 'example_count'}, data=[{'slice': 'trip_start_day_X_tri…

レンダリングプロット

追加された任意のプロットtfma.EvalConfigポストトレーニングとしてmetric_specs使用して表示することができtfma.view.render_plot

メトリックと同様に、プロットはスライスごとに表示できます。メトリックとは異なり、特定のスライス値のプロットのみを表示できるため、 tfma.SlicingSpec使用し、スライスフィーチャの名前と値の両方を指定する必要があります。スライスが提供されていない場合は、スライスOverallのプロットが使用されます。

以下の例では、 trip_start_hour:1スライスに対して計算されたCalibrationPlotプロットとConfusionMatrixPlotプロットを表示しています。

tfma.view.render_plot(
    eval_result,
    tfma.SlicingSpec(feature_values={'trip_start_hour': '1'}))
PlotViewer(config={'sliceName': 'trip_start_hour:1', 'metricKeys': {'calibrationPlot': {'metricName': 'calibra…

モデルのパフォーマンスを経時的に追跡する

トレーニングデータセットはモデルのトレーニングに使用され、テストデータセットと本番環境でモデルに送信されるデータを代表するものになることを願っています。ただし、推論リクエストのデータはトレーニングデータと同じままである場合がありますが、多くの場合、モデルのパフォーマンスが変化するほど十分に変化し始めます。

つまり、モデルのパフォーマンスを継続的に監視および測定して、変更を認識して対応できるようにする必要があります。 TFMAがどのように役立つかを見てみましょう。

3つの異なるモデル実行をロードし、TFMAを使用して、 render_time_seriesを使用してそれらがどのように比較されるかを確認してみましょう。

# Note this re-uses the EvalConfig from the keras setup.

# Run eval on each saved model
output_paths = []
for i in range(3):
  # Create a tfma.EvalSharedModel that points at our saved model.
  eval_shared_model = tfma.default_eval_shared_model(
      eval_saved_model_path=os.path.join(MODELS_DIR, 'keras', str(i)),
      eval_config=keras_eval_config)

  output_path = os.path.join(OUTPUT_DIR, 'time_series', str(i))
  output_paths.append(output_path)

  # Run TFMA
  tfma.run_model_analysis(eval_shared_model=eval_shared_model,
                          eval_config=keras_eval_config,
                          data_location=tfrecord_file,
                          output_path=output_path)
WARNING:absl:Tensorflow version (2.4.1) found. Note that TFMA support for TF 2.0 is currently in beta
WARNING:absl:Tensorflow version (2.4.1) found. Note that TFMA support for TF 2.0 is currently in beta
WARNING:absl:Tensorflow version (2.4.1) found. Note that TFMA support for TF 2.0 is currently in beta

まず、昨日モデルをトレーニングしてデプロイしたことを想像します。次に、今日入ってくる新しいデータでモデルがどのように機能するかを確認します。視覚化は、AUCを表示することから始まります。 UIから次のことができます。

  • [メトリックシリーズの追加]メニューを使用して、他のメトリックを追加します。
  • xをクリックして不要なグラフを閉じます
  • 詳細を表示するには、データポイント(グラフの線分の端)にカーソルを合わせます。
eval_results_from_disk = tfma.load_eval_results(output_paths[:2])

tfma.view.render_time_series(eval_results_from_disk)
TimeSeriesViewer(config={'isModelCentric': True}, data=[{'metrics': {'': {'': {'binary_accuracy': {'doubleValu…

ここで、別の日が経過したことを想像し、前の2日間と比較して、今日入ってくる新しいデータでそれがどのように行われているかを確認したいと思います。

eval_results_from_disk = tfma.load_eval_results(output_paths)

tfma.view.render_time_series(eval_results_from_disk)
TimeSeriesViewer(config={'isModelCentric': True}, data=[{'metrics': {'': {'': {'binary_accuracy': {'doubleValu…

モデルの検証

TFMAは、複数のモデルを同時に評価するように構成できます。通常、これは、新しいモデルをベースライン(現在提供されているモデルなど)と比較して、メトリック(AUC​​など)のパフォーマンスの違いがベースラインと比較してどの程度であるかを判断するために行われます。しきい値が構成されている場合、TFMAはパフォーマンスが期待値と一致するかどうかを示すtfma.ValidationResultレコードを生成します。

候補とベースラインの2つのモデルを比較するために、keras評価を再構成してみましょう。また、AUCメトリックにtmfa.MetricThresholdを設定することにより、ベースラインに対する候補者のパフォーマンスを検証します。

# Setup tfma.EvalConfig setting
eval_config_with_thresholds = text_format.Parse("""
  ## Model information
  model_specs {
    name: "candidate"
    # For keras we need to add a `label_key`.
    label_key: "big_tipper"
  }
  model_specs {
    name: "baseline"
    # For keras we need to add a `label_key`.
    label_key: "big_tipper"
    is_baseline: true
  }

  ## Post training metric information
  metrics_specs {
    metrics { class_name: "ExampleCount" }
    metrics { class_name: "BinaryAccuracy" }
    metrics { class_name: "BinaryCrossentropy" }
    metrics {
      class_name: "AUC"
      threshold {
        # Ensure that AUC is always > 0.9
        value_threshold {
          lower_bound { value: 0.9 }
        }
        # Ensure that AUC does not drop by more than a small epsilon
        # e.g. (candidate - baseline) > -1e-10 or candidate > baseline - 1e-10
        change_threshold {
          direction: HIGHER_IS_BETTER
          absolute { value: -1e-10 }
        }
      }
    }
    metrics { class_name: "AUCPrecisionRecall" }
    metrics { class_name: "Precision" }
    metrics { class_name: "Recall" }
    metrics { class_name: "MeanLabel" }
    metrics { class_name: "MeanPrediction" }
    metrics { class_name: "Calibration" }
    metrics { class_name: "CalibrationPlot" }
    metrics { class_name: "ConfusionMatrixPlot" }
    # ... add additional metrics and plots ...
  }

  ## Slicing information
  slicing_specs {}  # overall slice
  slicing_specs {
    feature_keys: ["trip_start_hour"]
  }
  slicing_specs {
    feature_keys: ["trip_start_day"]
  }
  slicing_specs {
    feature_keys: ["trip_start_month"]
  }
  slicing_specs {
    feature_keys: ["trip_start_hour", "trip_start_day"]
  }
""", tfma.EvalConfig())

# Create tfma.EvalSharedModels that point at our keras models.
candidate_model_path = os.path.join(MODELS_DIR, 'keras', '2')
baseline_model_path = os.path.join(MODELS_DIR, 'keras', '1')
eval_shared_models = [
  tfma.default_eval_shared_model(
      model_name=tfma.CANDIDATE_KEY,
      eval_saved_model_path=candidate_model_path,
      eval_config=eval_config_with_thresholds),
  tfma.default_eval_shared_model(
      model_name=tfma.BASELINE_KEY,
      eval_saved_model_path=baseline_model_path,
      eval_config=eval_config_with_thresholds),
]

validation_output_path = os.path.join(OUTPUT_DIR, 'validation')

# Run TFMA
eval_result_with_validation = tfma.run_model_analysis(
    eval_shared_models,
    eval_config=eval_config_with_thresholds,
    data_location=tfrecord_file,
    output_path=validation_output_path)
WARNING:absl:Tensorflow version (2.4.1) found. Note that TFMA support for TF 2.0 is currently in beta
WARNING:absl:"maybe_add_baseline" and "maybe_remove_baseline" are deprecated,
        please use "has_baseline" instead.
WARNING:absl:"maybe_add_baseline" and "maybe_remove_baseline" are deprecated,
        please use "has_baseline" instead.
WARNING:absl:"maybe_add_baseline" and "maybe_remove_baseline" are deprecated,
        please use "has_baseline" instead.
WARNING:absl:"maybe_add_baseline" and "maybe_remove_baseline" are deprecated,
        please use "has_baseline" instead.
/home/kbuilder/.local/lib/python3.6/site-packages/tensorflow_model_analysis/evaluators/metrics_validator.py:66: RuntimeWarning: invalid value encountered in true_divide
  ratio = diff / metrics[key.make_baseline_key(baseline_model_name)]

ベースラインに対して1つ以上のモデルで評価を実行すると、TFMAは、評価中に計算されたすべてのメトリックの差分メトリックを自動的に追加します。これらのメトリックは、対応するメトリックにちなんで名付けられていますが、メトリック名に_diff追加されています。

実行によって生成されたメトリックを見てみましょう。

tfma.view.render_time_series(eval_result_with_validation)
TimeSeriesViewer(config={'isModelCentric': True}, data=[{'metrics': {'': {'': {'binary_accuracy': {'doubleValu…

次に、検証チェックからの出力を見てみましょう。検証結果を表示するには、tfma.load_validator_resultを使用しtfma.load_validator_result 。この例では、AUCがしきい値を下回っているため、検証は失敗します。

validation_result = tfma.load_validation_result(validation_output_path)
print(validation_result.validation_ok)
False