Diese Seite wurde von der Cloud Translation API übersetzt.
Switch to English

TensorFlow Modellanalyse

Ein Beispiel für eine Schlüsselkomponente der TensorFlow Extended (TFX)

Dieses Beispiel colab Notebook zeigt, wie TensorFlow Modellanalyse (TFMA) verwendet werden können, die Eigenschaften eines Datensatzes und die Leistung eines Modells zu untersuchen und zu visualisieren. Wir werden ein Modell verwenden, die wir ausgebildet zuvor, und Sie bekommen mit den Ergebnissen zu spielen!

Das Modell , das ich war für das trainierte Chicago Taxi Beispiel , das verwendet die Taxi - Datensatz Ausflüge von der Stadt Chicago veröffentlicht.

Lesen Sie mehr über den Datensatz in Google BigQuery . Entdecken Sie die vollständige Datensatz in der BigQuery UI .

Die Spalten im Datensatz sind:

pickup_community_area Kost trip_start_month
trip_start_hour trip_start_day trip_start_timestamp
pickup_latitude pickup_longitude dropoff_latitude
dropoff_longitude trip_miles pickup_census_tract
dropoff_census_tract Zahlungsart Unternehmen
trip_seconds dropoff_community_area Tipps

Installieren Sie Jupyter Extensions

 jupyter nbextension enable --py widgetsnbextension
jupyter nbextension install --py --symlink tensorflow_model_analysis
jupyter nbextension enable --py tensorflow_model_analysis
 

Installieren TensorFlow Modellanalyse (TFMA)

Dies wird in allen Abhängigkeiten ziehen, und eine Minute dauern. Bitte ignorieren die Warnungen.

 import sys

# Confirm that we're using Python 3
assert sys.version_info.major is 3, 'Oops, not running Python 3. Use Runtime > Change runtime type'
 
 import tensorflow as tf
print('TF version: {}'.format(tf.__version__))

print('Installing Apache Beam')
!pip install -Uq apache_beam==2.17.0
import apache_beam as beam
print('Beam version: {}'.format(beam.__version__))

# Install TFMA
# This will pull in all the dependencies, and will take a minute
# Please ignore the warnings
!pip install -q tensorflow-model-analysis==0.21.3

import tensorflow as tf
import tensorflow_model_analysis as tfma
print('TFMA version: {}'.format(tfma.version.VERSION_STRING))
 
TF version: 2.2.0
Installing Apache Beam
Beam version: 2.17.0
ERROR: tfx-bsl 0.22.1 has requirement apache-beam[gcp]<3,>=2.20, but you'll have apache-beam 2.17.0 which is incompatible.
ERROR: tfx-bsl 0.22.1 has requirement pyarrow<0.17,>=0.16.0, but you'll have pyarrow 0.15.1 which is incompatible.
ERROR: tfx-bsl 0.22.1 has requirement tensorflow-metadata<0.23,>=0.22.2, but you'll have tensorflow-metadata 0.21.2 which is incompatible.

Error importing tfx_bsl_extension.coders. Some tfx_bsl functionalities are not available
TFMA version: 0.21.3

Laden Sie die Dateien

Wir werden eine TAR-Datei herunterladen, die alles, was wir brauchen hat. Dazu gehören:

  • Training und Auswertung Datensätze
  • Datenschema
  • Trainingsergebnisse als EvalSavedModels
 # Download the tar file from GCP and extract it
import io, os, tempfile
BASE_DIR = tempfile.mkdtemp()
TFMA_DIR = os.path.join(BASE_DIR, 'eval_saved_models-0.15.0')
DATA_DIR = os.path.join(TFMA_DIR, 'data')
OUTPUT_DIR = os.path.join(TFMA_DIR, 'output')
SCHEMA = os.path.join(TFMA_DIR, 'schema.pbtxt')

!wget https://storage.googleapis.com/artifacts.tfx-oss-public.appspot.com/datasets/eval_saved_models-0.15.0.tar
!tar xf eval_saved_models-0.15.0.tar
!mv eval_saved_models-0.15.0 {BASE_DIR}
!rm eval_saved_models-0.15.0.tar

print("Here's what we downloaded:")
!ls -R {TFMA_DIR}
 
--2020-07-27 09:11:38--  https://storage.googleapis.com/artifacts.tfx-oss-public.appspot.com/datasets/eval_saved_models-0.15.0.tar
Resolving storage.googleapis.com (storage.googleapis.com)... 64.233.189.128, 108.177.97.128, 108.177.125.128, ...
Connecting to storage.googleapis.com (storage.googleapis.com)|64.233.189.128|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 4311040 (4.1M) [application/x-tar]
Saving to: ‘eval_saved_models-0.15.0.tar’

eval_saved_models-0 100%[===================>]   4.11M  12.3MB/s    in 0.3s    

2020-07-27 09:11:39 (12.3 MB/s) - ‘eval_saved_models-0.15.0.tar’ saved [4311040/4311040]

Here's what we downloaded:
/tmp/tmpgq6r13oe/eval_saved_models-0.15.0:
data  run_0  run_1  run_2  schema.pbtxt

/tmp/tmpgq6r13oe/eval_saved_models-0.15.0/data:
eval  train

/tmp/tmpgq6r13oe/eval_saved_models-0.15.0/data/eval:
data.csv

/tmp/tmpgq6r13oe/eval_saved_models-0.15.0/data/train:
data.csv

/tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_0:
eval_model_dir

/tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_0/eval_model_dir:
1578507304

/tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_0/eval_model_dir/1578507304:
assets  saved_model.pb  variables

/tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_0/eval_model_dir/1578507304/assets:
vocab_compute_and_apply_vocabulary_1_vocabulary
vocab_compute_and_apply_vocabulary_vocabulary

/tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_0/eval_model_dir/1578507304/variables:
variables.data-00000-of-00001  variables.index

/tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_1:
eval_model_dir

/tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_1/eval_model_dir:
1578507304

/tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_1/eval_model_dir/1578507304:
assets  saved_model.pb  variables

/tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_1/eval_model_dir/1578507304/assets:
vocab_compute_and_apply_vocabulary_1_vocabulary
vocab_compute_and_apply_vocabulary_vocabulary

/tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_1/eval_model_dir/1578507304/variables:
variables.data-00000-of-00001  variables.index

/tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_2:
eval_model_dir

/tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_2/eval_model_dir:
1578507304

/tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_2/eval_model_dir/1578507304:
assets  saved_model.pb  variables

/tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_2/eval_model_dir/1578507304/assets:
vocab_compute_and_apply_vocabulary_1_vocabulary
vocab_compute_and_apply_vocabulary_vocabulary

/tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_2/eval_model_dir/1578507304/variables:
variables.data-00000-of-00001  variables.index

Analysieren Sie das Schema

Unter den Dingen , heruntergeladen ich war ein Schema für unsere Daten , die erstellt wurde TensorFlow Data Validation . Lassen Sie uns Parse, die jetzt so, dass wir es mit TFMA verwenden können.

 from google.protobuf import text_format
from tensorflow.python.lib.io import file_io
from tensorflow_metadata.proto.v0 import schema_pb2
from tensorflow.core.example import example_pb2

schema = schema_pb2.Schema()
contents = file_io.read_file_to_string(SCHEMA)
schema = text_format.Parse(contents, schema)
 

Verwenden Sie das Schema TFRecords zu erstellen

Wir brauchen TFMA Zugang zu unserem Datensatz geben, so lassen Sie sich eine TFRecords Datei erstellen. Wir können unser Schema verwenden, es zu schaffen, da sie uns den richtigen Typ für jedes Merkmal gibt.

 import csv

datafile = os.path.join(DATA_DIR, 'eval', 'data.csv')
reader = csv.DictReader(open(datafile, 'r'))
examples = []
for line in reader:
  example = example_pb2.Example()
  for feature in schema.feature:
    key = feature.name
    if len(line[key]) > 0:
      if feature.type == schema_pb2.FLOAT:
        example.features.feature[key].float_list.value[:] = [float(line[key])]
      elif feature.type == schema_pb2.INT:
        example.features.feature[key].int64_list.value[:] = [int(line[key])]
      elif feature.type == schema_pb2.BYTES:
        example.features.feature[key].bytes_list.value[:] = [line[key].encode('utf8')]
    else:
      if feature.type == schema_pb2.FLOAT:
        example.features.feature[key].float_list.value[:] = []
      elif feature.type == schema_pb2.INT:
        example.features.feature[key].int64_list.value[:] = []
      elif feature.type == schema_pb2.BYTES:
        example.features.feature[key].bytes_list.value[:] = []
  examples.append(example)

TFRecord_file = os.path.join(BASE_DIR, 'train_data.rio')
with tf.io.TFRecordWriter(TFRecord_file) as writer:
  for example in examples:
    writer.write(example.SerializeToString())
  writer.flush()
  writer.close()

!ls {TFRecord_file}
 
/tmp/tmpgq6r13oe/train_data.rio

Führen Sie TFMA und Render Metrics

Jetzt sind wir bereit, eine Funktion zu erstellen, dass wir TFMA verwenden werden und machen Metriken zu laufen. Es erfordert eine EvalSavedModel , eine Liste von SliceSpecs , und einen Index in die SliceSpec Liste. Es wird eine EvalResult mit erstellen tfma.run_model_analysis , und es verwendet , eine erstellen SlicingMetricsViewer mit tfma.view.render_slicing_metrics , die eine Visualisierung von unserem Datensatz machen die Scheibe mit Hilfe wir erstellt.

 def run_and_render(eval_model=None, slice_list=None, slice_idx=0):
  """Runs the model analysis and renders the slicing metrics

  Args:
      eval_model: An instance of tf.saved_model saved with evaluation data
      slice_list: A list of tfma.slicer.SingleSliceSpec giving the slices
      slice_idx: An integer index into slice_list specifying the slice to use

  Returns:
      A SlicingMetricsViewer object if in Jupyter notebook; None if in Colab.
  """
  eval_result = tfma.run_model_analysis(eval_shared_model=eval_model,
                                          data_location=TFRecord_file,
                                          file_format='tfrecords',
                                          slice_spec=slice_list,
                                          output_path='sample_data',
                                          extractors=None)
  return tfma.view.render_slicing_metrics(eval_result, slicing_spec=slice_list[slice_idx])
 

Häppchen

Wir trainierten vorher ein Modell, und jetzt haben wir die Ergebnisse geladen. Werfen wir einen Blick auf unsere Visualisierungen, beginnend mit zu Scheibe entlang Besonderheiten mit TFMA. Aber zuerst müssen wir in der EvalSavedModel von einem unserer früheren Trainingsläufe lesen.

Stücke sind interaktiv:

  • Klicken und Ziehen zu schwenken
  • Blättern Sie zu zoomen
  • Rechtsklick auf die Ansicht zurücksetzen

Einfach schweben über den Punkt gewünschten Daten mehr Details zu sehen. Wählen Sie aus vier verschiedenen Arten von Plots mit den Selektionen an der Unterseite.

Zum Beispiel werden wir werden Einstellung slicing_column Blick auf die trip_start_hour Funktion in unserem SliceSpec .

 # Load the TFMA results for the first training run
# This will take a minute
eval_model_base_dir_0 = os.path.join(TFMA_DIR, 'run_0', 'eval_model_dir')
eval_model_dir_0 = os.path.join(eval_model_base_dir_0, next(os.walk(eval_model_base_dir_0))[1][0])
eval_shared_model_0 = tfma.default_eval_shared_model(eval_saved_model_path=eval_model_dir_0)

# Slice our data by the trip_start_hour feature
slices = [tfma.slicer.SingleSliceSpec(columns=['trip_start_hour'])]

run_and_render(eval_model=eval_shared_model_0, slice_list=slices, slice_idx=0)
 
WARNING:tensorflow:Tensorflow version (2.2.0) found. Note that TFMA support for TF 2.0 is currently in beta
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow_model_analysis/eval_saved_model/load.py:169: load (from tensorflow.python.saved_model.loader_impl) is deprecated and will be removed in a future version.
Instructions for updating:
This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.loader.load or tf.compat.v1.saved_model.load. There will be a new function for importing SavedModels in Tensorflow 2.0.

Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow_model_analysis/eval_saved_model/load.py:169: load (from tensorflow.python.saved_model.loader_impl) is deprecated and will be removed in a future version.
Instructions for updating:
This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.loader.load or tf.compat.v1.saved_model.load. There will be a new function for importing SavedModels in Tensorflow 2.0.

INFO:tensorflow:Restoring parameters from /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_0/eval_model_dir/1578507304/variables/variables

INFO:tensorflow:Restoring parameters from /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_0/eval_model_dir/1578507304/variables/variables

Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow_model_analysis/eval_saved_model/graph_ref.py:189: get_tensor_from_tensor_info (from tensorflow.python.saved_model.utils_impl) is deprecated and will be removed in a future version.
Instructions for updating:
This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.utils.get_tensor_from_tensor_info or tf.compat.v1.saved_model.get_tensor_from_tensor_info.

Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow_model_analysis/eval_saved_model/graph_ref.py:189: get_tensor_from_tensor_info (from tensorflow.python.saved_model.utils_impl) is deprecated and will be removed in a future version.
Instructions for updating:
This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.utils.get_tensor_from_tensor_info or tf.compat.v1.saved_model.get_tensor_from_tensor_info.

Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/ops/resource_variable_ops.py:1666: calling BaseResourceVariable.__init__ (from tensorflow.python.ops.resource_variable_ops) with constraint is deprecated and will be removed in a future version.
Instructions for updating:
If using Keras pass *_constraint arguments to layers.

Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/ops/resource_variable_ops.py:1666: calling BaseResourceVariable.__init__ (from tensorflow.python.ops.resource_variable_ops) with constraint is deprecated and will be removed in a future version.
Instructions for updating:
If using Keras pass *_constraint arguments to layers.
WARNING:root:Couldn't find python-snappy so the implementation of _TFRecordUtil._masked_crc32c is not as fast as it could be.

Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow_model_analysis/writers/metrics_and_plots_serialization.py:125: tf_record_iterator (from tensorflow.python.lib.io.tf_record) is deprecated and will be removed in a future version.
Instructions for updating:
Use eager execution and: 
`tf.data.TFRecordDataset(path)`

Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow_model_analysis/writers/metrics_and_plots_serialization.py:125: tf_record_iterator (from tensorflow.python.lib.io.tf_record) is deprecated and will be removed in a future version.
Instructions for updating:
Use eager execution and: 
`tf.data.TFRecordDataset(path)`

SlicingMetricsViewer(config={'weightedExamplesColumn': 'post_export_metrics/example_count'}, data=[{'slice': '…

Scheiben Übersicht

Die Standard - Visualisierung ist der Slices Überblick , wenn die Anzahl der Scheiben ist klein. Es zeigt die Werte der Metriken für jede Scheibe. Da wir ausgewählt haben trip_start_hour oben, es zeigt uns Metriken wie Genauigkeit und AUC für jede Stunde, die uns für die Probleme suchen können , die speziell für ein paar Stunden sind und andere nicht.

In der Visualisierung über:

  • Versuchen Sie, die Funktion Spalte sortieren, die unsere ist trip_start_hours verfügen, indem Sie auf den Spaltenkopf
  • Versuchen Sie durch Präzision Sortieren und feststellen , dass die Genauigkeit für einige der Stunden mit Beispielen 0 ist, was auf ein Problem hinweisen kann

Die Grafik ermöglicht es uns, auch auswählen und verschiedene Metriken in unseren Scheiben anzuzeigen.

  • Probieren Sie verschiedene Metriken aus dem Menü „Anzeigen“ die Auswahl
  • Versuchen Sie Rückruf im Menü „Anzeigen“ auswählen und feststellen , dass der Rückruf für einige der Stunden mit Beispielen ist 0, was auf ein Problem hinweisen kann

Es ist auch möglich, einen Schwellenwert zu setzen Scheiben zum Ausfiltern mit einer kleineren Anzahl von Beispielen oder „Gewichte“. Sie können eine minimale Anzahl von Beispielen eingeben oder den Schieberegler verwenden.

metrics Histogramm

Diese Ansicht unterstützt auch ein Metrics Histogramm als alternative Visualisierung, die auch die Standardansicht ist , wenn die Anzahl der Schichten groß ist . Die Ergebnisse werden in Buckets unterteilt werden, und die Anzahl der Schichten / Gesamtgewichte / beides visualisiert werden kann. Spalten können durch einen Klick auf den Spaltenkopf sortiert werden. Scheiben mit kleinen Gewichten kann durch Einstellen der Schwelle ausgefiltert werden. Weitere Filterung kann durch Ziehen des grauen Bandes aufgetragen werden. Um den Bereich zurückzusetzen, die doppelte Band klicken. Die Filterung kann auch zum Entfernen von Ausreißern in der Visualisierungen verwendet werden, und die Messwerte-Tabellen. Klicken Sie auf das Zahnrad-Symbol, um Schalter zu einer logarithmischen Skala statt einer linearen Skala.

  • Versuchen Sie „Metrics Histogramm“ im Menü Visualisierung Auswahl

Weitere Slices

Lassen Sie uns eine ganze Liste von erstellen SliceSpec s, die uns eine der Scheiben in der Liste auswählen können. Wir werden die wählen trip_start_day slice (Tag der Woche) , indem Sie die Einstellung slice_idx zu 1 . Versuchen Sie, den Wechsel slice_idx auf 0 oder 2 und läuft wieder verschiedene Scheiben zu untersuchen.

 slices = [tfma.slicer.SingleSliceSpec(columns=['trip_start_hour']),
          tfma.slicer.SingleSliceSpec(columns=['trip_start_day']),
          tfma.slicer.SingleSliceSpec(columns=['trip_start_month'])]
run_and_render(eval_model=eval_shared_model_0, slice_list=slices, slice_idx=1)
 
WARNING:tensorflow:Tensorflow version (2.2.0) found. Note that TFMA support for TF 2.0 is currently in beta

Warning:tensorflow:Tensorflow version (2.2.0) found. Note that TFMA support for TF 2.0 is currently in beta
WARNING:root:Deleting 1 existing files in target path matching: 
WARNING:root:Deleting 1 existing files in target path matching: 
WARNING:root:Deleting 1 existing files in target path matching: 

SlicingMetricsViewer(config={'weightedExamplesColumn': 'post_export_metrics/example_count'}, data=[{'slice': '…

Sie können Feature Kreuze erstellen Kombinationen von Merkmalen zu analysieren. Lassen Sie uns erstellen SliceSpec zu Blick auf eine Kreuzung von trip_start_day und trip_start_hour :

 slices = [tfma.slicer.SingleSliceSpec(columns=['trip_start_day', 'trip_start_hour'])]
run_and_render(eval_shared_model_0, slices, 0)
 
WARNING:tensorflow:Tensorflow version (2.2.0) found. Note that TFMA support for TF 2.0 is currently in beta

Warning:tensorflow:Tensorflow version (2.2.0) found. Note that TFMA support for TF 2.0 is currently in beta
WARNING:root:Deleting 1 existing files in target path matching: 
WARNING:root:Deleting 1 existing files in target path matching: 
WARNING:root:Deleting 1 existing files in target path matching: 

SlicingMetricsViewer(config={'weightedExamplesColumn': 'post_export_metrics/example_count'}, data=[{'slice': '…

die beiden Spalten Crossing schafft eine Vielzahl von Kombinationen! Lassen Sie sich verengen unser Kreuz nur Blick auf Reisen , die am Mittag beginnen. Dann lassen Sie uns wählen accuracy aus der Visualisierung:

 slices = [tfma.slicer.SingleSliceSpec(columns=['trip_start_day'], features=[('trip_start_hour', 12)])]
run_and_render(eval_shared_model_0, slices, 0)
 
WARNING:tensorflow:Tensorflow version (2.2.0) found. Note that TFMA support for TF 2.0 is currently in beta

Warning:tensorflow:Tensorflow version (2.2.0) found. Note that TFMA support for TF 2.0 is currently in beta
WARNING:root:Deleting 1 existing files in target path matching: 
WARNING:root:Deleting 1 existing files in target path matching: 
WARNING:root:Deleting 1 existing files in target path matching: 

SlicingMetricsViewer(config={'weightedExamplesColumn': 'post_export_metrics/example_count'}, data=[{'slice': '…

Tracking-Modell Leistung über die Zeit

Ihre Trainingsdaten werden für die Ausbildung Ihres Modells verwendet werden, und werden hoffentlich seinen Vertreter Ihres Testdatensatzes und die Daten, die zu Ihrem Modell in Produktion geschickt. Während jedoch die Daten in Inferenz-Anfragen das gleiche wie Ihre Trainingsdaten bleiben, in vielen Fällen wird es beginnen genug, so zu ändern, dass die Leistung Ihres Modells ändern.

Das bedeutet, dass Sie benötigen, um Ihre Modell Leistung auf kontinuierlicher Basis zu überwachen und zu messen, so dass Sie sich bewusst sein können und reagieren auf Veränderungen. Werfen wir einen Blick darauf, wie TFMA helfen kann.

Misst die Leistung für neue Daten

Wir heruntergeladen die Ergebnisse von drei verschiedenen Trainingsläufe oben, also lassen Sie uns Last sie jetzt und nutzen TFMA um zu sehen , wie sie zu vergleichen mit render_time_series . Wir können insbesondere Scheiben angeben, zu betrachten. Lassen Sie uns unsere Trainingsläufe für die Reisen zu vergleichen, dass mittags gestartet.

  • Wählen Sie eine Metrik aus der Dropdown die Zeitreihe Graph für diese Metrik hinzufügen
  • Schließen unerwünschte Graphen
  • Hover über Datenpunkte (die Enden der Liniensegmente in der Grafik) weitere Informationen zu erhalten
 def get_eval_result(base_dir, output_dir, data_loc, slice_spec):
  eval_model_dir = os.path.join(base_dir, next(os.walk(base_dir))[1][0])
  eval_shared_model = tfma.default_eval_shared_model(eval_saved_model_path=eval_model_dir)

  return tfma.run_model_analysis(eval_shared_model=eval_shared_model,
                                          data_location=data_loc,
                                          file_format='tfrecords',
                                          slice_spec=slice_spec,
                                          output_path=output_dir,
                                          extractors=None)

slices = [tfma.slicer.SingleSliceSpec()]
output_dir_0 = os.path.join(TFMA_DIR, 'output', 'run_0')
result_ts0 = get_eval_result(os.path.join(TFMA_DIR, 'run_0', 'eval_model_dir'),
                             output_dir_0, TFRecord_file, slices)
output_dir_1 = os.path.join(TFMA_DIR, 'output', 'run_1')
result_ts1 = get_eval_result(os.path.join(TFMA_DIR, 'run_1', 'eval_model_dir'),
                             output_dir_1, TFRecord_file, slices)
output_dir_2 = os.path.join(TFMA_DIR, 'output', 'run_2')
result_ts2 = get_eval_result(os.path.join(TFMA_DIR, 'run_2', 'eval_model_dir'),
                             output_dir_2, TFRecord_file, slices)
 
WARNING:tensorflow:Tensorflow version (2.2.0) found. Note that TFMA support for TF 2.0 is currently in beta

Warning:tensorflow:Tensorflow version (2.2.0) found. Note that TFMA support for TF 2.0 is currently in beta

INFO:tensorflow:Restoring parameters from /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_0/eval_model_dir/1578507304/variables/variables

INFO:tensorflow:Restoring parameters from /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_0/eval_model_dir/1578507304/variables/variables

Warning:tensorflow:Tensorflow version (2.2.0) found. Note that TFMA support for TF 2.0 is currently in beta

Warning:tensorflow:Tensorflow version (2.2.0) found. Note that TFMA support for TF 2.0 is currently in beta

INFO:tensorflow:Restoring parameters from /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_1/eval_model_dir/1578507304/variables/variables

INFO:tensorflow:Restoring parameters from /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_1/eval_model_dir/1578507304/variables/variables

Warning:tensorflow:Tensorflow version (2.2.0) found. Note that TFMA support for TF 2.0 is currently in beta

Warning:tensorflow:Tensorflow version (2.2.0) found. Note that TFMA support for TF 2.0 is currently in beta

INFO:tensorflow:Restoring parameters from /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_2/eval_model_dir/1578507304/variables/variables

INFO:tensorflow:Restoring parameters from /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_2/eval_model_dir/1578507304/variables/variables

Wie sieht es heute aus?

Zuerst werden wir vorstellen, dass wir trainiert haben und unser Modell gestern im Einsatz, und nun wollen wir sehen, wie es in der heutigen kommen auf die neuen Daten tut. Die Visualisierung beginnt mit Genauigkeit anzeigt. In AUC und durchschnittlichen Verlust unter Verwendung des „metrische Reihe hinzufügen“ Menüs.

 eval_results_from_disk = tfma.load_eval_results([output_dir_0, output_dir_1],
                                                tfma.constants.MODEL_CENTRIC_MODE)

tfma.view.render_time_series(eval_results_from_disk, slices[0])
 
TimeSeriesViewer(config={'isModelCentric': True}, data=[{'metrics': {'': {'': {'precision': {'doubleValue': 0.…

Jetzt werden wir uns vorstellen, dass ein weiterer Tag vergangen ist, und wir wollen sehen, wie es auf den neuen Daten tut heute kommen, im Vergleich zu den vorangegangenen zwei Tagen. AUC und durchschnittlichen Verlust auf „Hinzufügen metrische Reihe“ Menü wieder hinzufügen, indem Sie mit:

 eval_results_from_disk = tfma.load_eval_results([output_dir_0, output_dir_1, output_dir_2],
                                                tfma.constants.MODEL_CENTRIC_MODE)

tfma.view.render_time_series(eval_results_from_disk, slices[0])
 
TimeSeriesViewer(config={'isModelCentric': True}, data=[{'metrics': {'': {'': {'label/mean': {'doubleValue': 0…