Ein Beispiel für eine Schlüsselkomponente der TensorFlow Extended (TFX)
Auf TensorFlow.org
Führen
Quelltext anzeigen auf GitHubDieses Beispiel colab Notebook zeigt, wie TensorFlow Modellanalyse (TFMA) verwendet werden können, die Eigenschaften eines Datensatzes und die Leistung eines Modells zu untersuchen und zu visualisieren. Wir werden ein Modell verwenden, die wir ausgebildet zuvor, und Sie bekommen mit den Ergebnissen zu spielen!
Das Modell , das ich war für das trainierte Chicago Taxi Beispiel , das verwendet die Taxi - Datensatz Ausflüge von der Stadt Chicago veröffentlicht.
Lesen Sie mehr über den Datensatz in Google BigQuery . Entdecken Sie die vollständige Datensatz in der BigQuery UI .
Die Spalten im Datensatz sind:
| pickup_community_area | Kost | trip_start_month |
| trip_start_hour | trip_start_day | trip_start_timestamp |
| pickup_latitude | pickup_longitude | dropoff_latitude |
| dropoff_longitude | trip_miles | pickup_census_tract |
| dropoff_census_tract | Zahlungsart | Unternehmen |
| trip_seconds | dropoff_community_area | Tipps |
Installieren Sie Jupyter Extensions
jupyter nbextension enable --py widgetsnbextension
jupyter nbextension install --py --symlink tensorflow_model_analysis
jupyter nbextension enable --py tensorflow_model_analysis
Installieren TensorFlow Modellanalyse (TFMA)
Dies wird in allen Abhängigkeiten ziehen, und eine Minute dauern. Bitte ignorieren die Warnungen.
import sys
# Confirm that we're using Python 3
assert sys.version_info.major is 3, 'Oops, not running Python 3. Use Runtime > Change runtime type'
import tensorflow as tf
print('TF version: {}'.format(tf.__version__))
print('Installing Apache Beam')
!pip install -Uq apache_beam==2.17.0
import apache_beam as beam
print('Beam version: {}'.format(beam.__version__))
# Install TFMA
# This will pull in all the dependencies, and will take a minute
# Please ignore the warnings
!pip install -q tensorflow-model-analysis==0.21.3
import tensorflow as tf
import tensorflow_model_analysis as tfma
print('TFMA version: {}'.format(tfma.version.VERSION_STRING))
TF version: 2.2.0 Installing Apache Beam Beam version: 2.17.0 ERROR: tfx-bsl 0.22.1 has requirement apache-beam[gcp]<3,>=2.20, but you'll have apache-beam 2.17.0 which is incompatible. ERROR: tfx-bsl 0.22.1 has requirement pyarrow<0.17,>=0.16.0, but you'll have pyarrow 0.15.1 which is incompatible. ERROR: tfx-bsl 0.22.1 has requirement tensorflow-metadata<0.23,>=0.22.2, but you'll have tensorflow-metadata 0.21.2 which is incompatible. Error importing tfx_bsl_extension.coders. Some tfx_bsl functionalities are not available TFMA version: 0.21.3
Laden Sie die Dateien
Wir werden eine TAR-Datei herunterladen, die alles, was wir brauchen hat. Dazu gehören:
- Training und Auswertung Datensätze
- Datenschema
- Trainingsergebnisse als EvalSavedModels
# Download the tar file from GCP and extract it
import io, os, tempfile
BASE_DIR = tempfile.mkdtemp()
TFMA_DIR = os.path.join(BASE_DIR, 'eval_saved_models-0.15.0')
DATA_DIR = os.path.join(TFMA_DIR, 'data')
OUTPUT_DIR = os.path.join(TFMA_DIR, 'output')
SCHEMA = os.path.join(TFMA_DIR, 'schema.pbtxt')
!wget https://storage.googleapis.com/artifacts.tfx-oss-public.appspot.com/datasets/eval_saved_models-0.15.0.tar
!tar xf eval_saved_models-0.15.0.tar
!mv eval_saved_models-0.15.0 {BASE_DIR}
!rm eval_saved_models-0.15.0.tar
print("Here's what we downloaded:")
!ls -R {TFMA_DIR}
--2020-07-27 09:11:38-- https://storage.googleapis.com/artifacts.tfx-oss-public.appspot.com/datasets/eval_saved_models-0.15.0.tar Resolving storage.googleapis.com (storage.googleapis.com)... 64.233.189.128, 108.177.97.128, 108.177.125.128, ... Connecting to storage.googleapis.com (storage.googleapis.com)|64.233.189.128|:443... connected. HTTP request sent, awaiting response... 200 OK Length: 4311040 (4.1M) [application/x-tar] Saving to: ‘eval_saved_models-0.15.0.tar’ eval_saved_models-0 100%[===================>] 4.11M 12.3MB/s in 0.3s 2020-07-27 09:11:39 (12.3 MB/s) - ‘eval_saved_models-0.15.0.tar’ saved [4311040/4311040] Here's what we downloaded: /tmp/tmpgq6r13oe/eval_saved_models-0.15.0: data run_0 run_1 run_2 schema.pbtxt /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/data: eval train /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/data/eval: data.csv /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/data/train: data.csv /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_0: eval_model_dir /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_0/eval_model_dir: 1578507304 /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_0/eval_model_dir/1578507304: assets saved_model.pb variables /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_0/eval_model_dir/1578507304/assets: vocab_compute_and_apply_vocabulary_1_vocabulary vocab_compute_and_apply_vocabulary_vocabulary /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_0/eval_model_dir/1578507304/variables: variables.data-00000-of-00001 variables.index /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_1: eval_model_dir /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_1/eval_model_dir: 1578507304 /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_1/eval_model_dir/1578507304: assets saved_model.pb variables /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_1/eval_model_dir/1578507304/assets: vocab_compute_and_apply_vocabulary_1_vocabulary vocab_compute_and_apply_vocabulary_vocabulary /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_1/eval_model_dir/1578507304/variables: variables.data-00000-of-00001 variables.index /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_2: eval_model_dir /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_2/eval_model_dir: 1578507304 /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_2/eval_model_dir/1578507304: assets saved_model.pb variables /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_2/eval_model_dir/1578507304/assets: vocab_compute_and_apply_vocabulary_1_vocabulary vocab_compute_and_apply_vocabulary_vocabulary /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_2/eval_model_dir/1578507304/variables: variables.data-00000-of-00001 variables.index
Analysieren Sie das Schema
Unter den Dingen , heruntergeladen ich war ein Schema für unsere Daten , die erstellt wurde TensorFlow Data Validation . Lassen Sie uns Parse, die jetzt so, dass wir es mit TFMA verwenden können.
from google.protobuf import text_format
from tensorflow.python.lib.io import file_io
from tensorflow_metadata.proto.v0 import schema_pb2
from tensorflow.core.example import example_pb2
schema = schema_pb2.Schema()
contents = file_io.read_file_to_string(SCHEMA)
schema = text_format.Parse(contents, schema)
Verwenden Sie das Schema TFRecords zu erstellen
Wir brauchen TFMA Zugang zu unserem Datensatz geben, so lassen Sie sich eine TFRecords Datei erstellen. Wir können unser Schema verwenden, es zu schaffen, da sie uns den richtigen Typ für jedes Merkmal gibt.
import csv
datafile = os.path.join(DATA_DIR, 'eval', 'data.csv')
reader = csv.DictReader(open(datafile, 'r'))
examples = []
for line in reader:
example = example_pb2.Example()
for feature in schema.feature:
key = feature.name
if len(line[key]) > 0:
if feature.type == schema_pb2.FLOAT:
example.features.feature[key].float_list.value[:] = [float(line[key])]
elif feature.type == schema_pb2.INT:
example.features.feature[key].int64_list.value[:] = [int(line[key])]
elif feature.type == schema_pb2.BYTES:
example.features.feature[key].bytes_list.value[:] = [line[key].encode('utf8')]
else:
if feature.type == schema_pb2.FLOAT:
example.features.feature[key].float_list.value[:] = []
elif feature.type == schema_pb2.INT:
example.features.feature[key].int64_list.value[:] = []
elif feature.type == schema_pb2.BYTES:
example.features.feature[key].bytes_list.value[:] = []
examples.append(example)
TFRecord_file = os.path.join(BASE_DIR, 'train_data.rio')
with tf.io.TFRecordWriter(TFRecord_file) as writer:
for example in examples:
writer.write(example.SerializeToString())
writer.flush()
writer.close()
!ls {TFRecord_file}
/tmp/tmpgq6r13oe/train_data.rio
Führen Sie TFMA und Render Metrics
Jetzt sind wir bereit, eine Funktion zu erstellen, dass wir TFMA verwenden werden und machen Metriken zu laufen. Es erfordert eine EvalSavedModel , eine Liste von SliceSpecs , und einen Index in die SliceSpec Liste. Es wird eine EvalResult mit erstellen tfma.run_model_analysis , und es verwendet , eine erstellen SlicingMetricsViewer mit tfma.view.render_slicing_metrics , die eine Visualisierung von unserem Datensatz machen die Scheibe mit Hilfe wir erstellt.
def run_and_render(eval_model=None, slice_list=None, slice_idx=0):
"""Runs the model analysis and renders the slicing metrics
Args:
eval_model: An instance of tf.saved_model saved with evaluation data
slice_list: A list of tfma.slicer.SingleSliceSpec giving the slices
slice_idx: An integer index into slice_list specifying the slice to use
Returns:
A SlicingMetricsViewer object if in Jupyter notebook; None if in Colab.
"""
eval_result = tfma.run_model_analysis(eval_shared_model=eval_model,
data_location=TFRecord_file,
file_format='tfrecords',
slice_spec=slice_list,
output_path='sample_data',
extractors=None)
return tfma.view.render_slicing_metrics(eval_result, slicing_spec=slice_list[slice_idx])
Häppchen
Wir trainierten vorher ein Modell, und jetzt haben wir die Ergebnisse geladen. Werfen wir einen Blick auf unsere Visualisierungen, beginnend mit zu Scheibe entlang Besonderheiten mit TFMA. Aber zuerst müssen wir in der EvalSavedModel von einem unserer früheren Trainingsläufe lesen.
So definieren Sie die Scheibe Sie visualisieren möchten Sie erstellen
tfma.slicer.SingleSliceSpecSo verwenden
tfma.view.render_slicing_metricsSie können entweder den Namen der Spalte verwenden (indemslicing_column) oder bieten einetfma.slicer.SingleSliceSpec(indemslicing_spec)Wenn weder vorgesehen ist, wird die Übersicht angezeigt
Stücke sind interaktiv:
- Klicken und Ziehen zu schwenken
- Blättern Sie zu zoomen
- Rechtsklick auf die Ansicht zurücksetzen
Einfach schweben über den Punkt gewünschten Daten mehr Details zu sehen. Wählen Sie aus vier verschiedenen Arten von Plots mit den Selektionen an der Unterseite.
Zum Beispiel werden wir werden Einstellung slicing_column Blick auf die trip_start_hour Funktion in unserem SliceSpec .
# Load the TFMA results for the first training run
# This will take a minute
eval_model_base_dir_0 = os.path.join(TFMA_DIR, 'run_0', 'eval_model_dir')
eval_model_dir_0 = os.path.join(eval_model_base_dir_0, next(os.walk(eval_model_base_dir_0))[1][0])
eval_shared_model_0 = tfma.default_eval_shared_model(eval_saved_model_path=eval_model_dir_0)
# Slice our data by the trip_start_hour feature
slices = [tfma.slicer.SingleSliceSpec(columns=['trip_start_hour'])]
run_and_render(eval_model=eval_shared_model_0, slice_list=slices, slice_idx=0)
WARNING:tensorflow:Tensorflow version (2.2.0) found. Note that TFMA support for TF 2.0 is currently in beta
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow_model_analysis/eval_saved_model/load.py:169: load (from tensorflow.python.saved_model.loader_impl) is deprecated and will be removed in a future version.
Instructions for updating:
This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.loader.load or tf.compat.v1.saved_model.load. There will be a new function for importing SavedModels in Tensorflow 2.0.
Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow_model_analysis/eval_saved_model/load.py:169: load (from tensorflow.python.saved_model.loader_impl) is deprecated and will be removed in a future version.
Instructions for updating:
This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.loader.load or tf.compat.v1.saved_model.load. There will be a new function for importing SavedModels in Tensorflow 2.0.
INFO:tensorflow:Restoring parameters from /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_0/eval_model_dir/1578507304/variables/variables
INFO:tensorflow:Restoring parameters from /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_0/eval_model_dir/1578507304/variables/variables
Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow_model_analysis/eval_saved_model/graph_ref.py:189: get_tensor_from_tensor_info (from tensorflow.python.saved_model.utils_impl) is deprecated and will be removed in a future version.
Instructions for updating:
This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.utils.get_tensor_from_tensor_info or tf.compat.v1.saved_model.get_tensor_from_tensor_info.
Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow_model_analysis/eval_saved_model/graph_ref.py:189: get_tensor_from_tensor_info (from tensorflow.python.saved_model.utils_impl) is deprecated and will be removed in a future version.
Instructions for updating:
This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.utils.get_tensor_from_tensor_info or tf.compat.v1.saved_model.get_tensor_from_tensor_info.
Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/ops/resource_variable_ops.py:1666: calling BaseResourceVariable.__init__ (from tensorflow.python.ops.resource_variable_ops) with constraint is deprecated and will be removed in a future version.
Instructions for updating:
If using Keras pass *_constraint arguments to layers.
Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/ops/resource_variable_ops.py:1666: calling BaseResourceVariable.__init__ (from tensorflow.python.ops.resource_variable_ops) with constraint is deprecated and will be removed in a future version.
Instructions for updating:
If using Keras pass *_constraint arguments to layers.
WARNING:root:Couldn't find python-snappy so the implementation of _TFRecordUtil._masked_crc32c is not as fast as it could be.
Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow_model_analysis/writers/metrics_and_plots_serialization.py:125: tf_record_iterator (from tensorflow.python.lib.io.tf_record) is deprecated and will be removed in a future version.
Instructions for updating:
Use eager execution and:
`tf.data.TFRecordDataset(path)`
Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow_model_analysis/writers/metrics_and_plots_serialization.py:125: tf_record_iterator (from tensorflow.python.lib.io.tf_record) is deprecated and will be removed in a future version.
Instructions for updating:
Use eager execution and:
`tf.data.TFRecordDataset(path)`
SlicingMetricsViewer(config={'weightedExamplesColumn': 'post_export_metrics/example_count'}, data=[{'slice': '…
Scheiben Übersicht
Die Standard - Visualisierung ist der Slices Überblick , wenn die Anzahl der Scheiben ist klein. Es zeigt die Werte der Metriken für jede Scheibe. Da wir ausgewählt haben trip_start_hour oben, es zeigt uns Metriken wie Genauigkeit und AUC für jede Stunde, die uns für die Probleme suchen können , die speziell für ein paar Stunden sind und andere nicht.
In der Visualisierung über:
- Versuchen Sie, die Funktion Spalte sortieren, die unsere ist
trip_start_hoursverfügen, indem Sie auf den Spaltenkopf - Versuchen Sie durch Präzision Sortieren und feststellen , dass die Genauigkeit für einige der Stunden mit Beispielen 0 ist, was auf ein Problem hinweisen kann
Die Grafik ermöglicht es uns, auch auswählen und verschiedene Metriken in unseren Scheiben anzuzeigen.
- Probieren Sie verschiedene Metriken aus dem Menü „Anzeigen“ die Auswahl
- Versuchen Sie Rückruf im Menü „Anzeigen“ auswählen und feststellen , dass der Rückruf für einige der Stunden mit Beispielen ist 0, was auf ein Problem hinweisen kann
Es ist auch möglich, einen Schwellenwert zu setzen Scheiben zum Ausfiltern mit einer kleineren Anzahl von Beispielen oder „Gewichte“. Sie können eine minimale Anzahl von Beispielen eingeben oder den Schieberegler verwenden.
metrics Histogramm
Diese Ansicht unterstützt auch ein Metrics Histogramm als alternative Visualisierung, die auch die Standardansicht ist , wenn die Anzahl der Schichten groß ist . Die Ergebnisse werden in Buckets unterteilt werden, und die Anzahl der Schichten / Gesamtgewichte / beides visualisiert werden kann. Spalten können durch einen Klick auf den Spaltenkopf sortiert werden. Scheiben mit kleinen Gewichten kann durch Einstellen der Schwelle ausgefiltert werden. Weitere Filterung kann durch Ziehen des grauen Bandes aufgetragen werden. Um den Bereich zurückzusetzen, die doppelte Band klicken. Die Filterung kann auch zum Entfernen von Ausreißern in der Visualisierungen verwendet werden, und die Messwerte-Tabellen. Klicken Sie auf das Zahnrad-Symbol, um Schalter zu einer logarithmischen Skala statt einer linearen Skala.
- Versuchen Sie „Metrics Histogramm“ im Menü Visualisierung Auswahl
Weitere Slices
Lassen Sie uns eine ganze Liste von erstellen SliceSpec s, die uns eine der Scheiben in der Liste auswählen können. Wir werden die wählen trip_start_day slice (Tag der Woche) , indem Sie die Einstellung slice_idx zu 1 . Versuchen Sie, den Wechsel slice_idx auf 0 oder 2 und läuft wieder verschiedene Scheiben zu untersuchen.
slices = [tfma.slicer.SingleSliceSpec(columns=['trip_start_hour']),
tfma.slicer.SingleSliceSpec(columns=['trip_start_day']),
tfma.slicer.SingleSliceSpec(columns=['trip_start_month'])]
run_and_render(eval_model=eval_shared_model_0, slice_list=slices, slice_idx=1)
WARNING:tensorflow:Tensorflow version (2.2.0) found. Note that TFMA support for TF 2.0 is currently in beta
Warning:tensorflow:Tensorflow version (2.2.0) found. Note that TFMA support for TF 2.0 is currently in beta
WARNING:root:Deleting 1 existing files in target path matching:
WARNING:root:Deleting 1 existing files in target path matching:
WARNING:root:Deleting 1 existing files in target path matching:
SlicingMetricsViewer(config={'weightedExamplesColumn': 'post_export_metrics/example_count'}, data=[{'slice': '…
Sie können Feature Kreuze erstellen Kombinationen von Merkmalen zu analysieren. Lassen Sie uns erstellen SliceSpec zu Blick auf eine Kreuzung von trip_start_day und trip_start_hour :
slices = [tfma.slicer.SingleSliceSpec(columns=['trip_start_day', 'trip_start_hour'])]
run_and_render(eval_shared_model_0, slices, 0)
WARNING:tensorflow:Tensorflow version (2.2.0) found. Note that TFMA support for TF 2.0 is currently in beta
Warning:tensorflow:Tensorflow version (2.2.0) found. Note that TFMA support for TF 2.0 is currently in beta
WARNING:root:Deleting 1 existing files in target path matching:
WARNING:root:Deleting 1 existing files in target path matching:
WARNING:root:Deleting 1 existing files in target path matching:
SlicingMetricsViewer(config={'weightedExamplesColumn': 'post_export_metrics/example_count'}, data=[{'slice': '…
die beiden Spalten Crossing schafft eine Vielzahl von Kombinationen! Lassen Sie sich verengen unser Kreuz nur Blick auf Reisen , die am Mittag beginnen. Dann lassen Sie uns wählen accuracy aus der Visualisierung:
slices = [tfma.slicer.SingleSliceSpec(columns=['trip_start_day'], features=[('trip_start_hour', 12)])]
run_and_render(eval_shared_model_0, slices, 0)
WARNING:tensorflow:Tensorflow version (2.2.0) found. Note that TFMA support for TF 2.0 is currently in beta
Warning:tensorflow:Tensorflow version (2.2.0) found. Note that TFMA support for TF 2.0 is currently in beta
WARNING:root:Deleting 1 existing files in target path matching:
WARNING:root:Deleting 1 existing files in target path matching:
WARNING:root:Deleting 1 existing files in target path matching:
SlicingMetricsViewer(config={'weightedExamplesColumn': 'post_export_metrics/example_count'}, data=[{'slice': '…
Tracking-Modell Leistung über die Zeit
Ihre Trainingsdaten werden für die Ausbildung Ihres Modells verwendet werden, und werden hoffentlich seinen Vertreter Ihres Testdatensatzes und die Daten, die zu Ihrem Modell in Produktion geschickt. Während jedoch die Daten in Inferenz-Anfragen das gleiche wie Ihre Trainingsdaten bleiben, in vielen Fällen wird es beginnen genug, so zu ändern, dass die Leistung Ihres Modells ändern.
Das bedeutet, dass Sie benötigen, um Ihre Modell Leistung auf kontinuierlicher Basis zu überwachen und zu messen, so dass Sie sich bewusst sein können und reagieren auf Veränderungen. Werfen wir einen Blick darauf, wie TFMA helfen kann.
Misst die Leistung für neue Daten
Wir heruntergeladen die Ergebnisse von drei verschiedenen Trainingsläufe oben, also lassen Sie uns Last sie jetzt und nutzen TFMA um zu sehen , wie sie zu vergleichen mit render_time_series . Wir können insbesondere Scheiben angeben, zu betrachten. Lassen Sie uns unsere Trainingsläufe für die Reisen zu vergleichen, dass mittags gestartet.
- Wählen Sie eine Metrik aus der Dropdown die Zeitreihe Graph für diese Metrik hinzufügen
- Schließen unerwünschte Graphen
- Hover über Datenpunkte (die Enden der Liniensegmente in der Grafik) weitere Informationen zu erhalten
def get_eval_result(base_dir, output_dir, data_loc, slice_spec):
eval_model_dir = os.path.join(base_dir, next(os.walk(base_dir))[1][0])
eval_shared_model = tfma.default_eval_shared_model(eval_saved_model_path=eval_model_dir)
return tfma.run_model_analysis(eval_shared_model=eval_shared_model,
data_location=data_loc,
file_format='tfrecords',
slice_spec=slice_spec,
output_path=output_dir,
extractors=None)
slices = [tfma.slicer.SingleSliceSpec()]
output_dir_0 = os.path.join(TFMA_DIR, 'output', 'run_0')
result_ts0 = get_eval_result(os.path.join(TFMA_DIR, 'run_0', 'eval_model_dir'),
output_dir_0, TFRecord_file, slices)
output_dir_1 = os.path.join(TFMA_DIR, 'output', 'run_1')
result_ts1 = get_eval_result(os.path.join(TFMA_DIR, 'run_1', 'eval_model_dir'),
output_dir_1, TFRecord_file, slices)
output_dir_2 = os.path.join(TFMA_DIR, 'output', 'run_2')
result_ts2 = get_eval_result(os.path.join(TFMA_DIR, 'run_2', 'eval_model_dir'),
output_dir_2, TFRecord_file, slices)
WARNING:tensorflow:Tensorflow version (2.2.0) found. Note that TFMA support for TF 2.0 is currently in beta Warning:tensorflow:Tensorflow version (2.2.0) found. Note that TFMA support for TF 2.0 is currently in beta INFO:tensorflow:Restoring parameters from /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_0/eval_model_dir/1578507304/variables/variables INFO:tensorflow:Restoring parameters from /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_0/eval_model_dir/1578507304/variables/variables Warning:tensorflow:Tensorflow version (2.2.0) found. Note that TFMA support for TF 2.0 is currently in beta Warning:tensorflow:Tensorflow version (2.2.0) found. Note that TFMA support for TF 2.0 is currently in beta INFO:tensorflow:Restoring parameters from /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_1/eval_model_dir/1578507304/variables/variables INFO:tensorflow:Restoring parameters from /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_1/eval_model_dir/1578507304/variables/variables Warning:tensorflow:Tensorflow version (2.2.0) found. Note that TFMA support for TF 2.0 is currently in beta Warning:tensorflow:Tensorflow version (2.2.0) found. Note that TFMA support for TF 2.0 is currently in beta INFO:tensorflow:Restoring parameters from /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_2/eval_model_dir/1578507304/variables/variables INFO:tensorflow:Restoring parameters from /tmp/tmpgq6r13oe/eval_saved_models-0.15.0/run_2/eval_model_dir/1578507304/variables/variables
Wie sieht es heute aus?
Zuerst werden wir vorstellen, dass wir trainiert haben und unser Modell gestern im Einsatz, und nun wollen wir sehen, wie es in der heutigen kommen auf die neuen Daten tut. Die Visualisierung beginnt mit Genauigkeit anzeigt. In AUC und durchschnittlichen Verlust unter Verwendung des „metrische Reihe hinzufügen“ Menüs.
eval_results_from_disk = tfma.load_eval_results([output_dir_0, output_dir_1],
tfma.constants.MODEL_CENTRIC_MODE)
tfma.view.render_time_series(eval_results_from_disk, slices[0])
TimeSeriesViewer(config={'isModelCentric': True}, data=[{'metrics': {'': {'': {'precision': {'doubleValue': 0.…
Jetzt werden wir uns vorstellen, dass ein weiterer Tag vergangen ist, und wir wollen sehen, wie es auf den neuen Daten tut heute kommen, im Vergleich zu den vorangegangenen zwei Tagen. AUC und durchschnittlichen Verlust auf „Hinzufügen metrische Reihe“ Menü wieder hinzufügen, indem Sie mit:
eval_results_from_disk = tfma.load_eval_results([output_dir_0, output_dir_1, output_dir_2],
tfma.constants.MODEL_CENTRIC_MODE)
tfma.view.render_time_series(eval_results_from_disk, slices[0])
TimeSeriesViewer(config={'isModelCentric': True}, data=[{'metrics': {'': {'': {'label/mean': {'doubleValue': 0…