Unisciti alla comunità SIG TFX-Addons e contribuisci a rendere TFX ancora migliore!

Analisi del modello TensorFlow

Tensorflow modello di analisi (TFMA) è una libreria per valutare modelli tensorflow. Consente agli utenti di valutare i propri modelli su grandi quantità di dati in modo distribuito, utilizzando le stesse metriche definite nel proprio trainer. Queste metriche possono essere calcolate su diverse sezioni di dati e visualizzate nei notebook Jupyter.

TFMA Slicing Metrics Browser

Installazione

Il metodo consigliato per installare TFMA sta usando il pacchetto di PyPI :

pip install tensorflow-model-analysis

Crea TFMA dal sorgente from

Per compilare dal sorgente seguire i seguenti passaggi:

Installare il ProtoC come per il collegamento citato: ProtoC

Crea un ambiente virtuale eseguendo i comandi

python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/model-analysis.git
cd model-analysis
python3 setup.py bdist_wheel

Questo creerà la ruota TFMA nella directory dist. Per installare la ruota dalla directory dist esegui i comandi

cd dist
pip3 install tensorflow_model_analysis-<version>-py3-none-any.whl

Pacchetti notturni

TFMA ospita anche pacchetti serale presso https://pypi-nightly.tensorflow.org su Google Cloud. Per installare l'ultimo pacchetto notturno, utilizzare il seguente comando:

pip install -i https://pypi-nightly.tensorflow.org/simple tensorflow-model-analysis

Questo installerà i pacchetti notturni per le principali dipendenze di TFMA come TensorFlow Metadata (TFMD), TFX Basic Shared Libraries (TFX-BSL).

Attualmente, TFMA richiede che TensorFlow sia installato ma non ha una dipendenza esplicita dal pacchetto TensorFlow PyPI. Vedere le tensorflow installare guide per le istruzioni.

Per abilitare la visualizzazione TFMA in Jupyter Notebook:

  jupyter nbextension enable --py widgetsnbextension
  jupyter nbextension enable --py tensorflow_model_analysis

Laboratorio Giove

Al momento di scrivere, a causa di https://github.com/pypa/pip/issues/9187, pip install potrebbe mai finire. In tal caso, si dovrebbe tornare pip alla versione 19 invece di 20: pip install "pip<20" .

L'utilizzo di un'estensione JupyterLab richiede l'installazione di dipendenze sulla riga di comando. Puoi farlo all'interno della console nell'interfaccia utente di JupyterLab o sulla riga di comando. Ciò include l'installazione separata di eventuali dipendenze del pacchetto pip e delle dipendenze del plug-in di estensione lab JupyterLab e i numeri di versione devono essere compatibili.

Gli esempi seguenti usano 0.27.0. Controllare disponibili versioni di seguito per utilizzare l'ultima.

Jupyter Lab 1.2.x

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@1.1

Laboratorio Giove 2

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@2

Risoluzione dei problemi

Controlla i pacchetti di pip:

pip list

Controlla le estensioni:

jupyter labextension list

Dipendenze notevoli

TensorFlow è richiesto.

Apache fascio è necessaria; è il modo in cui è supportato il calcolo distribuito efficiente. Per impostazione predefinita, Apache fascio viene eseguito in modalità locale, ma può anche funzionare in modalità distribuita utilizzando Google Cloud flusso di dati e altre Apache fascio corridori .

Apache Freccia è anche necessario. TFMA utilizza Arrow per rappresentare i dati internamente al fine di utilizzare funzioni numpy vettorizzate.

Iniziare

Per istruzioni sull'utilizzo TFMA, consultare la guida introduttiva get .

Versioni compatibili

La tabella seguente sono le versioni del pacchetto TFMA compatibili tra loro. Ciò è determinato dal nostro framework di test, ma altre combinazioni non testate potrebbe anche funzionare.

analisi-modello-tensorflow apache-beam[gcp] Pyarrow flusso tensoriale tensorflow-metadata tfx-bsl
Maestro di GitHub 2.31.0 2.0.0 di notte (1.x/2.x) 1.2.0 1.2.0
0.33.0 2.31.0 2.0.0 1.15 / 2.5 1.2.0 1.2.0
0.32.1 2.29.0 2.0.0 1.15 / 2.5 1.1.0 1.1.1
0.32.0 2.29.0 2.0.0 1.15 / 2.5 1.1.0 1.1.0
0.31.0 2.29.0 2.0.0 1.15 / 2.5 1.0.0 1.0.0
0.30.0 2.28.0 2.0.0 1.15 / 2.4 0.30.0 0.30.0
0.29.0 2.28.0 2.0.0 1.15 / 2.4 0.29.0 0.29.0
0.28.0 2.28.0 2.0.0 1.15 / 2.4 0.28.0 0.28.0
0.27.0 2.27.0 2.0.0 1.15 / 2.4 0.27.0 0.27.0
0.26.1 2.28.0 0.17.0 1.15 / 2.3 0.26.0 0.26.0
0.26.0 2.25.0 0.17.0 1.15 / 2.3 0.26.0 0.26.0
0.25.0 2.25.0 0.17.0 1.15 / 2.3 0.25.0 0.25.0
0.24.3 2.24.0 0.17.0 1.15 / 2.3 0.24.0 0.24.1
0.24.2 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.24.1 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.24.0 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.23.0 2.23.0 0.17.0 1.15 / 2.3 0.23.0 0.23.0
0.22.2 2.20.0 0.16.0 1.15 / 2.2 0.22.2 0.22.0
0.22.1 2.20.0 0.16.0 1.15 / 2.2 0.22.2 0.22.0
0.22.0 2.20.0 0.16.0 1.15 / 2.2 0.22.0 0.22.0
0.21.6 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.5 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.4 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.3 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.2 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.1 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.0 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.15.4 2.16.0 0.15.0 1.15 / 2.0 n / A 0.15.1
0.15.3 2.16.0 0.15.0 1.15 / 2.0 n / A 0.15.1
0.15.2 2.16.0 0.15.0 1.15 / 2.0 n / A 0.15.1
0.15.1 2.16.0 0.15.0 1.15 / 2.0 n / A 0.15.0
0.15.0 2.16.0 0.15.0 1.15 n / A n / A
0.14.0 2.14.0 n / A 1.14 n / A n / A
0.13.1 2.11.0 n / A 1.13 n / A n / A
0.13.0 2.11.0 n / A 1.13 n / A n / A
0.12.1 2.10.0 n / A 1.12 n / A n / A
0.12.0 2.10.0 n / A 1.12 n / A n / A
0.11.0 2.8.0 n / A 1.11 n / A n / A
0.9.2 2.6.0 n / A 1.9 n / A n / A
0.9.1 2.6.0 n / A 1.10 n / A n / A
0.9.0 2.5.0 n / A 1.9 n / A n / A
0.6.0 2.4.0 n / A 1.6 n / A n / A

Domande

Per eventuali domande su come lavorare con TFMA di Stack Overflow utilizzando il tensorflow-modello di analisi tag.