Analisi del modello TensorFlow

Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.

TensorFlow Model Analysis (TFMA) è una libreria per la valutazione dei modelli TensorFlow. Consente agli utenti di valutare i propri modelli su grandi quantità di dati in modo distribuito, utilizzando le stesse metriche definite nel proprio trainer. Queste metriche possono essere calcolate su diverse sezioni di dati e visualizzate nei notebook Jupyter.

Browser delle metriche di affettatura TFMA

Installazione

Il modo consigliato per installare TFMA è utilizzare il pacchetto PyPI :

pip install tensorflow-model-analysis

Costruisci TFMA dal sorgente

Per creare dal sorgente, segui i seguenti passaggi:

Installa il protoc secondo il link indicato: protoc

Crea un ambiente virtuale eseguendo i comandi

python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/model-analysis.git
cd model-analysis
python3 setup.py bdist_wheel

Questo creerà la ruota TFMA nella directory dist. Per installare la ruota dalla directory dist eseguire i comandi

cd dist
pip3 install tensorflow_model_analysis-<version>-py3-none-any.whl

Pacchetti notturni

TFMA ospita anche pacchetti notturni su https://pypi-nightly.tensorflow.org su Google Cloud. Per installare l'ultimo pacchetto notturno, utilizzare il comando seguente:

pip install -i https://pypi-nightly.tensorflow.org/simple tensorflow-model-analysis

Questo installerà i pacchetti notturni per le principali dipendenze di TFMA come TensorFlow Metadata (TFMD), TFX Basic Shared Libraries (TFX-BSL).

Attualmente, TFMA richiede che TensorFlow sia installato ma non ha una dipendenza esplicita dal pacchetto TensorFlow PyPI. Per istruzioni, vedere le guide di installazione di TensorFlow .

Per abilitare la visualizzazione TFMA in Jupyter Notebook:

  jupyter nbextension enable --py widgetsnbextension
  jupyter nbextension enable --py tensorflow_model_analysis

Laboratorio Giove

Al momento della scrittura, a causa di https://github.com/pypa/pip/issues/9187, pip install potrebbe non finire mai. In tal caso, dovresti ripristinare pip alla versione 19 anziché 20: pip install "pip<20" .

L'utilizzo di un'estensione JupyterLab richiede l'installazione di dipendenze sulla riga di comando. Puoi farlo all'interno della console nell'interfaccia utente di JupyterLab o sulla riga di comando. Ciò include l'installazione separata di eventuali dipendenze del pacchetto pip e delle dipendenze del plug-in labeextension di JupyterLab e i numeri di versione devono essere compatibili.

Gli esempi seguenti usano 0.27.0. Controlla le versioni disponibili di seguito per utilizzare l'ultima.

Jupyter Lab 1.2.x

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@1.1

Giove Lab 2

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@2

Risoluzione dei problemi

Controlla i pacchetti di pip:

pip list

Controlla le estensioni:

jupyter labextension list

Dipendenze notevoli

TensorFlow è richiesto.

È richiesto Apache Beam ; è il modo in cui è supportato il calcolo distribuito efficiente. Per impostazione predefinita, Apache Beam viene eseguito in modalità locale, ma può anche essere eseguito in modalità distribuita utilizzando Google Cloud Dataflow e altri runner Apache Beam.

È richiesto anche Apache Arrow . TFMA utilizza la freccia per rappresentare i dati internamente al fine di utilizzare funzioni numpy vettorializzate.

Iniziare

Per istruzioni sull'utilizzo di TFMA, vedere la guida introduttiva .

Versioni compatibili

La tabella seguente mostra le versioni del pacchetto TFMA compatibili tra loro. Ciò è determinato dal nostro framework di test, ma possono funzionare anche altre combinazioni non testate .

Tensorflow-modello-analisi apache-beam[gcp] freccia flusso tensoriale Tensorflow-metadati tfx-bsl
Maestro GitHub 2.40.0 6.0.0 ogni notte (1.x/2.x) 1.10.0 1.10.1
0.41.0 2.40.0 6.0.0 1.15 / 2.9 1.10.0 1.10.1
0.40.0 2.38.0 5.0.0 1.15 / 2.9 1.9.0 1.9.0
0.39.0 2.38.0 5.0.0 1.15 / 2.8 1.8.0 1.8.0
0.38.0 2.36.0 5.0.0 1.15 / 2.8 1.7.0 1.7.0
0.37.0 2.35.0 5.0.0 1.15 / 2.7 1.6.0 1.6.0
0.36.0 2.34.0 5.0.0 1.15 / 2.7 1.5.0 1.5.0
0.35.0 2.33.0 5.0.0 1.15 / 2.6 1.4.0 1.4.0
0.34.1 2.32.0 2.0.0 1.15 / 2.6 1.2.0 1.3.0
0.34.0 2.31.0 2.0.0 1.15 / 2.6 1.2.0 1.3.1
0.33.0 2.31.0 2.0.0 1.15 / 2.5 1.2.0 1.2.0
0.32.1 2.29.0 2.0.0 1.15 / 2.5 1.1.0 1.1.1
0.32.0 2.29.0 2.0.0 1.15 / 2.5 1.1.0 1.1.0
0.31.0 2.29.0 2.0.0 1.15 / 2.5 1.0.0 1.0.0
0.30.0 2.28.0 2.0.0 1.15 / 2.4 0.30.0 0.30.0
0.29.0 2.28.0 2.0.0 1.15 / 2.4 0.29.0 0.29.0
0.28.0 2.28.0 2.0.0 1.15 / 2.4 0.28.0 0.28.0
0.27.0 2.27.0 2.0.0 1.15 / 2.4 0.27.0 0.27.0
0.26.1 2.28.0 0.17.0 1.15 / 2.3 0.26.0 0.26.0
0.26.0 2.25.0 0.17.0 1.15 / 2.3 0.26.0 0.26.0
0.25.0 2.25.0 0.17.0 1.15 / 2.3 0.25.0 0.25.0
0.24.3 2.24.0 0.17.0 1.15 / 2.3 0.24.0 0.24.1
0.24.2 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.24.1 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.24.0 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.23.0 2.23.0 0.17.0 1.15 / 2.3 0.23.0 0.23.0
0.22.2 2.20.0 0.16.0 1.15 / 2.2 0.22.2 0.22.0
0.22.1 2.20.0 0.16.0 1.15 / 2.2 0.22.2 0.22.0
0.22.0 2.20.0 0.16.0 1.15 / 2.2 0.22.0 0.22.0
0.21.6 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.5 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.4 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.3 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.2 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.1 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.0 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.15.4 2.16.0 0.15.0 1.15 / 2.0 n / a 0.15.1
0.15.3 2.16.0 0.15.0 1.15 / 2.0 n / a 0.15.1
0.15.2 2.16.0 0.15.0 1.15 / 2.0 n / a 0.15.1
0.15.1 2.16.0 0.15.0 1.15 / 2.0 n / a 0.15.0
0.15.0 2.16.0 0.15.0 1.15 n / a n / a
0.14.0 2.14.0 n / a 1.14 n / a n / a
0.13.1 2.11.0 n / a 1.13 n / a n / a
0.13.0 2.11.0 n / a 1.13 n / a n / a
0.12.1 2.10.0 n / a 1.12 n / a n / a
0.12.0 2.10.0 n / a 1.12 n / a n / a
0.11.0 2.8.0 n / a 1.11 n / a n / a
0.9.2 2.6.0 n / a 1.9 n / a n / a
0.9.1 2.6.0 n / a 1.10 n / a n / a
0.9.0 2.5.0 n / a 1.9 n / a n / a
0.6.0 2.4.0 n / a 1.6 n / a n / a

Domande

Si prega di indirizzare eventuali domande sull'utilizzo di TFMA a Stack Overflow utilizzando il tag tensorflow-model-analysis .