Odpowiedz już dziś na lokalne wydarzenie TensorFlow Everywhere!
Ta strona została przetłumaczona przez Cloud Translation API.
Switch to English

Analiza modelu TensorFlow

TensorFlow Model Analysis (TFMA) to biblioteka do oceny modeli TensorFlow. Umożliwia użytkownikom ocenę swoich modeli na dużych ilościach danych w sposób rozproszony, przy użyciu tych samych metryk zdefiniowanych w ich trenerze. Te metryki mogą być obliczane na różnych wycinkach danych i wizualizowane w notatnikach Jupyter.

Przeglądarka metryk wycinania TFMA

Instalacja

Zalecanym sposobem instalacji TFMA jest użycie pakietu PyPI :

pip install tensorflow-model-analysis

Zbuduj TFMA ze źródła

Aby skompilować ze źródła, wykonaj następujące kroki:

Zainstaluj protokół zgodnie z podanym linkiem: protoc

Utwórz środowisko wirtualne, uruchamiając polecenia

python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/model-analysis.git
cd model-analysis
python3 setup.py bdist_wheel

Spowoduje to zbudowanie koła TFMA w katalogu dist. Aby zainstalować koło z katalogu dist, uruchom komendy

cd dist
pip3 install tensorflow_model_analysis-<version>-py3-none-any.whl

Pakiety nocne

TFMA obsługuje również nocne pakiety na https://pypi-nightly.tensorflow.org w Google Cloud. Aby zainstalować najnowszy pakiet nightly, użyj następującego polecenia:

pip install -i https://pypi-nightly.tensorflow.org/simple tensorflow-model-analysis

To zainstaluje nocne pakiety dla głównych zależności TFMA, takich jak TensorFlow Metadata (TFMD), TFX Basic Shared Libraries (TFX-BSL).

Obecnie TFMA wymaga zainstalowania TensorFlow, ale nie ma jawnej zależności od pakietu TensorFlow PyPI. Instrukcje znajdują się w instrukcjach instalacji TensorFlow .

Aby włączyć wizualizację TFMA w Jupyter Notebook:

  jupyter nbextension enable --py widgetsnbextension
  jupyter nbextension enable --py tensorflow_model_analysis

Jupyter Lab

W chwili pisania, z powodu https://github.com/pypa/pip/issues/9187, pip install może nigdy się nie zakończyć. W takim przypadku powinieneś przywrócić wersję pip do 19 zamiast 20: pip install "pip<20" .

Korzystanie z rozszerzenia JupyterLab wymaga zainstalowania zależności w wierszu poleceń. Możesz to zrobić w konsoli w interfejsie użytkownika JupyterLab lub w wierszu poleceń. Obejmuje to oddzielne instalowanie wszelkich zależności pakietów pip i zależności wtyczki JupyterLab labextension, a numery wersji muszą być zgodne.

Poniższe przykłady używają 0.27.0. Sprawdź dostępne wersje poniżej, aby korzystać z najnowszych.

Jupyter Lab 1.2.x

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@1.1

Jupyter Lab 2

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@2

Rozwiązywanie problemów

Sprawdź pakiety pip:

pip list

Sprawdź rozszerzenia:

jupyter labextension list

Godne uwagi zależności

Wymagany jest TensorFlow.

Wymagany jest Apache Beam ; jest to sposób, w jaki obsługiwane są wydajne obliczenia rozproszone. Domyślnie Apache Beam działa w trybie lokalnym, ale może również pracować w trybie rozproszonym za pomocą Google Cloud przepływ danych i innych Apache Beam biegaczy .

Wymagana jest również Apache Arrow . TFMA używa Arrow do wewnętrznej reprezentacji danych w celu wykorzystania wektoryzowanych funkcji numpy.

Pierwsze kroki

Instrukcje dotyczące korzystania z TFMA można znaleźć w przewodniku dla początkujących .

Zgodne wersje

W poniższej tabeli przedstawiono wersje pakietów TFMA, które są ze sobą zgodne. Jest to określane przez nasz framework testowy, ale inne niesprawdzone kombinacje również mogą działać.

analiza modelu tensorflow wiązka apache [gcp] pyarrow tensorflow tensorflow-metadata tfx-bsl
Mistrz GitHub 2.28.0 2.0.0 co noc (1.x / 2.x) 0,28,0 0,28,0
0,28,0 2.28.0 2.0.0 1.15 / 2.4 0,28,0 0,28,0
0,27,0 2.27.0 2.0.0 1.15 / 2.4 0,27,0 0,27,0
0,26,0 2.25.0 0,17,0 1.15 / 2.3 0,26,0 0,26,0
0,25,0 2.25.0 0,17,0 1.15 / 2.3 0,25,0 0,25,0
0.24.3 2.24.0 0,17,0 1.15 / 2.3 0,24,0 0.24.1
0.24.2 2.23.0 0,17,0 1.15 / 2.3 0,24,0 0,24,0
0.24.1 2.23.0 0,17,0 1.15 / 2.3 0,24,0 0,24,0
0,24,0 2.23.0 0,17,0 1.15 / 2.3 0,24,0 0,24,0
0,23,0 2.23.0 0,17,0 1.15 / 2.3 0,23,0 0,23,0
0.22.2 2.20.0 0.16.0 1.15 / 2.2 0.22.2 0,22,0
0.22.1 2.20.0 0.16.0 1.15 / 2.2 0.22.2 0,22,0
0,22,0 2.20.0 0.16.0 1.15 / 2.2 0,22,0 0,22,0
0,21,6 2.19.0 0.15.0 1.15 / 2.1 0,21,0 0.21.3
0,21,5 2.19.0 0.15.0 1.15 / 2.1 0,21,0 0.21.3
0.21.4 2.19.0 0.15.0 1.15 / 2.1 0,21,0 0.21.3
0.21.3 2.17.0 0.15.0 1.15 / 2.1 0,21,0 0,21,0
0.21.2 2.17.0 0.15.0 1.15 / 2.1 0,21,0 0,21,0
0.21.1 2.17.0 0.15.0 1.15 / 2.1 0,21,0 0,21,0
0,21,0 2.17.0 0.15.0 1.15 / 2.1 0,21,0 0,21,0
0.15.4 2.16.0 0.15.0 1,15 / 2,0 n / a 0.15.1
0.15.3 2.16.0 0.15.0 1,15 / 2,0 n / a 0.15.1
0.15.2 2.16.0 0.15.0 1,15 / 2,0 n / a 0.15.1
0.15.1 2.16.0 0.15.0 1,15 / 2,0 n / a 0.15.0
0.15.0 2.16.0 0.15.0 1.15 n / a n / a
0.14.0 2.14.0 n / a 1.14 n / a n / a
0.13.1 2.11.0 n / a 1.13 n / a n / a
0.13.0 2.11.0 n / a 1.13 n / a n / a
0.12.1 2.10.0 n / a 1.12 n / a n / a
0.12.0 2.10.0 n / a 1.12 n / a n / a
0.11.0 2.8.0 n / a 1.11 n / a n / a
0.9.2 2.6.0 n / a 1.9 n / a n / a
0.9.1 2.6.0 n / a 1.10 n / a n / a
0.9.0 2.5.0 n / a 1.9 n / a n / a
0.6.0 2.4.0 n / a 1.6 n / a n / a

pytania

Wszelkie pytania dotyczące pracy z TFMA prosimy kierować do Stack Overflow, używając tagu tensorflow-model-analysis .