TensorFlow Model Analysis (TFMA) to biblioteka do oceny modeli TensorFlow. Umożliwia użytkownikom ocenę swoich modeli na dużych ilościach danych w sposób rozproszony, przy użyciu tych samych metryk zdefiniowanych w ich trenerze. Te metryki mogą być obliczane na różnych wycinkach danych i wizualizowane w notatnikach Jupyter.
Instalacja
Zalecanym sposobem instalacji TFMA jest użycie pakietu PyPI :
pip install tensorflow-model-analysis
Zbuduj TFMA ze źródła
Aby skompilować ze źródła, wykonaj następujące kroki:
Zainstaluj protokół zgodnie z podanym linkiem: protoc
Utwórz środowisko wirtualne, uruchamiając polecenia
python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/model-analysis.git
cd model-analysis
python3 setup.py bdist_wheel
Spowoduje to zbudowanie koła TFMA w katalogu dist. Aby zainstalować koło z katalogu dist, uruchom komendy
cd dist
pip3 install tensorflow_model_analysis-<version>-py3-none-any.whl
Pakiety nocne
TFMA obsługuje również nocne pakiety na https://pypi-nightly.tensorflow.org w Google Cloud. Aby zainstalować najnowszy pakiet nightly, użyj następującego polecenia:
pip install -i https://pypi-nightly.tensorflow.org/simple tensorflow-model-analysis
To zainstaluje nocne pakiety dla głównych zależności TFMA, takich jak TensorFlow Metadata (TFMD), TFX Basic Shared Libraries (TFX-BSL).
Obecnie TFMA wymaga zainstalowania TensorFlow, ale nie ma jawnej zależności od pakietu TensorFlow PyPI. Instrukcje znajdują się w instrukcjach instalacji TensorFlow .
Aby włączyć wizualizację TFMA w Jupyter Notebook:
jupyter nbextension enable --py widgetsnbextension
jupyter nbextension enable --py tensorflow_model_analysis
Jupyter Lab
W chwili pisania, z powodu https://github.com/pypa/pip/issues/9187, pip install
może nigdy się nie zakończyć. W takim przypadku powinieneś przywrócić wersję pip do 19 zamiast 20: pip install "pip<20"
.
Korzystanie z rozszerzenia JupyterLab wymaga zainstalowania zależności w wierszu poleceń. Możesz to zrobić w konsoli w interfejsie użytkownika JupyterLab lub w wierszu poleceń. Obejmuje to oddzielne instalowanie wszelkich zależności pakietów pip i zależności wtyczki JupyterLab labextension, a numery wersji muszą być zgodne.
Poniższe przykłady używają 0.27.0. Sprawdź dostępne wersje poniżej, aby korzystać z najnowszych.
Jupyter Lab 1.2.x
pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@1.1
Jupyter Lab 2
pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@2
Rozwiązywanie problemów
Sprawdź pakiety pip:
pip list
Sprawdź rozszerzenia:
jupyter labextension list
Godne uwagi zależności
Wymagany jest TensorFlow.
Wymagany jest Apache Beam ; jest to sposób, w jaki obsługiwane są wydajne obliczenia rozproszone. Domyślnie Apache Beam działa w trybie lokalnym, ale może również pracować w trybie rozproszonym za pomocą Google Cloud przepływ danych i innych Apache Beam biegaczy .
Wymagana jest również Apache Arrow . TFMA używa Arrow do wewnętrznej reprezentacji danych w celu wykorzystania wektoryzowanych funkcji numpy.
Pierwsze kroki
Instrukcje dotyczące korzystania z TFMA można znaleźć w przewodniku dla początkujących .
Zgodne wersje
W poniższej tabeli przedstawiono wersje pakietów TFMA, które są ze sobą zgodne. Jest to określane przez nasz framework testowy, ale inne niesprawdzone kombinacje również mogą działać.
analiza modelu tensorflow | wiązka apache [gcp] | pyarrow | tensorflow | tensorflow-metadata | tfx-bsl |
---|---|---|---|---|---|
Mistrz GitHub | 2.28.0 | 2.0.0 | co noc (1.x / 2.x) | 0,28,0 | 0,28,0 |
0,28,0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0,28,0 | 0,28,0 |
0,27,0 | 2.27.0 | 2.0.0 | 1.15 / 2.4 | 0,27,0 | 0,27,0 |
0,26,0 | 2.25.0 | 0,17,0 | 1.15 / 2.3 | 0,26,0 | 0,26,0 |
0,25,0 | 2.25.0 | 0,17,0 | 1.15 / 2.3 | 0,25,0 | 0,25,0 |
0.24.3 | 2.24.0 | 0,17,0 | 1.15 / 2.3 | 0,24,0 | 0.24.1 |
0.24.2 | 2.23.0 | 0,17,0 | 1.15 / 2.3 | 0,24,0 | 0,24,0 |
0.24.1 | 2.23.0 | 0,17,0 | 1.15 / 2.3 | 0,24,0 | 0,24,0 |
0,24,0 | 2.23.0 | 0,17,0 | 1.15 / 2.3 | 0,24,0 | 0,24,0 |
0,23,0 | 2.23.0 | 0,17,0 | 1.15 / 2.3 | 0,23,0 | 0,23,0 |
0.22.2 | 2.20.0 | 0.16.0 | 1.15 / 2.2 | 0.22.2 | 0,22,0 |
0.22.1 | 2.20.0 | 0.16.0 | 1.15 / 2.2 | 0.22.2 | 0,22,0 |
0,22,0 | 2.20.0 | 0.16.0 | 1.15 / 2.2 | 0,22,0 | 0,22,0 |
0,21,6 | 2.19.0 | 0.15.0 | 1.15 / 2.1 | 0,21,0 | 0.21.3 |
0,21,5 | 2.19.0 | 0.15.0 | 1.15 / 2.1 | 0,21,0 | 0.21.3 |
0.21.4 | 2.19.0 | 0.15.0 | 1.15 / 2.1 | 0,21,0 | 0.21.3 |
0.21.3 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0,21,0 | 0,21,0 |
0.21.2 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0,21,0 | 0,21,0 |
0.21.1 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0,21,0 | 0,21,0 |
0,21,0 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0,21,0 | 0,21,0 |
0.15.4 | 2.16.0 | 0.15.0 | 1,15 / 2,0 | n / a | 0.15.1 |
0.15.3 | 2.16.0 | 0.15.0 | 1,15 / 2,0 | n / a | 0.15.1 |
0.15.2 | 2.16.0 | 0.15.0 | 1,15 / 2,0 | n / a | 0.15.1 |
0.15.1 | 2.16.0 | 0.15.0 | 1,15 / 2,0 | n / a | 0.15.0 |
0.15.0 | 2.16.0 | 0.15.0 | 1.15 | n / a | n / a |
0.14.0 | 2.14.0 | n / a | 1.14 | n / a | n / a |
0.13.1 | 2.11.0 | n / a | 1.13 | n / a | n / a |
0.13.0 | 2.11.0 | n / a | 1.13 | n / a | n / a |
0.12.1 | 2.10.0 | n / a | 1.12 | n / a | n / a |
0.12.0 | 2.10.0 | n / a | 1.12 | n / a | n / a |
0.11.0 | 2.8.0 | n / a | 1.11 | n / a | n / a |
0.9.2 | 2.6.0 | n / a | 1.9 | n / a | n / a |
0.9.1 | 2.6.0 | n / a | 1.10 | n / a | n / a |
0.9.0 | 2.5.0 | n / a | 1.9 | n / a | n / a |
0.6.0 | 2.4.0 | n / a | 1.6 | n / a | n / a |
pytania
Wszelkie pytania dotyczące pracy z TFMA prosimy kierować do Stack Overflow, używając tagu tensorflow-model-analysis .