TensorFlow Model Analysis (TFMA) to biblioteka do oceny modeli TensorFlow. Pozwala użytkownikom oceniać swoje modele na dużych ilościach danych w sposób rozproszony, przy użyciu tych samych metryk zdefiniowanych w ich trenerze. Te metryki można obliczać na różnych wycinkach danych i wizualizować w notatnikach Jupyter.
Instalacja
Zalecanym sposobem instalacji TFMA jest użycie pakietu PyPI :
pip install tensorflow-model-analysis
Zbuduj TFMA ze źródła
Aby zbudować ze źródła, wykonaj następujące kroki:
Zainstaluj protokół zgodnie ze wspomnianym linkiem: protoc
Utwórz wirtualne środowisko, uruchamiając polecenia
python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/model-analysis.git
cd model-analysis
python3 setup.py bdist_wheel
To zbuduje koło TFMA w katalogu dist. Aby zainstalować kierownicę z katalogu dist, uruchom polecenia
cd dist
pip3 install tensorflow_model_analysis-<version>-py3-none-any.whl
Pakiety nocne
TFMA obsługuje również pakiety nocne na https://pypi-nightly.tensorflow.org w Google Cloud. Aby zainstalować najnowszy pakiet nightly, użyj następującego polecenia:
pip install -i https://pypi-nightly.tensorflow.org/simple tensorflow-model-analysis
Spowoduje to zainstalowanie nocnych pakietów dla głównych zależności TFMA, takich jak TensorFlow Metadata (TFMD), TFX Basic Shared Libraries (TFX-BSL).
Obecnie TFMA wymaga zainstalowania TensorFlow, ale nie ma wyraźnej zależności od pakietu TensorFlow PyPI. Zobacz instrukcje instalacji TensorFlow, aby uzyskać instrukcje.
Aby włączyć wizualizację TFMA w Notatniku Jupyter:
jupyter nbextension enable --py widgetsnbextension
jupyter nbextension enable --py tensorflow_model_analysis
Laboratorium Jupytera
W chwili pisania, z powodu https://github.com/pypa/pip/issues/9187, pip install
może nigdy się nie zakończyć. W takim przypadku powinieneś przywrócić pip do wersji 19 zamiast 20: pip install "pip<20"
.
Korzystanie z rozszerzenia JupyterLab wymaga zainstalowania zależności w wierszu poleceń. Możesz to zrobić w konsoli w interfejsie użytkownika JupyterLab lub w wierszu poleceń. Obejmuje to osobną instalację wszelkich zależności pakietu pip i zależności wtyczki JupyterLab labextension, a numery wersji muszą być zgodne.
Poniższe przykłady używają 0.27.0. Sprawdź dostępne wersje poniżej, aby korzystać z najnowszych.
Laboratorium Jupytera 1.2.x
pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@1.1
Laboratorium Jupytera 2
pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@2
Rozwiązywanie problemów
Sprawdź pakiety pipsów:
pip list
Sprawdź rozszerzenia:
jupyter labextension list
Znaczące zależności
TensorFlow jest wymagany.
Wymagana jest wiązka Apache ; w ten sposób obsługiwane są wydajne obliczenia rozproszone. Domyślnie Apache Beam działa w trybie lokalnym, ale może również działać w trybie rozproszonym przy użyciu Google Cloud Dataflow i innych programów uruchamiających Apache Beam .
Wymagana jest również strzała Apache . TFMA używa strzałki do reprezentacji danych wewnętrznie w celu wykorzystania wektoryzacji funkcji numpy.
Pierwsze kroki
Aby uzyskać instrukcje dotyczące korzystania z TFMA, zapoznaj się z przewodnikiem dla początkujących .
Kompatybilne wersje
Poniższa tabela przedstawia wersje pakietów TFMA, które są ze sobą kompatybilne. Jest to określane przez nasze ramy testowe, ale inne nieprzetestowane kombinacje również mogą działać.
analiza-modelu-tensorflow | apache-beam[gcp] | pyarrow | przepływ tensorowy | metadane tensorflow | tfx-bsl |
---|---|---|---|---|---|
Mistrz GitHub | 2,38.0 | 5.0.0 | noc (1.x/2.x) | 1.9.0 | 1.9.0 |
0,40,0 | 2,38.0 | 5.0.0 | 1,15 / 2,9 | 1.9.0 | 1.9.0 |
0.39.0 | 2,38.0 | 5.0.0 | 1,15 / 2,8 | 1.8.0 | 1.8.0 |
0,38,0 | 2,36,0 | 5.0.0 | 1,15 / 2,8 | 1.7.0 | 1.7.0 |
0,37,0 | 2.35.0 | 5.0.0 | 1,15 / 2,7 | 1.6.0 | 1.6.0 |
0,36,0 | 2.34.0 | 5.0.0 | 1,15 / 2,7 | 1.5.0 | 1.5.0 |
0,35,0 | 2,33,0 | 5.0.0 | 1,15 / 2,6 | 1.4.0 | 1.4.0 |
0.34.1 | 2.32.0 | 2.0.0 | 1,15 / 2,6 | 1.2.0 | 1.3.0 |
0.34.0 | 2.31.0 | 2.0.0 | 1,15 / 2,6 | 1.2.0 | 1.3.1 |
0,33,0 | 2.31.0 | 2.0.0 | 1,15 / 2,5 | 1.2.0 | 1.2.0 |
0.32.1 | 2.29.0 | 2.0.0 | 1,15 / 2,5 | 1.1.0 | 1.1.1 |
0,32,0 | 2.29.0 | 2.0.0 | 1,15 / 2,5 | 1.1.0 | 1.1.0 |
0,31,0 | 2.29.0 | 2.0.0 | 1,15 / 2,5 | 1.0.0 | 1.0.0 |
0,30,0 | 2,28.0 | 2.0.0 | 1,15 / 2,4 | 0,30,0 | 0,30,0 |
0.29.0 | 2,28.0 | 2.0.0 | 1,15 / 2,4 | 0.29.0 | 0.29.0 |
0,28,0 | 2,28.0 | 2.0.0 | 1,15 / 2,4 | 0,28,0 | 0,28,0 |
0,27,0 | 2,27,0 | 2.0.0 | 1,15 / 2,4 | 0,27,0 | 0,27,0 |
0,26,1 | 2,28.0 | 0,17,0 | 1,15 / 2,3 | 0,26,0 | 0,26,0 |
0,26,0 | 2,25,0 | 0,17,0 | 1,15 / 2,3 | 0,26,0 | 0,26,0 |
0,25,0 | 2,25,0 | 0,17,0 | 1,15 / 2,3 | 0,25,0 | 0,25,0 |
0,24,3 | 2.24.0 | 0,17,0 | 1,15 / 2,3 | 0,24,0 | 0.24.1 |
0,24,2 | 2.23.0 | 0,17,0 | 1,15 / 2,3 | 0,24,0 | 0,24,0 |
0.24.1 | 2.23.0 | 0,17,0 | 1,15 / 2,3 | 0,24,0 | 0,24,0 |
0,24,0 | 2.23.0 | 0,17,0 | 1,15 / 2,3 | 0,24,0 | 0,24,0 |
0,23,0 | 2.23.0 | 0,17,0 | 1,15 / 2,3 | 0,23,0 | 0,23,0 |
0,22.2 | 2,20,0 | 0,16,0 | 1,15 / 2,2 | 0,22.2 | 0,22,0 |
0,22.1 | 2,20,0 | 0,16,0 | 1,15 / 2,2 | 0,22.2 | 0,22,0 |
0,22,0 | 2,20,0 | 0,16,0 | 1,15 / 2,2 | 0,22,0 | 0,22,0 |
0,21,6 | 2.19.0 | 0,15,0 | 1,15 / 2,1 | 0,21,0 | 0,21,3 |
0,21,5 | 2.19.0 | 0,15,0 | 1,15 / 2,1 | 0,21,0 | 0,21,3 |
0,21,4 | 2.19.0 | 0,15,0 | 1,15 / 2,1 | 0,21,0 | 0,21,3 |
0,21,3 | 2.17.0 | 0,15,0 | 1,15 / 2,1 | 0,21,0 | 0,21,0 |
0,21,2 | 2.17.0 | 0,15,0 | 1,15 / 2,1 | 0,21,0 | 0,21,0 |
0,21,1 | 2.17.0 | 0,15,0 | 1,15 / 2,1 | 0,21,0 | 0,21,0 |
0,21,0 | 2.17.0 | 0,15,0 | 1,15 / 2,1 | 0,21,0 | 0,21,0 |
0.15.4 | 2,16.0 | 0,15,0 | 1,15 / 2,0 | nie dotyczy | 0,15,1 |
0.15.3 | 2,16.0 | 0,15,0 | 1,15 / 2,0 | nie dotyczy | 0,15,1 |
0.15.2 | 2,16.0 | 0,15,0 | 1,15 / 2,0 | nie dotyczy | 0,15,1 |
0,15,1 | 2,16.0 | 0,15,0 | 1,15 / 2,0 | nie dotyczy | 0,15,0 |
0,15,0 | 2,16.0 | 0,15,0 | 1,15 | nie dotyczy | nie dotyczy |
0.14.0 | 2.14.0 | nie dotyczy | 1,14 | nie dotyczy | nie dotyczy |
0,13,1 | 2.11.0 | nie dotyczy | 1.13 | nie dotyczy | nie dotyczy |
0,13,0 | 2.11.0 | nie dotyczy | 1.13 | nie dotyczy | nie dotyczy |
0.12.1 | 2.10.0 | nie dotyczy | 1.12 | nie dotyczy | nie dotyczy |
0.12.0 | 2.10.0 | nie dotyczy | 1.12 | nie dotyczy | nie dotyczy |
0,11,0 | 2.8.0 | nie dotyczy | 1.11 | nie dotyczy | nie dotyczy |
0.9.2 | 2.6.0 | nie dotyczy | 1,9 | nie dotyczy | nie dotyczy |
0.9.1 | 2.6.0 | nie dotyczy | 1.10 | nie dotyczy | nie dotyczy |
0.9.0 | 2.5.0 | nie dotyczy | 1,9 | nie dotyczy | nie dotyczy |
0.6.0 | 2.4.0 | nie dotyczy | 1,6 | nie dotyczy | nie dotyczy |
pytania
Wszelkie pytania dotyczące pracy z TFMA należy kierować do Stack Overflow za pomocą tagu tensorflow-model-analysis .