TFMA( TensorFlow Model Analysis )는 TensorFlow 모델을 평가하기 위한 라이브러리입니다. 이를 통해 사용자는 트레이너에 정의된 것과 동일한 메트릭을 사용하여 분산 방식으로 대량의 데이터에 대한 모델을 평가할 수 있습니다. 이러한 메트릭은 다양한 데이터 조각에 대해 계산하고 Jupyter 노트북에서 시각화할 수 있습니다.
설치
TFMA를 설치하는 권장 방법은 PyPI 패키지 를 사용하는 것입니다.
pip install tensorflow-model-analysis
소스에서 TFMA 빌드
소스에서 빌드하려면 다음 단계를 따르세요.
언급된 링크에 따라 protoc을 설치합니다: protoc
명령을 실행하여 가상 환경을 만듭니다.
python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/model-analysis.git
cd model-analysis
python3 setup.py bdist_wheel
이렇게 하면 dist 디렉토리에 TFMA 휠이 빌드됩니다. dist 디렉토리에서 휠을 설치하려면 다음 명령을 실행하십시오.
cd dist
pip3 install tensorflow_model_analysis-<version>-py3-none-any.whl
나이틀리 패키지
TFMA는 또한 Google Cloud의 https://pypi-nightly.tensorflow.org 에서 야간 패키지를 호스팅합니다. 최신 nightly 패키지를 설치하려면 다음 명령을 사용하십시오.
pip install -i https://pypi-nightly.tensorflow.org/simple tensorflow-model-analysis
이렇게 하면 TFMD(TensorFlow Metadata), TFX-BSL(TFX Basic Shared Libraries)과 같은 TFMA의 주요 종속성에 대한 야간 패키지가 설치됩니다.
현재 TFMA는 TensorFlow가 설치되어 있어야 하지만 TensorFlow PyPI 패키지에 대한 명시적 종속성은 없습니다. 지침은 TensorFlow 설치 가이드 를 참조하세요.
Jupyter Notebook에서 TFMA 시각화를 활성화하려면:
jupyter nbextension enable --py widgetsnbextensionjupyter nbextension enable --py tensorflow_model_analysis
주피터 랩
작성 당시 https://github.com/pypa/pip/issues/9187 때문에 pip install 가 완료되지 않을 수 있습니다. 이 경우 pip를 20 대신 버전 19로 되돌려야 합니다. pip install "pip<20" .
JupyterLab 확장을 사용하려면 명령줄에 종속성을 설치해야 합니다. JupyterLab UI의 콘솔 내에서 또는 명령줄에서 이 작업을 수행할 수 있습니다. 여기에는 pip 패키지 종속성과 JupyterLab labextension 플러그인 종속성을 별도로 설치하는 것이 포함되며 버전 번호가 호환되어야 합니다.
아래 예에서는 0.27.0을 사용합니다. 최신 버전을 사용하려면 아래에서 사용 가능한 버전 을 확인하십시오.
주피터 랩 1.2.x
pip install tensorflow_model_analysis==0.27.0jupyter labextension install tensorflow_model_analysis@0.27.0jupyter labextension install @jupyter-widgets/jupyterlab-manager@1.1
주피터 랩 2
pip install tensorflow_model_analysis==0.27.0jupyter labextension install tensorflow_model_analysis@0.27.0jupyter labextension install @jupyter-widgets/jupyterlab-manager@2
문제 해결
핍 패키지 확인:
pip list
확장 프로그램 확인:
jupyter labextension list
주목할만한 종속성
TensorFlow가 필요합니다.
Apache Beam 이 필요합니다. 효율적인 분산 계산이 지원되는 방식입니다. 기본적으로 Apache Beam은 로컬 모드에서 실행되지만 Google Cloud Dataflow 및 기타 Apache Beam 실행기를 사용하여 분산 모드에서도 실행할 수 있습니다.
Apache Arrow 도 필요합니다. TFMA는 벡터화된 numpy 함수를 사용하기 위해 화살표를 사용하여 내부적으로 데이터를 나타냅니다.
시작하기
TFMA 사용에 대한 지침 은 시작 안내서 를 참조하십시오.
호환 가능한 버전
다음 표는 서로 호환되는 TFMA 패키지 버전입니다. 이는 테스트 프레임워크에 의해 결정되지만 테스트되지 않은 다른 조합도 작동할 수 있습니다.
| tensorflow-모델-분석 | 아파치 빔[gcp] | 파이로우 | 텐서플로우 | tensorflow-메타데이터 | tfx-bsl |
|---|---|---|---|---|---|
| GitHub 마스터 | 2.40.0 | 6.0.0 | 야간(2.x) | 1.12.0 | 1.12.0 |
| 0.43.0 | 2.40.0 | 6.0.0 | 2.11 | 1.12.0 | 1.12.0 |
| 0.42.0 | 2.40.0 | 6.0.0 | 1.15 / 2.10 | 1.11.0 | 1.11.0 |
| 0.41.1 | 2.40.0 | 6.0.0 | 1.15 / 2.9 | 1.10.0 | 1.10.1 |
| 0.41.0 | 2.40.0 | 6.0.0 | 1.15 / 2.9 | 1.10.0 | 1.10.1 |
| 0.40.0 | 2.38.0 | 5.0.0 | 1.15 / 2.9 | 1.9.0 | 1.9.0 |
| 0.39.0 | 2.38.0 | 5.0.0 | 1.15 / 2.8 | 1.8.0 | 1.8.0 |
| 0.38.0 | 2.36.0 | 5.0.0 | 1.15 / 2.8 | 1.7.0 | 1.7.0 |
| 0.37.0 | 2.35.0 | 5.0.0 | 1.15 / 2.7 | 1.6.0 | 1.6.0 |
| 0.36.0 | 2.34.0 | 5.0.0 | 1.15 / 2.7 | 1.5.0 | 1.5.0 |
| 0.35.0 | 2.33.0 | 5.0.0 | 1.15 / 2.6 | 1.4.0 | 1.4.0 |
| 0.34.1 | 2.32.0 | 2.0.0 | 1.15 / 2.6 | 1.2.0 | 1.3.0 |
| 0.34.0 | 2.31.0 | 2.0.0 | 1.15 / 2.6 | 1.2.0 | 1.3.1 |
| 0.33.0 | 2.31.0 | 2.0.0 | 1.15 / 2.5 | 1.2.0 | 1.2.0 |
| 0.32.1 | 2.29.0 | 2.0.0 | 1.15 / 2.5 | 1.1.0 | 1.1.1 |
| 0.32.0 | 2.29.0 | 2.0.0 | 1.15 / 2.5 | 1.1.0 | 1.1.0 |
| 0.31.0 | 2.29.0 | 2.0.0 | 1.15 / 2.5 | 1.0.0 | 1.0.0 |
| 0.30.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.30.0 | 0.30.0 |
| 0.29.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.29.0 | 0.29.0 |
| 0.28.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.28.0 | 0.28.0 |
| 0.27.0 | 2.27.0 | 2.0.0 | 1.15 / 2.4 | 0.27.0 | 0.27.0 |
| 0.26.1 | 2.28.0 | 0.17.0 | 1.15 / 2.3 | 0.26.0 | 0.26.0 |
| 0.26.0 | 2.25.0 | 0.17.0 | 1.15 / 2.3 | 0.26.0 | 0.26.0 |
| 0.25.0 | 2.25.0 | 0.17.0 | 1.15 / 2.3 | 0.25.0 | 0.25.0 |
| 0.24.3 | 2.24.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.1 |
| 0.24.2 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.0 |
| 0.24.1 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.0 |
| 0.24.0 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.0 |
| 0.23.0 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.23.0 | 0.23.0 |
| 0.22.2 | 2.20.0 | 0.16.0 | 1.15 / 2.2 | 0.22.2 | 0.22.0 |
| 0.22.1 | 2.20.0 | 0.16.0 | 1.15 / 2.2 | 0.22.2 | 0.22.0 |
| 0.22.0 | 2.20.0 | 0.16.0 | 1.15 / 2.2 | 0.22.0 | 0.22.0 |
| 0.21.6 | 2.19.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.3 |
| 0.21.5 | 2.19.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.3 |
| 0.21.4 | 2.19.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.3 |
| 0.21.3 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.0 |
| 0.21.2 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.0 |
| 0.21.1 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.0 |
| 0.21.0 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.0 |
| 0.15.4 | 2.16.0 | 0.15.0 | 1.15 / 2.0 | 해당 없음 | 0.15.1 |
| 0.15.3 | 2.16.0 | 0.15.0 | 1.15 / 2.0 | 해당 없음 | 0.15.1 |
| 0.15.2 | 2.16.0 | 0.15.0 | 1.15 / 2.0 | 해당 없음 | 0.15.1 |
| 0.15.1 | 2.16.0 | 0.15.0 | 1.15 / 2.0 | 해당 없음 | 0.15.0 |
| 0.15.0 | 2.16.0 | 0.15.0 | 1.15 | 해당 없음 | 해당 없음 |
| 0.14.0 | 2.14.0 | 해당 없음 | 1.14 | 해당 없음 | 해당 없음 |
| 0.13.1 | 2.11.0 | 해당 없음 | 1.13 | 해당 없음 | 해당 없음 |
| 0.13.0 | 2.11.0 | 해당 없음 | 1.13 | 해당 없음 | 해당 없음 |
| 0.12.1 | 2.10.0 | 해당 없음 | 1.12 | 해당 없음 | 해당 없음 |
| 0.12.0 | 2.10.0 | 해당 없음 | 1.12 | 해당 없음 | 해당 없음 |
| 0.11.0 | 2.8.0 | 해당 없음 | 1.11 | 해당 없음 | 해당 없음 |
| 0.9.2 | 2.6.0 | 해당 없음 | 1.9 | 해당 없음 | 해당 없음 |
| 0.9.1 | 2.6.0 | 해당 없음 | 1.10 | 해당 없음 | 해당 없음 |
| 0.9.0 | 2.5.0 | 해당 없음 | 1.9 | 해당 없음 | 해당 없음 |
| 0.6.0 | 2.4.0 | 해당 없음 | 1.6 | 해당 없음 | 해당 없음 |
질문
TFMA 작업에 대한 질문은 tensorflow-model-analysis 태그를 사용하여 Stack Overflow 에 문의하세요.