Phân tích mô hình TensorFlow

Phân tích mô hình TensorFlow (TFMA) là một thư viện để đánh giá các mô hình TensorFlow. Nó cho phép người dùng đánh giá các mô hình của họ trên một lượng lớn dữ liệu theo cách phân tán, sử dụng cùng một số liệu được xác định trong huấn luyện viên của họ. Các số liệu này có thể được tính toán trên các lát dữ liệu khác nhau và được hiển thị trực quan trong sổ ghi chép Jupyter.

Cài đặt

Cách khuyến nghị để cài đặt TFMA là sử dụng gói PyPI :

pip install tensorflow-model-analysis

Xây dựng TFMA từ nguồn

Để xây dựng từ nguồn, hãy làm theo các bước sau:

Cài đặt protoc theo liên kết được đề cập: protoc

Tạo một môi trường ảo bằng cách chạy các lệnh

python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/model-analysis.git
cd model-analysis
python3 setup.py bdist_wheel

Thao tác này sẽ tạo bánh xe TFMA trong thư mục dist. Để cài đặt bánh xe từ thư mục dist, hãy chạy các lệnh

cd dist
pip3 install tensorflow_model_analysis-<version>-py3-none-any.whl

Gói hàng đêm

TFMA cũng lưu trữ các gói hàng đêm tại https://pypi-nightly.tensorflow.org trên Google Cloud. Để cài đặt gói hàng đêm mới nhất, vui lòng sử dụng lệnh sau:

pip install -i https://pypi-nightly.tensorflow.org/simple tensorflow-model-analysis

Điều này sẽ cài đặt các gói hàng đêm cho các phần phụ thuộc chính của TFMA, chẳng hạn như Siêu dữ liệu TensorFlow (TFMD), Thư viện chia sẻ cơ bản TFX (TFX-BSL).

Hiện tại, TFMA yêu cầu cài đặt TensorFlow nhưng không có sự phụ thuộc rõ ràng vào gói TensorFlow PyPI. Xem hướng dẫn cài đặt TensorFlow để biết hướng dẫn.

Để bật trực quan hóa TFMA trong Jupyter Notebook:

  jupyter nbextension enable --py widgetsnbextension
  jupyter nbextension enable --py tensorflow_model_analysis

Phòng thí nghiệm Jupyter

Khi viết bài, vì https://github.com/pypa/pip/issues/9187, pip install có thể không bao giờ kết thúc. Trong trường hợp đó, bạn nên hoàn nguyên pip về phiên bản 19 thay vì 20: pip install "pip<20" .

Sử dụng tiện ích mở rộng JupyterLab yêu cầu cài đặt các phụ thuộc trên dòng lệnh. Bạn có thể thực hiện việc này trong bảng điều khiển trong giao diện người dùng JupyterLab hoặc trên dòng lệnh. Điều này bao gồm cài đặt riêng bất kỳ phần phụ thuộc gói pip nào và phần phụ thuộc plugin labextension JupyterLab và số phiên bản phải tương thích.

Các ví dụ bên dưới sử dụng 0.27.0. Kiểm tra các phiên bản có sẵn bên dưới để sử dụng phiên bản mới nhất.

Phòng thí nghiệm Jupyter 1.2.x

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@1.1

Phòng thí nghiệm Jupyter 2

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@2

Xử lý sự cố

Kiểm tra các gói pip:

pip list

Kiểm tra tiện ích mở rộng:

jupyter labextension list

Phụ thuộc đáng chú ý

TensorFlow là bắt buộc.

Apache Beam là bắt buộc; đó là cách hỗ trợ tính toán phân tán hiệu quả. Theo mặc định, Apache Beam chạy ở chế độ cục bộ nhưng cũng có thể chạy ở chế độ phân tán bằng cách sử dụng Google Cloud Dataflow và các trình chạy Apache Beam khác .

Mũi tên Apache cũng được yêu cầu. TFMA sử dụng Mũi tên để biểu diễn dữ liệu bên trong nhằm sử dụng các hàm numpy được vector hóa.

Bắt đầu

Để biết hướng dẫn sử dụng TFMA, hãy xem hướng dẫn bắt đầu .

Phiên bản tương thích

Bảng dưới đây là các phiên bản gói TFMA tương thích với nhau. Điều này được xác định bởi khung thử nghiệm của chúng tôi, nhưng các kết hợp chưa được thử nghiệm khác cũng có thể hoạt động.

câu hỏi

Vui lòng gửi bất kỳ câu hỏi nào về cách làm việc với TFMA tới Stack Overflow bằng cách sử dụng thẻ tensorflow-model-analysis .