Đánh giá mô hình bằng Trang tổng quan chỉ báo tính công bằng [Beta]

Các chỉ số công bằng

Các chỉ tiêu công bằng cho TensorBoard phép tính đơn giản của các số liệu công bằng thường-xác định cho phân loại nhị phân và nhiều lớp. Với plugin, bạn có thể hình dung các đánh giá công bằng cho các lần chạy của mình và dễ dàng so sánh hiệu suất giữa các nhóm.

Đặc biệt, Chỉ báo Công bằng cho TensorBoard cho phép bạn đánh giá và trực quan hóa hiệu suất của mô hình, được phân chia trên các nhóm người dùng được xác định. Cảm thấy tự tin về kết quả của bạn với khoảng tin cậy và đánh giá ở nhiều ngưỡng.

Nhiều công cụ hiện có để đánh giá mối quan tâm về công bằng không hoạt động tốt trên các mô hình và bộ dữ liệu quy mô lớn. Tại Google, điều quan trọng đối với chúng tôi là có các công cụ có thể hoạt động trên các hệ thống hàng tỷ người dùng. Công bằng chỉ số sẽ cho phép bạn đánh giá qua bất kỳ kích thước của trường hợp sử dụng, trong môi trường TensorBoard hoặc trong Colab .

Yêu cầu

Để cài đặt Chỉ báo Công bằng cho TensorBoard, hãy chạy:

python3 -m virtualenv ~/tensorboard_demo
source ~/tensorboard_demo/bin/activate
pip install --upgrade pip
pip install fairness_indicators
pip install tensorboard-plugin-fairness-indicators

Bản giới thiệu

Nếu bạn muốn thử nghiệm ra chỉ số Công bằng trong TensorBoard, bạn có thể tải về Phân tích TensorFlow Mẫu kết quả thẩm định mẫu (eval_config.json, số liệu và các tập tin lô) và một demo.py tiện ích từ Google Cloud Platform, ở đây sử dụng lệnh sau đây.

pip install gsutil
gsutil cp -r gs://tensorboard_plugin_fairness_indicators/ .

Điều hướng đến thư mục chứa các tệp đã tải xuống.

cd tensorboard_plugin_fairness_indicators

Dữ liệu đánh giá này được dựa trên dân sự nhận xét số liệu , tính toán sử dụng Tensorflow mẫu Phân tích của model_eval_lib thư viện. Nó cũng chứa một tệp dữ liệu tóm tắt TensorBoard mẫu để tham khảo.

Các demo.py tiện ích viết một tập tin tóm tắt TensorBoard dữ liệu, mà sẽ được đọc bởi TensorBoard để làm cho bảng điều khiển chỉ số Công bằng (Xem TensorBoard hướng dẫn để biết thêm thông tin về tập tin dữ liệu tóm tắt).

Flags được sử dụng với các demo.py tiện ích:

  • --logdir : Directory, nơi TensorBoard sẽ viết bản tóm tắt
  • --eval_result_output_dir : Thư mục chứa kết quả thẩm định đánh giá bằng TFMA (tải về ở bước cuối cùng)

Chạy demo.py tiện ích để ghi các kết quả tóm tắt trong thư mục log:

python demo.py --logdir=. --eval_result_output_dir=.

Chạy TensorBoard:

tensorboard --logdir=.

Điều này sẽ bắt đầu một phiên bản cục bộ. Sau khi phiên bản cục bộ được khởi động, một liên kết sẽ được hiển thị tới thiết bị đầu cuối. Mở liên kết trong trình duyệt của bạn để xem trang tổng quan Chỉ báo Công bằng.

Demo Colab

Fairness_Indicators_TensorBoard_Plugin_Example_Colab.ipynb chứa một end-to-end demo để đào tạo và đánh giá một mô hình và hình dung kết quả đánh giá công bằng trong TensorBoard.

Cách sử dụng

Để sử dụng Các Chỉ số Công bằng với dữ liệu và đánh giá của riêng bạn:

  1. Đào tạo một mô hình mới và đánh giá sử dụng tensorflow_model_analysis.run_model_analysis hoặc tensorflow_model_analysis.ExtractEvaluateAndWriteResult API trong model_eval_lib . Đối với đoạn mã trên như thế nào để làm điều này, xem các chỉ số Công bằng colab đây .

  2. Viết chỉ số Công bằng Tóm tắt sử dụng tensorboard_plugin_fairness_indicators.summary_v2 API.

    writer = tf.summary.create_file_writer(<logdir>)
with writer.as_default():
    summary_v2.FairnessIndicators(<eval_result_dir>, step=1)
writer.close()

  3. Chạy TensorBoard

    • tensorboard --logdir=<logdir>
    • Chọn lần chạy đánh giá mới bằng cách sử dụng menu thả xuống ở bên trái của trang tổng quan để trực quan hóa kết quả.