การวิเคราะห์แบบจำลอง TensorFlow

การวิเคราะห์แบบจำลอง TensorFlow (TFMA) เป็นห้องสมุดสำหรับการประเมินแบบจำลอง TensorFlow อนุญาตให้ผู้ใช้ประเมินแบบจำลองของตนกับข้อมูลจำนวนมากในลักษณะแบบกระจาย โดยใช้ตัวชี้วัดเดียวกันที่กำหนดไว้ในผู้ฝึกสอน เมตริกเหล่านี้สามารถคำนวณจากข้อมูลส่วนต่างๆ และแสดงภาพในโน้ตบุ๊ก Jupyter

TFMA Slicing Metrics Browser

การติดตั้ง

วิธีที่แนะนำในการติดตั้ง TFMA คือการใช้ แพ็คเกจ PyPI :

pip install tensorflow-model-analysis

สร้าง TFMA จากแหล่งที่มา

ในการสร้างจากแหล่งที่มาให้ทำตามขั้นตอนต่อไปนี้:

ติดตั้ง protoc ตามลิงค์ที่กล่าวถึง: protoc

สร้างสภาพแวดล้อมเสมือนโดยการรันคำสั่ง

python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/model-analysis.git
cd model-analysis
python3 setup.py bdist_wheel

สิ่งนี้จะสร้างวงล้อ TFMA ในไดเร็กทอรี dist ในการติดตั้ง wheel จากไดเร็กทอรี dist ให้รันคำสั่ง

cd dist
pip3 install tensorflow_model_analysis-<version>-py3-none-any.whl

แพ็คเกจกลางคืน

TFMA ยังโฮสต์แพ็คเกจทุกคืนที่ https://pypi-nightly.tensorflow.org บน Google Cloud ในการติดตั้งแพ็คเกจ nightly ล่าสุด โปรดใช้คำสั่งต่อไปนี้:

pip install -i https://pypi-nightly.tensorflow.org/simple tensorflow-model-analysis

สิ่งนี้จะติดตั้งแพ็คเกจทุกคืนสำหรับการขึ้นต่อกันที่สำคัญของ TFMA เช่น TensorFlow Metadata (TFMD), TFX Basic Shared Libraries (TFX-BSL)

ปัจจุบัน TFMA ต้องการให้ติดตั้ง TensorFlow แต่ไม่มีการพึ่งพาอย่างชัดเจนในแพ็คเกจ TensorFlow PyPI ดูคำแนะนำในการ ติดตั้ง TensorFlow สำหรับคำแนะนำ

วิธีเปิดใช้งานการแสดงภาพ TFMA ใน Jupyter Notebook:

  jupyter nbextension enable --py widgetsnbextension
  jupyter nbextension enable --py tensorflow_model_analysis

Jupyter Lab

ในขณะที่เขียน เนื่องจาก https://github.com/pypa/pip/issues/9187 การ pip install อาจไม่เสร็จสิ้น ในกรณีนั้น คุณควรเปลี่ยน pip เป็นเวอร์ชัน 19 แทน 20: pip install "pip<20"

การใช้ส่วนขยาย JupyterLab จำเป็นต้องติดตั้งการพึ่งพาบนบรรทัดคำสั่ง คุณสามารถทำได้ภายในคอนโซลใน JupyterLab UI หรือบนบรรทัดคำสั่ง ซึ่งรวมถึงการติดตั้งการขึ้นต่อกันของแพ็คเกจ pip และการพึ่งพาปลั๊กอิน labextension ของ JupyterLab แยกต่างหาก และหมายเลขเวอร์ชันจะต้องเข้ากันได้

ตัวอย่างด้านล่างใช้ 0.27.0 ตรวจสอบ เวอร์ชัน ที่มีด้านล่างเพื่อใช้เวอร์ชันล่าสุด

Jupyter Lab 1.2.x

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@1.1

Jupyter Lab 2

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@2

การแก้ไขปัญหา

ตรวจสอบแพ็คเกจ pip:

pip list

ตรวจสอบส่วนขยาย:

jupyter labextension list

การพึ่งพาอาศัยกันที่โดดเด่น

จำเป็นต้องมี TensorFlow

จำเป็นต้องใช้ Apache Beam ; เป็นวิธีการรองรับการคำนวณแบบกระจายอย่างมีประสิทธิภาพ โดยค่าเริ่มต้น Apache Beam จะทำงานในโหมดโลคัล แต่ยังสามารถทำงานในโหมดกระจายโดยใช้ Google Cloud Dataflow และ Apache Beam runners อื่นๆ

ต้องใช้ Apache Arrow ด้วย TFMA ใช้ Arrow เพื่อแสดงข้อมูลภายในเพื่อใช้ฟังก์ชัน numpy แบบเวกเตอร์

เริ่มต้น

สำหรับคำแนะนำในการใช้ TFMA โปรดดู คู่มือเริ่มต้นใช้ งาน

รุ่นที่เข้ากันได้

ตารางต่อไปนี้เป็นเวอร์ชันแพ็กเกจ TFMA ที่ทำงานร่วมกันได้ สิ่งนี้ถูกกำหนดโดยกรอบการทดสอบของเรา แต่ชุดค่าผสมอื่นๆ ที่ ยังไม่ได้ทดสอบ ก็อาจใช้ได้เช่นกัน

tensorflow-model-analysis apache-คาน[gcp] pyarrow เทนเซอร์โฟลว์ เมตาดาต้าเทนเซอร์โฟลว์ tfx-bsl
GitHub master 2.38.0 5.0.0 ทุกคืน (1.x/2.x) 1.8.0 1.8.0
0.39.0 2.38.0 5.0.0 1.15 / 2.8 1.8.0 1.8.0
0.38.0 2.36.0 5.0.0 1.15 / 2.8 1.7.0 1.7.0
0.37.0 2.35.0 5.0.0 1.15 / 2.7 1.6.0 1.6.0
0.36.0 2.34.0 5.0.0 1.15 / 2.7 1.5.0 1.5.0
0.35.0 2.33.0 5.0.0 1.15 / 2.6 1.4.0 1.4.0
0.34.1 2.32.0 2.0.0 1.15 / 2.6 1.2.0 1.3.0
0.34.0 2.31.0 2.0.0 1.15 / 2.6 1.2.0 1.3.1
0.33.0 2.31.0 2.0.0 1.15 / 2.5 1.2.0 1.2.0
0.32.1 2.29.0 2.0.0 1.15 / 2.5 1.1.0 1.1.1
0.32.0 2.29.0 2.0.0 1.15 / 2.5 1.1.0 1.1.0
0.31.0 2.29.0 2.0.0 1.15 / 2.5 1.0.0 1.0.0
0.30.0 2.28.0 2.0.0 1.15 / 2.4 0.30.0 0.30.0
0.29.0 2.28.0 2.0.0 1.15 / 2.4 0.29.0 0.29.0
0.28.0 2.28.0 2.0.0 1.15 / 2.4 0.28.0 0.28.0
0.27.0 2.27.0 2.0.0 1.15 / 2.4 0.27.0 0.27.0
0.26.1 2.28.0 0.17.0 1.15 / 2.3 0.26.0 0.26.0
0.26.0 2.25.0 0.17.0 1.15 / 2.3 0.26.0 0.26.0
0.25.0 2.25.0 0.17.0 1.15 / 2.3 0.25.0 0.25.0
0.24.3 2.24.0 0.17.0 1.15 / 2.3 0.24.0 0.24.1
0.24.2 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.24.1 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.24.0 2.23.0 0.17.0 1.15 / 2.3 0.24.0 0.24.0
0.23.0 2.23.0 0.17.0 1.15 / 2.3 0.23.0 0.23.0
0.22.2 2.20.0 0.16.0 1.15 / 2.2 0.22.2 0.22.0
0.22.1 2.20.0 0.16.0 1.15 / 2.2 0.22.2 0.22.0
0.22.0 2.20.0 0.16.0 1.15 / 2.2 0.22.0 0.22.0
0.21.6 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.5 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.4 2.19.0 0.15.0 1.15 / 2.1 0.21.0 0.21.3
0.21.3 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.2 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.1 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.21.0 2.17.0 0.15.0 1.15 / 2.1 0.21.0 0.21.0
0.15.4 2.16.0 0.15.0 1.15 / 2.0 n/a 0.15.1
0.15.3 2.16.0 0.15.0 1.15 / 2.0 n/a 0.15.1
0.15.2 2.16.0 0.15.0 1.15 / 2.0 n/a 0.15.1
0.15.1 2.16.0 0.15.0 1.15 / 2.0 n/a 0.15.0
0.15.0 2.16.0 0.15.0 1.15 n/a n/a
0.14.0 2.14.0 n/a 1.14 n/a n/a
0.13.1 2.11.0 n/a 1.13 n/a n/a
0.13.0 2.11.0 n/a 1.13 n/a n/a
0.12.1 2.10.0 n/a 1.12 n/a n/a
0.12.0 2.10.0 n/a 1.12 n/a n/a
0.11.0 2.8.0 n/a 1.11 n/a n/a
0.9.2 2.6.0 n/a 1.9 n/a n/a
0.9.1 2.6.0 n/a 1.10 n/a n/a
0.9.0 2.5.0 n/a 1.9 n/a n/a
0.6.0 2.4.0 n/a 1.6 n/a n/a

คำถาม

โปรดส่งคำถามเกี่ยวกับการทำงานกับ TFMA ไปยัง Stack Overflow โดยใช้แท็ก tensorflow-model-analysis