การวิเคราะห์แบบจำลอง TensorFlow

TensorFlow Model Analysis (TFMA) คือไลบรารีสำหรับการประเมินโมเดล TensorFlow ช่วยให้ผู้ใช้ประเมินโมเดลของตนกับข้อมูลจำนวนมากในลักษณะกระจายโดยใช้เมตริกเดียวกับที่กำหนดไว้ในเทรนเนอร์ เมตริกเหล่านี้สามารถคำนวณได้จากข้อมูลส่วนต่างๆและแสดงภาพในสมุดบันทึก Jupyter

TFMA Slicing Metrics Browser

การติดตั้ง

วิธีที่แนะนำในการติดตั้ง TFMA คือการใช้ แพ็คเกจ PyPI :

pip install tensorflow-model-analysis

สร้าง TFMA จากแหล่งที่มา

ในการสร้างจากซอร์สให้ทำตามขั้นตอนต่อไปนี้:

ติดตั้ง protoc ตามลิงค์ที่กล่าวถึง: protoc

สร้างสภาพแวดล้อมเสมือนโดยรันคำสั่ง

python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/model-analysis.git
cd model-analysis
python3 setup.py bdist_wheel

สิ่งนี้จะสร้างวงล้อ TFMA ในไดเรกทอรี dist ในการติดตั้งวงล้อจากไดเร็กทอรี dist ให้รันคำสั่ง

cd dist
pip3 install tensorflow_model_analysis-<version>-py3-none-any.whl

แพ็คเกจต่อคืน

TFMA ยังโฮสต์แพ็คเกจทุกคืนที่ https://pypi-nightly.tensorflow.org บน Google Cloud ในการติดตั้งแพ็คเกจกลางคืนล่าสุดโปรดใช้คำสั่งต่อไปนี้:

pip install -i https://pypi-nightly.tensorflow.org/simple tensorflow-model-analysis

สิ่งนี้จะติดตั้งแพ็คเกจทุกคืนสำหรับการอ้างอิงหลักของ TFMA เช่น TensorFlow Metadata (TFMD), TFX Basic Shared Libraries (TFX-BSL)

ปัจจุบัน TFMA ต้องการให้ติดตั้ง TensorFlow แต่ไม่มีการพึ่งพาอย่างชัดเจนบนแพ็คเกจ TensorFlow PyPI ดู คำแนะนำในการติดตั้ง TensorFlow

ในการเปิดใช้งานการแสดงภาพ TFMA ใน Jupyter Notebook:

  jupyter nbextension enable --py widgetsnbextension
  jupyter nbextension enable --py tensorflow_model_analysis

Jupyter Lab

ในขณะที่เขียนเนื่องจาก https://github.com/pypa/pip/issues/9187 การ pip install อาจไม่เสร็จสิ้น ในกรณีนี้คุณควรเปลี่ยน pip เป็นเวอร์ชัน 19 แทนที่จะเป็น 20: pip install "pip<20"

การใช้ส่วนขยาย JupyterLab จำเป็นต้องติดตั้งการอ้างอิงบนบรรทัดคำสั่ง คุณสามารถทำได้ภายในคอนโซลใน JupyterLab UI หรือบนบรรทัดรับคำสั่ง ซึ่งรวมถึงการติดตั้งการพึ่งพาแพ็กเกจ pip และการอ้างอิงปลั๊กอิน JupyterLab labextension แยกต่างหากและหมายเลขเวอร์ชันต้องเข้ากันได้

ตัวอย่างด้านล่างใช้ 0.27.0 ตรวจสอบ เวอร์ชันที่ มีอยู่ด้านล่างเพื่อใช้เวอร์ชันล่าสุด

Jupyter Lab 1.2.x

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@1.1

Jupyter Lab 2

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@2

การแก้ไขปัญหา

ตรวจสอบแพ็คเกจ pip:

pip list

ตรวจสอบส่วนขยาย:

jupyter labextension list

การพึ่งพาที่โดดเด่น

ต้องมี TensorFlow

ต้องใช้ Apache Beam ; เป็นวิธีที่รองรับการคำนวณแบบกระจายที่มีประสิทธิภาพ ตามค่าเริ่มต้น Apache Beam จะทำงานในโหมดโลคัล แต่ยังสามารถทำงานในโหมดกระจายโดยใช้ Google Cloud Dataflow และ นักวิ่ง Apache Beam อื่น ๆ

ต้องใช้ Apache Arrow TFMA ใช้ Arrow เพื่อแสดงข้อมูลภายในเพื่อใช้ประโยชน์จากฟังก์ชัน vectorized numpy

เริ่มต้นใช้งาน

สำหรับคำแนะนำในการใช้ TFMA โปรดดู คู่มือเริ่มต้นใช้งาน

รุ่นที่เข้ากันได้

ตารางต่อไปนี้คือเวอร์ชันแพ็กเกจ TFMA ที่เข้ากันได้ สิ่งนี้กำหนดโดยกรอบการทดสอบของเรา แต่ชุดค่าผสมอื่น ๆ ที่ ยังไม่ผ่านการทดสอบ อาจใช้ได้เช่นกัน

การวิเคราะห์แบบจำลองเทนเซอร์โฟลว์	apache-beam [gcp]	pyarrow	เทนเซอร์โฟลว์	เทนเซอร์โฟลว์ - ข้อมูลเมตา	tfx-bsl
GitHub ต้นแบบ	2.28.0	2.0.0	ทุกคืน (1.x / 2.x)	0.28.0	0.28.0
0.28.0	2.28.0	2.0.0	1.15 / 2.4	0.28.0	0.28.0
0.27.0	2.27.0	2.0.0	1.15 / 2.4	0.27.0	0.27.0
0.26.0	2.25.0	0.17.0	1.15 / 2.3	0.26.0	0.26.0
0.25.0	2.25.0	0.17.0	1.15 / 2.3	0.25.0	0.25.0
0.24.3	2.24.0	0.17.0	1.15 / 2.3	0.24.0	0.24.1
0.24.2	2.23.0	0.17.0	1.15 / 2.3	0.24.0	0.24.0
0.24.1	2.23.0	0.17.0	1.15 / 2.3	0.24.0	0.24.0
0.24.0	2.23.0	0.17.0	1.15 / 2.3	0.24.0	0.24.0
0.23.0	2.23.0	0.17.0	1.15 / 2.3	0.23.0	0.23.0
0.22.2	2.20.0	0.16.0	1.15 / 2.2	0.22.2	0.22.0
0.22.1	2.20.0	0.16.0	1.15 / 2.2	0.22.2	0.22.0
0.22.0	2.20.0	0.16.0	1.15 / 2.2	0.22.0	0.22.0
0.21.6	2.19.0	0.15.0	1.15 / 2.1	0.21.0	0.21.3
0.21.5	2.19.0	0.15.0	1.15 / 2.1	0.21.0	0.21.3
0.21.4	2.19.0	0.15.0	1.15 / 2.1	0.21.0	0.21.3
0.21.3	2.17.0	0.15.0	1.15 / 2.1	0.21.0	0.21.0
0.21.2	2.17.0	0.15.0	1.15 / 2.1	0.21.0	0.21.0
0.21.1	2.17.0	0.15.0	1.15 / 2.1	0.21.0	0.21.0
0.21.0	2.17.0	0.15.0	1.15 / 2.1	0.21.0	0.21.0
0.15.4	2.16.0	0.15.0	1.15 / 2.0	n / a	0.15.1
0.15.3	2.16.0	0.15.0	1.15 / 2.0	n / a	0.15.1
0.15.2	2.16.0	0.15.0	1.15 / 2.0	n / a	0.15.1
0.15.1	2.16.0	0.15.0	1.15 / 2.0	n / a	0.15.0
0.15.0	2.16.0	0.15.0	1.15	n / a	n / a
0.14.0	2.14.0	n / a	1.14	n / a	n / a
0.13.1	2.11.0	n / a	1.13	n / a	n / a
0.13.0	2.11.0	n / a	1.13	n / a	n / a
0.12.1	2.10.0	n / a	1.12	n / a	n / a
0.12.0	2.10.0	n / a	1.12	n / a	n / a
0.11.0	2.8.0	n / a	1.11	n / a	n / a
0.9.2	2.6.0	n / a	1.9	n / a	n / a
0.9.1	2.6.0	n / a	1.10	n / a	n / a
0.9.0	2.5.0	n / a	1.9	n / a	n / a
0.6.0	2.4.0	n / a	1.6	n / a	n / a

คำถาม

โปรดส่งคำถามเกี่ยวกับการทำงานกับ TFMA ไปยัง Stack Overflow โดยใช้แท็ก การวิเคราะห์แบบจำลองเทนเซอร์โฟลว์