หน้านี้ได้รับการแปลโดย Cloud Translation API
Switch to English

เริ่มต้นด้วยการวิเคราะห์แบบจำลอง TensorFlow

ภาพรวม

TensorFlow Model Analysis (TFMA) คือไลบรารีสำหรับดำเนินการประเมินโมเดล

  • สำหรับ : วิศวกรการเรียนรู้ของเครื่องหรือนักวิทยาศาสตร์ข้อมูล
  • ใคร : ต้องการวิเคราะห์และทำความเข้าใจโมเดล TensorFlow
  • มันคือ ไลบรารีแบบสแตนด์อโลนหรือส่วนประกอบของไปป์ไลน์ TFX
  • ที่ : ประเมินแบบจำลองกับข้อมูลจำนวนมากในลักษณะกระจายบนเมตริกเดียวกันที่กำหนดไว้ในการฝึกอบรม เมตริกเหล่านี้จะเปรียบเทียบกับชิ้นส่วนของข้อมูลและแสดงเป็นภาพในสมุดบันทึก Jupyter หรือ Colab
  • ไม่เหมือน : เครื่องมือวิปัสสนาบางรุ่นเช่นเทนเซอร์บอร์ดที่นำเสนอการวิปัสสนาแบบจำลอง

TFMA ทำการคำนวณในลักษณะกระจายข้อมูลจำนวนมากโดยใช้ Apache Beam ส่วนต่อไปนี้อธิบายถึงวิธีการตั้งค่าไปป์ไลน์การประเมิน TFMA พื้นฐาน ดู สถาปัตยกรรม รายละเอียดเพิ่มเติมเกี่ยวกับการใช้งานพื้นฐาน

หากคุณต้องการเริ่มต้นใช้งานลองดูสมุดบันทึก colab ของเรา

หน้านี้สามารถดูได้จาก tensorflow.org

ประเภทรุ่นที่รองรับ

TFMA ออกแบบมาเพื่อรองรับโมเดลที่ใช้เทนเซอร์โฟลว์ แต่สามารถขยายได้อย่างง่ายดายเพื่อรองรับเฟรมเวิร์กอื่น ๆ เช่นกัน ในอดีต TFMA ต้องการให้สร้าง EvalSavedModel เพื่อใช้ TFMA แต่ TFMA เวอร์ชันล่าสุดรองรับโมเดลหลายประเภทขึ้นอยู่กับความต้องการของผู้ใช้ การตั้งค่า EvalSavedModel ควรจำเป็นก็ต่อเมื่อใช้โมเดลที่ใช้ tf.estimator และต้องใช้เมตริกเวลาการฝึกอบรมที่กำหนดเอง

โปรดทราบว่าเนื่องจากขณะนี้ TFMA ทำงานตามรูปแบบการให้บริการ TFMA จะไม่ประเมินเมตริกที่เพิ่มโดยอัตโนมัติในขณะฝึกอบรมอีกต่อไป ข้อยกเว้นสำหรับกรณีนี้คือหากใช้โมเดล keras เนื่องจาก keras จะบันทึกเมตริกที่ใช้ควบคู่ไปกับโมเดลที่บันทึกไว้ อย่างไรก็ตามหากนี่เป็นข้อกำหนดที่ยาก TFMA ล่าสุดจะเข้ากันได้แบบย้อนหลังซึ่งทำให้ EvalSavedModel ยังคงสามารถรันในท่อ TFMA ได้

ตารางต่อไปนี้สรุปโมเดลที่รองรับโดยค่าเริ่มต้น:

ประเภทรุ่น การวัดเวลาการฝึกอบรม โพสต์ตัวชี้วัดการฝึกอบรม
TF2 (เครา) Y *
TF2 (ทั่วไป) ไม่มี
EvalSavedModel (ตัวประมาณค่า)
ไม่มี (pd.DataFrame ฯลฯ ) ไม่มี
  • เมตริกเวลาในการฝึกอบรมหมายถึงเมตริกที่กำหนดในเวลาฝึกอบรมและบันทึกด้วยโมเดล (ไม่ว่าจะเป็น TFMA EvalSavedModel หรือโมเดลที่บันทึกไว้ของ Keras) เมตริกหลังการฝึกอบรมหมายถึงเมตริกที่เพิ่มผ่าน tfma.MetricConfig
  • โมเดล TF2 ทั่วไปคือโมเดลที่กำหนดเองที่ส่งออกลายเซ็นที่สามารถใช้สำหรับการอนุมานและไม่ได้ขึ้นอยู่กับเคราหรือตัวประมาณค่า

ดู คำถามที่พบบ่อย สำหรับข้อมูลเพิ่มเติมเกี่ยวกับวิธีการตั้งค่าและกำหนดค่าโมเดลประเภทต่างๆเหล่านี้

ติดตั้ง

ก่อนดำเนินการประเมินผลจำเป็นต้องมีการตั้งค่าเล็กน้อย ขั้นแรกต้องกำหนดอ็อบเจ็กต์ tfma.EvalConfig ที่ระบุข้อกำหนดสำหรับโมเดลเมตริกและสไลซ์ที่จะประเมิน ประการที่สองต้องสร้าง tfma.EvalSharedModel ที่ชี้ไปยังโมเดลจริง (หรือแบบจำลอง) ที่จะใช้ในระหว่างการประเมินผล เมื่อกำหนดสิ่งเหล่านี้แล้วการประเมินผลจะดำเนินการโดยเรียกใช้ tfma.run_model_analysis ด้วยชุดข้อมูลที่เหมาะสม สำหรับรายละเอียดเพิ่มเติมโปรดดูคู่มือ การตั้งค่า

หากทำงานภายในไปป์ไลน์ TFX โปรดดู คู่มือ TFX สำหรับวิธีกำหนดค่า TFMA ให้รันเป็นคอมโพเนนต์ TFX Evaluator

ตัวอย่าง

การประเมินแบบจำลองเดียว

สิ่งต่อไปนี้ใช้ tfma.run_model_analysis เพื่อทำการประเมินรูปแบบการให้บริการ สำหรับคำอธิบายเกี่ยวกับการตั้งค่าต่างๆที่จำเป็นโปรดดูคู่มือ การตั้งค่า

# Run in a Jupyter Notebook.
from google.protobuf import text_format

eval_config = text_format.Parse("""
  ## Model information
  model_specs {
    # This assumes a serving model with a "serving_default" signature.
    label_key: "label"
    example_weight_key: "weight"
  }
  ## Post export metric information
  metrics_specs {
    # This adds AUC and as a post training metric. If the model has built in
    # training metrics which also contains AUC, this metric will replace it.
    metrics { class_name: "AUC" }
    # ... other post training metrics ...

    # Plots are also configured here...
    metrics { class_name: "ConfusionMatrixPlot" }
  }
  ## Slicing information
  slicing_specs {}  # overall slice
  slicing_specs {
    feature_keys: ["age"]
  }
""", tfma.EvalConfig())

eval_shared_model = tfma.default_eval_shared_model(
    eval_saved_model_path='/path/to/saved/model', eval_config=eval_config)

eval_result = tfma.run_model_analysis(
    eval_shared_model=eval_shared_model,
    eval_config=eval_config,
    # This assumes your data is a TFRecords file containing records in the
    # tf.train.Example format.
    data_location='/path/to/file/containing/tfrecords',
    output_path='/path/for/output')

tfma.view.render_slicing_metrics(eval_result)

สำหรับการประเมินแบบกระจายให้สร้างไปป์ไลน์ Apache Beam โดยใช้ตัววิ่งแบบกระจาย ในไปป์ไลน์ใช้ tfma.ExtractEvaluateAndWriteResults สำหรับการประเมินผลและเพื่อเขียนผลลัพธ์ สามารถโหลดผลลัพธ์สำหรับการแสดงภาพโดยใช้ tfma.load_eval_result

ตัวอย่างเช่น:

# To run the pipeline.
from google.protobuf import text_format

eval_config = text_format.Parse("""
  ## Model information
  model_specs {
    # This assumes a serving model with a "serving_default" signature.
    label_key: "label"
    example_weight_key: "weight"
  }
  ## Post export metric information
  metrics_specs {
    # This adds AUC and as a post training metric. If the model has built in
    # training metrics which also contains AUC, this metric will replace it.
    metrics { class_name: "AUC" }
    # ... other post training metrics ...

    # Plots are also configured here...
    metrics { class_name: "ConfusionMatrixPlot" }
  }
  ## Slicing information
  slicing_specs {}  # overall slice
  slicing_specs {
    feature_keys: ["age"]
  }
""", tfma.EvalConfig())

eval_shared_model = tfma.default_eval_shared_model(
    eval_saved_model_path='/path/to/saved/model', eval_config=eval_config)

output_path = '/path/for/output'

with beam.Pipeline(runner=...) as p:
  _ = (p
       # You can change the source as appropriate, e.g. read from BigQuery.
       # This assumes your data is a TFRecords file containing records in the
       # tf.train.Example format.
       | 'ReadData' >> beam.io.ReadFromTFRecord(
           '/path/to/file/containing/tfrecords')
       | 'ExtractEvaluateAndWriteResults' >>
       tfma.ExtractEvaluateAndWriteResults(
            eval_shared_model=eval_shared_model,
            eval_config=eval_config,
            output_path=output_path))

# To load and visualize results.
# Note that this code should be run in a Jupyter Notebook.
result = tfma.load_eval_result(output_path)
tfma.view.render_slicing_metrics(result)

การตรวจสอบโมเดล

ในการดำเนินการตรวจสอบโมเดลเทียบกับ candiate และ baseline ให้อัพเดต config เพื่อรวมการตั้งค่า threshold และส่งโมเดลสองโมเดลไปที่ tfma.run_model_analysis

ตัวอย่างเช่น:

# Run in a Jupyter Notebook.
from google.protobuf import text_format

eval_config = text_format.Parse("""
  ## Model information
  model_specs {
    # This assumes a serving model with a "serving_default" signature.
    label_key: "label"
    example_weight_key: "weight"
  }
  ## Post export metric information
  metrics_specs {
    # This adds AUC and as a post training metric. If the model has built in
    # training metrics which also contains AUC, this metric will replace it.
    metrics {
      class_name: "AUC"
      threshold {
        value_threshold {
          lower_bound { value: 0.9 }
        }
        change_threshold {
          direction: HIGHER_IS_BETTER
          absolute { value: -1e-10 }
        }
      }
    }
    # ... other post training metrics ...

    # Plots are also configured here...
    metrics { class_name: "ConfusionMatrixPlot" }
  }
  ## Slicing information
  slicing_specs {}  # overall slice
  slicing_specs {
    feature_keys: ["age"]
  }
""", tfma.EvalConfig())

eval_shared_models = [
  tfma.default_eval_shared_model(
      model_name=tfma.CANDIDATE_KEY,
      eval_saved_model_path='/path/to/saved/candiate/model',
      eval_config=eval_config),
  tfma.default_eval_shared_model(
      model_name=tfma.BASELINE_KEY,
      eval_saved_model_path='/path/to/saved/baseline/model',
      eval_config=eval_config),
]

output_path = '/path/for/output'

eval_result = tfma.run_model_analysis(
    eval_shared_models,
    eval_config=eval_config,
    # This assumes your data is a TFRecords file containing records in the
    # tf.train.Example format.
    data_location='/path/to/file/containing/tfrecords',
    output_path=output_path)

tfma.view.render_slicing_metrics(eval_result)
tfma.load_validation_result(output_path)

การแสดงภาพ

ผลการประเมิน TFMA สามารถมองเห็นได้ในสมุดบันทึก Jupyter โดยใช้ส่วนประกอบส่วนหน้าที่รวมอยู่ใน TFMA ตัวอย่างเช่น:

TFMA Slicing Metrics Browser .

ข้อมูลมากกว่านี้