ModelValidator ใช้เพื่อตรวจสอบว่าโมเดลดีพอที่จะใช้ในการผลิตหรือไม่ เรายังคงคิดว่าการตรวจสอบความถูกต้องนั้นมีประโยชน์ แต่เนื่องจาก ตัวประเมิน แบบจำลองได้คำนวณตัวชี้วัดทั้งหมดที่คุณต้องการตรวจสอบเทียบกับแล้ว เราจึงตัดสินใจรวมทั้งสองเข้าด้วยกัน ดังนั้นคุณไม่จำเป็นต้องทำซ้ำการคำนวณ
แม้ว่าเราจะเลิกใช้ ModelValidator แล้วและไม่แนะนำให้ใช้ แต่หากคุณต้องการรักษาส่วนประกอบ ModelValidator ที่มีอยู่ไว้ การกำหนดค่าตัวอย่างจะเป็นดังนี้:
import tfx
import tensorflow_model_analysis as tfma
from tfx.components.model_validator.component import ModelValidator
...
model_validator = ModelValidator(
examples=example_gen.outputs['output_data'],
model=trainer.outputs['model'])
สำหรับผู้ที่ต้องการย้ายการกำหนดค่าไปยัง Service Checker การกำหนดค่าที่คล้ายกันสำหรับ Service Checker จะมีลักษณะดังนี้:
from tfx import components
import tensorflow_model_analysis as tfma
...
eval_config = tfma.EvalConfig(
model_specs=[
# This assumes a serving model with signature 'serving_default'. If
# using estimator based EvalSavedModel, add signature_name: 'eval' and
# remove the label_key.
tfma.ModelSpec(label_key='<label_key>')
],
metrics_specs=[
tfma.MetricsSpec(
# The metrics added here are in addition to those saved with the
# model (assuming either a keras model or EvalSavedModel is used).
# Any metrics added into the saved model (for example using
# model.compile(..., metrics=[...]), etc) will be computed
# automatically.
metrics=[
tfma.MetricConfig(class_name='ExampleCount'),
tfma.MetricConfig(
class_name='BinaryAccuracy',
threshold=tfma.MetricThreshold(
value_threshold=tfma.GenericValueThreshold(
lower_bound={'value': 0.5}),
change_threshold=tfma.GenericChangeThreshold(
direction=tfma.MetricDirection.HIGHER_IS_BETTER,
absolute={'value': -1e-10})))
]
)
],
slicing_specs=[
# An empty slice spec means the overall slice, i.e. the whole dataset.
tfma.SlicingSpec(),
# Data can be sliced along a feature column. In this case, data is
# sliced along feature column trip_start_hour.
tfma.SlicingSpec(feature_keys=['trip_start_hour'])
])
model_resolver = Resolver(
strategy_class=latest_blessed_model_resolver.LatestBlessedModelResolver,
model=Channel(type=Model),
model_blessing=Channel(type=ModelBlessing)
).with_id('latest_blessed_model_resolver')
model_analyzer = components.Evaluator(
examples=examples_gen.outputs['examples'],
model=trainer.outputs['model'],
baseline_model=model_resolver.outputs['model'],
# Change threshold will be ignored if there is no baseline (first run).
eval_config=eval_config)