جزء ExampleValidator TFX Pipeline

با مجموعه‌ها، منظم بمانید ذخیره و دسته‌بندی محتوا براساس اولویت‌های شما.

جزء ExampleValidator خط لوله، ناهنجاری ها را در آموزش و ارائه داده ها شناسایی می کند. می تواند کلاس های مختلفی از ناهنجاری ها را در داده ها تشخیص دهد. به عنوان مثال می تواند:

  1. با مقایسه آمار داده ها با طرحواره ای که انتظارات کاربر را کدگذاری می کند، بررسی اعتبار را انجام دهید
  2. با مقایسه آموزش و داده‌های ارائه‌شده، انحراف در خدمت آموزش را شناسایی کنید.
  3. انحراف داده ها را با نگاه کردن به یک سری داده شناسایی کنید.

جزء ExampleValidator خط لوله هر گونه ناهنجاری را در داده های مثال با مقایسه آمار داده های محاسبه شده توسط مؤلفه خط لوله StatisticsGen با یک طرحواره شناسایی می کند. طرح استنباط شده ویژگی هایی را کدگذاری می کند که انتظار می رود داده های ورودی برآورده شوند و توسعه دهنده می تواند آن ها را اصلاح کند.

  • Consumes: طرحی از یک جزء SchemaGen، و آمار از یک جزء StatisticsGen.
  • انتشار: نتایج اعتبارسنجی

ExampleValidator و اعتبارسنجی داده TensorFlow

ExampleValidator باعث استفاده گسترده از TensorFlow داده ها اعتبار برای اعتبار داده های ورودی خود را.

با استفاده از ExampleValidator Component

یک جزء ExampleValidator خط لوله معمولاً بسیار آسان است و نیاز به سفارشی سازی کمی دارد. کد معمولی به صورت زیر است:

validate_stats = ExampleValidator(
      statistics=statistics_gen.outputs['statistics'],
      schema=schema_gen.outputs['schema']
      )

جزئیات بیشتر در دسترس هستند مرجع ExampleValidator API .