ExampleValidatorTFXパイプラインコンポーネント

ExampleValidatorパイプラインコンポーネントは、データのトレーニングと提供における異常を識別します。データ内のさまざまなクラスの異常を検出できます。たとえば、次のことができます。

  1. データ統計をユーザーの期待を体系化するスキーマと比較することにより、妥当性チェックを実行します
  2. トレーニングとサービングのデータを比較することにより、トレーニングとサービングのスキューを検出します。
  3. 一連のデータを調べて、データのドリフトを検出します。

ExampleValidatorパイプラインコンポーネントは、StatisticsGenパイプラインコンポーネントによって計算されたデータ統計をスキーマと比較することにより、サンプルデータの異常を識別します。推測されたスキーマは、入力データが満たすことが期待されるプロパティを体系化し、開発者が変更できます。

  • 消費:SchemaGenコンポーネントからのスキーマ、およびStatisticsGenコンポーネントからの統計。
  • 放出:検証結果

ExampleValidatorおよびTensorFlowデータの検証

ExampleValidatorは、広範囲に使用可能TensorFlowデータの検証をご入力されたデータを検証します。

ExampleValidatorコンポーネントの使用

ExampleValidatorパイプラインコンポーネントは通常、デプロイが非常に簡単で、カスタマイズはほとんど必要ありません。典型的なコードは次のようになります。

validate_stats = ExampleValidator(
      statistics=statistics_gen.outputs['statistics'],
      schema=schema_gen.outputs['schema']
      )

詳細はで利用可能なExampleValidator APIリファレンス