ヘルプKaggleにTensorFlowグレートバリアリーフを保護チャレンジに参加

SchemaGenTFXパイプラインコンポーネント

いくつかのTFXコンポーネントは、スキーマと呼ばれる入力データの記述を使用しています。スキーマはのインスタンスであるschema.proto 。フィーチャ値のデータ型、フィーチャがすべての例に存在する必要があるかどうか、許可される値の範囲、およびその他のプロパティを指定できます。 SchemaGenパイプラインコンポーネントは、トレーニングデータからタイプ、カテゴリ、および範囲を推測することにより、スキーマを自動的に生成します。

  • 消費:StatisticsGenコンポーネントからの統計
  • Emits:データスキーマプロト

スキーマプロトからの抜粋は次のとおりです。

...
feature {
  name: "age"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
feature {
  name: "capital-gain"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
...

次のTFXライブラリはスキーマを使用します。

  • TensorFlowデータの検証
  • TensorFlow変換
  • TensorFlowモデル分析

典型的なTFXパイプラインでは、SchemaGenはスキーマを生成し、それは他のパイプラインコンポーネントによって消費されます。ただし、自動生成されたスキーマは最善の努力であり、データの基本的なプロパティを推測しようとするだけです。開発者は必要に応じてレビューおよび変更することが期待されます。

変更されたスキーマは、ImportSchemaGenコンポーネントを使用してパイプラインに戻すことができます。最初のスキーマ生成用のSchemaGenコンポーネントは削除でき、すべてのダウンストリームコンポーネントはImportSchemaGenの出力を使用できます。また、追加することをお勧めしますExampleValidatorを継続的にトレーニングデータを調べるためにインポートされたスキーマを使用して。

SchemaGenとTensorFlowのデータ検証

SchemaGenは、広範囲に使用可能TensorFlowデータの検証スキーマを推論するために。

SchemaGenコンポーネントの使用

最初のスキーマ生成用

SchemaGenパイプラインコンポーネントは通常、デプロイが非常に簡単で、カスタマイズはほとんど必要ありません。典型的なコードは次のようになります。

schema_gen = tfx.components.SchemaGen(
    statistics=stats_gen.outputs['statistics'])

詳細はで利用可能なSchemaGen APIリファレンス

レビューされたスキーマインポートの場合

ImportSchemaGenコンポーネントをパイプラインに追加して、レビューされたスキーマ定義をパイプラインに取り込みます。

schema_gen = tfx.components.ImportSchemaGen(
    schema_file='/some/path/schema.pbtxt')

schema_file 、テキストいるProtobufファイルへのフルパスでなければなりません。

詳細はで利用可能なImportSchemaGen APIリファレンス