TensorFlow Veri Doğrulama Anomalileri Referansı

TFDV, bir şema ve istatistik proto(lar)ını karşılaştırarak anormallikleri kontrol eder. Aşağıdaki tablo, TFDV'nin tespit edebileceği anormallik tiplerini, her bir anormallik tipini tespit etmek için kullanılan şema ve istatistik alanlarını ve her bir anormallik tipinin tespit edildiği koşulları listeler.

• BOOL_TYPE_BIG_INT

  • Şema Alanları:
    • feature.bool_domain
  • İstatistik Alanları:
    • features.num_stats.max
    • features.type
  • Algılama Koşulu:
    • feature.bool_domain belirtilir ve
    • features.type == INT ve
    • features.num_stats.max > 1

• BOOL_TYPE_BYTES_NOT_INT

  • TFDV'de anormallik türü algılanmadı

• BOOL_TYPE_BYTES_NOT_STRING

  • TFDV'de anormallik türü algılanmadı

• BOOL_TYPE_FLOAT_NOT_INT

  • TFDV'de anormallik türü algılanmadı

• BOOL_TYPE_FLOAT_NOT_STRING

  • TFDV'de anormallik türü algılanmadı

• BOOL_TYPE_INT_NOT_STRING

  • TFDV'de anormallik türü algılanmadı

• BOOL_TYPE_SMALL_INT

  • Şema Alanları:
    • feature.bool_domain
  • İstatistik Alanları:
    • features.num_stats.min
    • features.type
  • Algılama Koşulu:
    • features.type == INT ve
    • feature.bool_domain belirtilir ve
    • features.num_stats.min < 0

• BOOL_TYPE_STRING_NOT_INT

  • TFDV'de anormallik türü algılanmadı

• BOOL_TYPE_UNEXPECTED_STRING

  • Şema Alanları:
    • feature.bool_domain
  • İstatistik Alanları:
    • features.string_stats.rank_histogram *
  • Algılama Koşulu:
    • features.type == STRING ve
    • feature.bool_domain belirtilir ve
    • rank_histogram * içindeki en az bir değer feature.bool_domain.true_value veya feature.bool_domain.false_value değil

• BOOL_TYPE_UNEXPECTED_FLOAT

  • Şema Alanları:
    • feature.bool_domain
  • İstatistik Alanları:
    • features.num_stats.min
    • features.num_stats.max
    • features.num_stats.histograms.num_nan
    • features.num_stats.histograms.buckets.low_value
    • features.num_stats.histograms.buckets.high_value
    • features.type
  • Algılama Koşulu:
    • features.type == FLOAT ve
    • feature.bool_domain belirtilir ve
      • ( features.num_stats.min != 0 veya features.num_stats.min != 1) veya
      • ( features.num_stats.max != 0 veya features.num_stats.max != 1) veya
      • features.num_stats.histograms.num_nan > 0 veya
      • ( features.num_stats.histograms.buckets.low_value != 0 veya features.num_stats.histograms.buckets.high_value != 1) ve features.num_stats.histograms.buckets.sample_count > 0

• BOOL_TYPE_INVALID_CONFIG

  • Şema Alanları:
    • feature.bool_domain
  • İstatistik Alanları:
    • features.type
  • Algılama Koşulu:
    • features.type == INT veya FLOAT ise,
      • feature.bool_domain belirtilir ve
      • feature.bool_domain.true_value veya feature.bool_domain.false_value belirtilmiş veya
    • eğer features.type == STRING ,
      • feature.bool_domain belirtilir ve
      • feature.bool_domain.true_value ve feature.bool_domain.false_value belirtilmedi

• ENUM_TYPE_BYTES_NOT_STRING

  • TFDV'de anormallik türü algılanmadı

• ENUM_TYPE_FLOAT_NOT_STRING

  • TFDV'de anormallik türü algılanmadı

• ENUM_TYPE_INT_NOT_STRING

  • TFDV'de anormallik türü algılanmadı

• ENUM_TYPE_INVALID_UTF8

  • İstatistik Alanları:
    • features.string_stats.invalid_utf8_count
  • Algılama Koşulu:
    • invalid_utf8_count > 0

• ENUM_TYPE_UNEXPECTED_STRING_VALUES

  • Şema Alanları:
    • string_domain ve feature.domain ; veya feature.string_domain
    • feature.distribution_constraints.min_domain_mass
  • İstatistik Alanları:
    • features.string_stats.rank_histogram *
  • Algılama Koşulu:
    • Ya ( rank_histogram * etki alanında olmayan değerlerin sayısı / toplam değer sayısı) > (1 - feature.distribution_constraints.min_domain_mass ) veya
    • feature.distribution_constraints.min_domain_mass == 1.0 ve histogramda etki alanında olmayan değerler var

• FEATURE_TYPE_HIGH_NUMBER_VALUES

  • Şema Alanları:
    • feature.value_count.max
    • feature.value_counts.value_count.max
  • İstatistik Alanları:
    • features.common_stats.max_num_values
    • features.common_stats.presence_and_valency_stats.max_num_values
  • Algılama Koşulu:
    • feature.value_count.max belirtilmişse
      • features.common_stats.max_num_values ​​> feature.value_count.max ; veya
    • feature.value_counts belirtilmişse
      • feature.value_counts.value_count.max < features.common_stats.presence_and_valency_stats.max_num_values ​​belirli bir yuvalanmışlık düzeyinde

• FEATURE_TYPE_LOW_FRACTION_PRESENT

  • Şema Alanları:
    • feature.presence.min_fraction
  • İstatistik Alanları:
    • features.common_stats.num_non_missing *
    • num_examples *
  • Algılama Koşulu:
    • feature.presence.min_fraction belirtilir ve ( features.common_stats.num_non_missing * / num_examples *) < feature.presence.min_fraction veya
    • feature.presence.min_fraction == 1.0 ve common_stats.num_missing != 0

• FEATURE_TYPE_LOW_NUMBER_PRESENT

  • Şema Alanları:
    • feature.presence.min_count
  • İstatistik Alanları:
    • features.common_stats.num_non_missing *
  • Algılama Koşulu:
    • feature.presence.min_count belirtilir ve
      • features.common_stats.num_non_missing * == 0 veya
      • features.common_stats.num_non_missing * < feature.presence.min_count

• FEATURE_TYPE_LOW_NUMBER_VALUES

  • Şema Alanları:
    • feature.value_count.min
    • feature.value_counts.value_count.min
  • İstatistik Alanları:
    • features.common_stats.min_num_values
    • features.common_stats.presence_and_valency_stats.min_num_values
  • Algılama Koşulu:
    • feature.value_count.min belirtilmişse
      • features.common_stats.min_num_values ​​< feature.value_count.min ; veya
    • feature.value_counts belirtilmişse
      • features.common_stats.presence_and_valency_stats.min_num_values ​​< feature.value_counts.value_count.min belirli bir yuvalanmışlık seviyesinde

• FEATURE_TYPE_NOT_PRESENT

  • Şema Alanları:
    • feature.in_environment veya feature.not_in_environment veya schema.default_environment
    • feature.lifecycle_stage
    • feature.presence.min_count veya feature.presence.min_fraction
  • İstatistik Alanları:
    • features.common_stats.num_non_missing *
  • Algılama Koşulu:
    • feature.lifecycle_stage [ PLANNED , ALPHA , DEBUG , DEPRECATED ] konumunda değil ve
    • common_stats.num_non_missing * == 0 ve
    • ( feature.presence.min_count > 0 veya feature.presence.min_fraction > 0) ve
      • feature.in_environment == geçerli ortam veya
      • feature.not_in_environment != geçerli ortam veya
      • schema.default_environment != geçerli ortam

• FEATURE_TYPE_NO_VALUES

  • TFDV'de anormallik türü algılanmadı

• FEATURE_TYPE_UNEXPECTED_REPEATED

  • TFDV'de anormallik türü algılanmadı

• FEATURE_TYPE_HIGH_UNIQUE

  • Şema Alanları:
    • feature.unique_constraints.max
  • İstatistik Alanları:
    • features.string_stats.unique
  • Algılama Koşulu:
    • features.string_stats.unique > feature.unique_constraints.max

• FEATURE_TYPE_LOW_UNIQUE

  • Şema Alanları:
    • feature.unique_constraints.min
  • İstatistik Alanları:
    • features.string_stats.unique
  • Algılama Koşulu:
    • features.string_stats.unique < feature.unique_constraints.min

• FEATURE_TYPE_NO_UNIQUE

  • Şema Alanları:
    • feature.unique_constraints
  • İstatistik Alanları:
    • features.string_stats.unique
  • Algılama Koşulu:
    • feature.unique_constraints belirtildi, ancak features.string_stats.unique mevcut değil (özelliğin bir dize veya kategorik olmadığı durumda olduğu gibi)

• FLOAT_TYPE_BIG_FLOAT

  • Şema Alanları:
    • feature.float_domain.max
  • İstatistik Alanları:
    • features.type
    • features.num_stats.max veya features.string_stats.rank_histogram
  • Algılama Koşulu:
    • features.type == FLOAT ise,
      • features.num_stats.max > feature.float_domain.max ; veya
    • eğer features.type == BYTES veya STRING ise,
      • features.string_stats.rank_histogram maksimum değer (kayana dönüştürüldüğünde) > feature.float_domain.max

• FLOAT_TYPE_NOT_FLOAT

  • TFDV'de anormallik türü algılanmadı

• FLOAT_TYPE_SMALL_FLOAT

  • Şema Alanları:
    • feature.float_domain.min
  • İstatistik Alanları:
    • features.type
    • features.num_stats.min veya features.string_stats.rank_histogram
  • Algılama Koşulu:
    • features.type == FLOAT ise,
      • features.num_stats.min < feature.float_domain.min ; veya
    • eğer features.type == BYTES veya STRING ise,
      • features.string_stats.rank_histogram minimum değer (float'a dönüştürüldüğünde) < feature.float_domain.min

• FLOAT_TYPE_STRING_NOT_FLOAT

  • Şema Alanları:
    • feature.float_domain
  • İstatistik Alanları:
    • features.type
    • features.string_stats.rank_histogram
  • Algılama Koşulu:
    • features.type == BYTES veya STRING ve
    • features.string_stats.rank_histogram , kayan değere dönüştürülemeyen en az bir değere sahip

• FLOAT_TYPE_NON_STRING

  • TFDV'de anormallik türü algılanmadı

• FLOAT_TYPE_UNKNOWN_TYPE_NUMBER

  • TFDV'de anormallik türü algılanmadı

• FLOAT_TYPE_HAS_NAN

  • Şema Alanları:
    • feature.float_domain.disallow_nan
  • İstatistik Alanları:
    • features.type
    • features.num_stats.histograms.num_nan
  • Algılama Koşulu:
    • float_domain.disallow_nan doğrudur ve
    • features.num_stats.histograms.num_nan > 0

• FLOAT_TYPE_HAS_INF

  • Şema Alanları:
    • feature.float_domain.disallow_inf
  • İstatistik Alanları:
    • features.type
    • features.num_stats.min
    • features.num_stats.max
  • Algılama Koşulu:
    • features.type == FLOAT
    • float_domain.disallow_inf doğrudur ve ya
      • features.num_stats.min == inf/-inf veya
      • features.num_stats.max == inf/-inf

• INT_TYPE_BIG_INT

  • Şema Alanları:
    • feature.int_domain.max
  • İstatistik Alanları:
    • features.type
    • features.num_stats.max
    • features.string_stats.rank_histogram
  • Algılama Koşulu:
    • features.type == INT ise,
      • features.num_stats.max > feature.int_domain.max ; veya
    • eğer features.type == BYTES veya STRING ise,
      • features.string_stats.rank_histogram maksimum değer (int'e dönüştürüldüğünde) > feature.int_domain.max

• INT_TYPE_INT_EXPECTED

  • TFDV'de anormallik türü algılanmadı

• INT_TYPE_NOT_INT_STRING

  • Şema Alanları:
    • feature.int_domain
  • İstatistik Alanları:
    • features.type
    • features.string_stats.rank_histogram
  • Algılama Koşulu:
    • features.type == BYTES veya STRING ve
    • features.string_stats.rank_histogram int'e dönüştürülemeyen en az bir değere sahip

• INT_TYPE_NOT_STRING

  • TFDV'de anormallik türü algılanmadı

• INT_TYPE_SMALL_INT

  • Şema Alanları:
    • feature.int_domain.min
  • İstatistik Alanları:
    • features.type
    • features.num_stats.min
    • features.string_stats.rank_histogram
  • Algılama Koşulu:
    • features.type == INT ise,
      • features.num_stats.min < feature.int_domain.min ; veya
    • eğer features.type == BYTES veya STRING ise,
      • features.string_stats.rank_histogram minimum değer (int'e dönüştürüldüğünde) < feature.int_domain.min

• INT_TYPE_STRING_EXPECTED

  • TFDV'de anormallik türü algılanmadı

• INT_TYPE_UNKNOWN_TYPE_NUMBER

  • TFDV'de anormallik türü algılanmadı

• LOW_SUPPORTED_IMAGE_FRACTION

  • Şema Alanları:
    • feature.image_domain.minimum_supported_image_fraction
  • İstatistik Alanları:
    • image_format_histogram adlı custom_stats için features.custom_stats.rank_histogram . image_format_histogram'ın oluşturulması ve bu doğrulamanın gerçekleştirilmesi için semantik etki alanı istatistiklerinin etkinleştirilmesi gerektiğini unutmayın. Anlamsal etki alanı istatistikleri varsayılan olarak oluşturulmaz.
  • Algılama Koşulu:
    • Tensorflow görüntü türlerinin tüm görüntü türleri için desteklenen değerlerinin oranı, feature.image_domain.minimum_supported_image_fraction değerinden daha azdır.

• SCHEMA_MISSING_COLUMN

  • Şema Alanları:
    • feature.in_environment veya feature.not_in_environment veya schema.default_environment
    • feature.lifecycle_stage
    • feature.presence.min_count veya feature.presence.min_fraction
  • Algılama Koşulu:
    • feature.lifecycle_stage != PLANNED , ALPHA , DEBUG veya DEPRECATED ve
    • feature.presence.min_count > 0 veya feature.presence.min_fraction > 0 ve
    • feature.in_environment == geçerli ortam veya feature.not_in_environment != geçerli ortam veya schema.default_environment != geçerli ortam ve
    • istatistik protokolünde belirtilen ada/yola sahip hiçbir özellik bulunamadı

• SCHEMA_NEW_COLUMN

  • Algılama Koşulu:
    • istatistik protosunda bir özellik var ama şema protosunda adı/yolu olan bir özellik yok

• SCHEMA_TRAINING_SERVING_SKEW

  • TFDV'de anormallik türü algılanmadı

• STRING_TYPE_NOW_FLOAT

  • TFDV'de anormallik türü algılanmadı

• STRING_TYPE_NOW_INT

  • TFDV'de anormallik türü algılanmadı

• COMPARATOR_CONTROL_DATA_MISSING

  • Şema Alanları:
    • feature.skew_comparator.infinity_norm.threshold
    • feature.drift_comparator.infinity_norm.threshold
  • Algılama Koşulu:
    • kontrol istatistikleri protokolü (yani, çarpıklık için hizmet istatistikleri veya sapma için önceki istatistikler) mevcuttur, ancak belirtilen özelliği içermez

• COMPARATOR_TREATMENT_DATA_MISSING

  • TFDV'de anormallik türü algılanmadı

• COMPARATOR_L_INFTY_HIGH

  • Şema Alanları:
    • feature.skew_comparator.infinity_norm.threshold
    • feature.drift_comparator.infinity_norm.threshold
  • İstatistik Alanları:
    • features.string_stats.rank_histogram *
  • Algılama Koşulu:
    • Vektörün L-sonsuz normu, kontrol istatistiklerindeki (yani, çarpıklık için hizmet istatistikleri veya kayma için önceki istatistikler) features.string_stats.rank_histogram *'daki normalize edilmiş sayımlar ile tedavi istatistikleri (yani, eğrilik veya kayma için geçerli istatistikler) > feature.skew_comparator.infinity_norm.threshold veya feature.drift_comparator.infinity_norm.threshold

• COMPARATOR_NORMALIZED_ABSOLUTE_DIFFERENCE_HIGH

  • Şema Alanları:
    • feature.skew_comparator.normalized_abs_difference.threshold
    • feature.drift_comparator.normalized_abs_difference.threshold
  • İstatistik Alanları:
    • features.string_stats.rank_histogram
  • Algılama Koşulu:
    • Değerlerin normalize edilmiş mutlak sayım farkı, kontrol istatistiklerindeki (yani, sapma için hizmet istatistikleri veya sapma için önceki istatistikler) ve tedavi istatistiklerindeki (yani, sapma için eğitim istatistikleri veya sapma için geçerli istatistikler) features.string_stats.rank_histogram alınan değer sayımlarıdır. feature.skew_comparator.normalized_abs_difference.threshold veya feature.drift_comparator.normalized_abs_difference.threshold. Sayım farkları, her iki koşuldaki toplam sayım tarafından normalleştirilir.

• COMPARATOR_JENSEN_SHANNON_DIVERGENCE_HIGH

  • Şema Alanları:
    • feature.skew_comparator.jensen_shannon_divergence.threshold
    • feature.drift_comparator.jensen_shannon_divergence.threshold
  • İstatistik Alanları:
    • STANDARD tipi features.num_stats.histograms
    • features.string_stats.rank_histogram *
  • Algılama Koşulu:
    • Kontrol istatistikleri (yani, sapma için hizmet istatistikleri veya sapma için önceki istatistikler) ile işleme istatistikleri (yani, sapma için eğitim istatistikleri veya sapma için mevcut istatistikler) arasında hesaplanan yaklaşık Jensen-Shannon sapması > feature.skew_comparator.jensen_shannon_divergence.threshold veya feature.drift_comparator.jensen_shannon_divergence.threshold . Yaklaşık Jensen-Shannon sapması, hem features.num_stats.histograms standart histogram hem de features.string_stats.rank_histogram * içindeki normalleştirilmiş numune sayılarına dayalı olarak hesaplanır.

• NO_DATA_IN_SPAN

  • TFDV'de anormallik türü algılanmadı

• SPARSE_FEATURE_MISSING_VALUE

  • Şema Alanları:
    • sparse_feature.value_feature
  • İstatistik Alanları:
    • features.custom_stats
  • Algılama Koşulu:
    • features.custom_stats , ad olarak "eksik_değer" ve
    • missing_value özel statüsü != 0

• SPARSE_FEATURE_MISSING_INDEX

  • Şema Alanları:
    • sparse_feature.index_feature
  • İstatistik Alanları:
    • features.custom_stats
  • Algılama Koşulu:
    • ad olarak "missing_index" ile features.custom_stats ve
    • missing_index özel stat herhangi bir değer içeriyor != 0

• SPARSE_FEATURE_LENGTH_MISMATCH

  • Şema Alanları:
    • sparse_feature.value_feature
    • sparse_feature.index_feature
  • İstatistik Alanları:
    • features.custom_stats
  • Algılama Koşulu:
    • Adı "min_length_diff" veya "max_length_diff" olan features.custom_stats
    • min_length_diff veya max_length_diff özel stat herhangi bir değer içeriyor != 0

• SPARSE_FEATURE_NAME_COLLISION

  • Şema Alanları:
    • sparse_feature.name
    • sparse_feature.lifecycle_stage
    • feature.name
    • feature.lifecycle_stage
  • Algılama Koşulu:
    • sparse_feature.lifecycle_stage != PLANNED , ALPHA , DEBUG veya DEPRECATED , ve
    • feature.lifecycle_stage != PLANNED , ALPHA , DEBUG veya DEPRECATED , ve
    • sparse_feature.name == feature.name

• SEMANTIC_DOMAIN_UPDATE

  • Şema Alanları:
    • feature.domain_info
  • İstatistik Alanları:
    • features.custom_stats
  • Algılama Koşulu:
    • ad olarak "domain_info" ile features.custom_stats ve
    • feature.domain_info şemada önceden ayarlanmamış ve
    • özellik için tek bir domain_info özel statüsü var

• COMPARATOR_LOW_NUM_EXAMPLES

  • Şema Alanları:
    • schema.dataset_constraints.num_examples_drift_comparator.min_fraction_threshold
    • schema.dataset_constraints.num_examples_version_comparator.min_fraction_threshold
  • İstatistik Alanları:
    • num_examples *
  • Algılama Koşulu:
    • num_examples * > 0 ve
    • önceki istatistik protokolü mevcuttur ve
    • num_examples * / önceki istatistikler num_examples * < karşılaştırıcı min_fraction_threshold

• COMPARATOR_HIGH_NUM_EXAMPLES

  • Şema Alanları:
    • schema.dataset_constraints.num_examples_drift_comparator.max_fraction_threshold
    • schema.dataset_constraints.num_examples_version_comparator.max_fraction_threshold
  • İstatistik Alanları:
    • num_examples *
  • Algılama Koşulu:
    • num_examples * > 0 ve
    • önceki istatistik protokolü mevcuttur ve
    • num_examples * / önceki istatistikler num_examples * > karşılaştırıcı max_fraction_threshold

• DATASET_LOW_NUM_EXAMPLES

  • Şema Alanları:
    • schema.dataset_constraints.min_examples_count
  • İstatistik Alanları:
    • num_examples *
  • Algılama Koşulu:
    • num_examples * < dataset_constraints.min_examples_count

• DATASET_HIGH_NUM_EXAMPLES

  • Şema Alanları:
    • schema.dataset_constraints.max_examples_count
  • İstatistik Alanları:
    • num_examples *
  • Algılama Koşulu:
    • num_examples * > dataset_constraints.max_examples_count

• WEIGHTED_FEATURE_NAME_COLLISION

  • Şema Alanları:
    • weighted_feature.name
    • weighted_feature.lifecycle_stage
    • sparse_feature.name
    • sparse_feature.lifecycle_stage
    • feature.name
    • feature.lifecycle_stage
  • Algılama Koşulu:
    • weighted_feature.lifecycle_stage != PLANNED , ALPHA , DEBUG veya DEPRECATED ve
      • feature.lifecycle_stage != PLANNED , ALPHA , DEBUG veya DEPRECATED ise,
        • weighted_feature.name == feature.name ; veya
      • sparse_feature.lifecycle_stage != PLANNED , ALPHA , DEBUG veya DEPRECATED ise,
        • weighted_feature.name == sparse_feature.name

• WEIGHTED_FEATURE_MISSING_VALUE

  • Şema Alanları:
    • weighted_feature.feature
  • İstatistik Alanları:
    • features.custom_stats
  • Algılama Koşulu:
    • features.custom_stats , ad olarak "eksik_değer" ve
    • missing_value özel statüsü != 0

• WEIGHTED_FEATURE_MISSING_WEIGHT

  • Şema Alanları:
    • weighted_feature.weight_feature
  • İstatistik Alanları:
    • features.custom_stats
  • Algılama Koşulu:
    • features.custom_stats , ad olarak "eksik_ağırlık" ve
    • missing_weight özel statüsü != 0

• WEIGHTED_FEATURE_LENGTH_MISMATCH

  • Şema Alanları:
    • weighted_feature.feature
    • weighted_feature.weight_feature
  • İstatistik Alanları:
    • features.custom_stats
  • Algılama Koşulu:
    • adı "min_weighted_length_diff" veya "max_weight_length_diff" olan features.custom_stats ve
    • min_weight_length_diff veya max_weight_length_diff özel istatistik != 0

• VALUE_NESTEDNESS_MISMATCH

  • Şema Alanları:
    • feature.value_count
    • feature.value_counts
  • İstatistik Alanları:
    • features.common_stats.presence_and_valency_stats
  • Algılama Koşulu:
    • feature.value_count belirtilir ve özelliğin yinelenen bir presence_and_valency_stats vardır (birden büyük bir iç içe olma düzeyini gösterir) ve
    • feature.value_counts belirtildi ve özelliğin presence_and_valency_stats tekrarlanma sayısı, feature.value_counts içinde tekrarlanan value_count sayısıyla eşleşmiyor

• DOMAIN_INVALID_FOR_TYPE

  • Şema Alanları:
    • feature.type
    • feature.domain_info
  • İstatistik Alanları:
    • features.type
  • Algılama Koşulu:
    • features.type == BYTES ise,
      • feature.domain_info uyumsuz bir türde; veya
    • eğer features.type != BYTES ,
      • feature.domain_info feature.type ile eşleşmiyor (örneğin, int_domain belirtildi, ancak özelliğin type FLOAT )

• FEATURE_MISSING_NAME

  • Şema Alanları:
    • feature.name
  • Algılama Koşulu:
    • feature.name belirtilmedi

• FEATURE_MISSING_TYPE

  • Şema Alanları:
    • feature.type
  • Algılama Koşulu:
    • feature.type belirtilmedi

• INVALID_SCHEMA_SPECIFICATION

  • Şema Alanları:
    • feature.domain_info
    • feature.presence.min_fraction
    • feature.value_count.min
    • feature.value_count.max
    • feature.distribution_constraints
  • Algılama Koşulu:
    • feature.presence.min_fraction < 0,0 veya > 1,0 veya
    • feature.value_count.min < 0 veya > feature.value_count.max , veya
    • bir özellik için bir bool, int, float, struct veya anlamsal etki alanı belirtilmiş ve bu özellik için feature.distribution_constraints de belirtilmiş veya
    • Bir özellik için feature.distribution_constraints belirtildi, ancak bu özellik için şema düzeyinde bir etki alanı veya feature.string_domain belirtilmedi

• INVALID_DOMAIN_SPECIFICATION

  • Şema Alanları:
    • feature.domain_info
    • feature.bool_domain
    • feature.string_domain
  • Algılama Koşulu:
    • Bilinmeyen feature.domain_info türü belirtilmiş veya
    • feature.domain belirtildi, ancak şema düzeyinde belirtilen eşleşen etki alanı yok veya
    • feature.bool_domain , feature.bool_domain.true_value ve feature.bool_domain.false_value belirtilirse,
      • feature.bool_domain.true_value == feature.bool_domain.false_value veya
    • feature.string_domain belirtilmişse,
      • yinelenen feature.string_domain.values ​​veya
      • feature.string_domain maksimum boyutu aşıyor

• UNEXPECTED_DATA_TYPE

  • Şema Alanları:
    • feature.type
  • İstatistik Alanları:
    • features.type
  • Algılama Koşulu:
    • features.type feature.type içinde belirtilen türden değil

• SEQUENCE_VALUE_TOO_FEW_OCCURRENCES

  • Şema Alanları:
    • feature.natural_language_domain.token_constraints.min_per_sequence
  • İstatistik Alanları:
    • features.custom_stats.nl_statistics.token_statistics.per_sequence_min_frequency
  • Algılama Koşulu:
    • min_per_sequence > per_sequence_min_frequency

• SEQUENCE_VALUE_TOO_MANY_OCCURRENCES

  • Şema Alanları:
    • feature.natural_language_domain.token_constraints.max_per_sequence
  • İstatistik Alanları:
    • features.custom_stats.nl_statistics.token_statistics.per_sequence_max_frequency
  • Algılama Koşulu:
    • max_per_sequence < per_sequence_max_frequency

• SEQUENCE_VALUE_TOO_SMALL_FRACTION

  • Şema Alanları:
    • feature.natural_language_domain.token_constraints.min_fraction_of_sequences
  • İstatistik Alanları:
    • features.custom_stats.nl_statistics.token_statistics.fraction_of_sequences
  • Algılama Koşulu:
    • min_fraction_of_sequences > fraction_of_sequences

• SEQUENCE_VALUE_TOO_LARGE_FRACTION

  • Şema Alanları:
    • feature.natural_language_domain.token_constraints.max_fraction_of_sequences
  • İstatistik Alanları:
    • features.custom_stats.nl_statistics.token_statistics.fraction_of_sequences
  • Algılama Koşulu:
    • max_fraction_of_sequences < fraction_of_sequences

• FEATURE_COVERAGE_TOO_LOW

  • Şema Alanları:
    • feature.natural_language_domain.coverage.min_coverage
  • İstatistik Alanları:
    • features.custom_stats.nl_statistics.feature_coverage
  • Algılama Koşulu:
    • feature_coverage < coverage.min_coverage

• FEATURE_COVERAGE_TOO_SHORT_AVG_TOKEN_LENGTH

  • Şema Alanları:
    • feature.natural_language_domain.coverage.min_avg_token_length
  • İstatistik Alanları:
    • features.custom_stats.nl_statistics.avg_token_length
  • Algılama Koşulu:
    • avg_token_length < min_avg_token_length

• NLP_WRONG_LOCATION

  • TFDV'de anormallik türü algılanmadı

• EMBEDDING_SHAPE_INVALID

  • TFDV'de anormallik türü algılanmadı

• MAX_IMAGE_BYTE_SIZE_EXCEEDED

  • Şema Alanları:
    • feature.image_domain.max_image_byte_size
  • İstatistik Alanları:
    • features.bytes_stats.max_num_bytes_int
  • Algılama Koşulu:
    • max_num_bytes_int > max_image_byte_size

• INVALID_FEATURE_SHAPE

  • Şema Alanları:
    • feature.shape
  • İstatistik Alanları:
    • features.common_stats.num_missing
    • features.common_stats.min_num_values
    • features.common_stats.max_num_values
    • features.common_stats.presence_and_valency_stats.num_missing
    • features.common_stats.presence_and_valency_stats.min_num_values
    • features.common_stats.presence_and_valency_stats.max_num_values
    • features.common_stats.weighted_presence_and_valency_stats
  • Algılama Koşulu:
    • feature.shape belirtilir ve
      • bazı yuva düzeylerinde özellik eksik olabilir ( num_missing != 0) veya
      • özellik, bazı yuva düzeylerinde değişken sayıda değere ( min_num_values ​​!= max_num_values ​​) sahip olabilir veya
      • belirtilen şekil, özelliğin değer sayımı istatistikleriyle uyumlu değil. Örneğin, [16] şekli ( min_num_values ​​== max_num_values ​​== [2, 2, 4] (3-iç içe özellik için)) ile uyumludur.

• STATS_NOT_AVAILBLE

  • Kısıtlamaları doğrulamak için gereken istatistikler mevcut olmadığında anormallik oluşur.

• DERIVED_FEATURE_BAD_LIFECYCLE

  • Şema Alanları:
    • feature.lifecycle_stage
  • İstatistik Alanları:
    • features.validation_derived_source
  • Algılama Koşulu:
    • feature.lifecycle_stage , DERIVED veya DISABLED öğelerinden biri değildir ve features.validation_derived_source mevcut olup, bunun türetilmiş bir özellik olduğunu gösterir.

• DERIVED_FEATURE_INVALID_SOURCE

  • Şema Alanları:
    • feature.validation_derived_source
  • İstatistik Alanları:
    • features.validation_derived_source
  • Algılama Koşulu:
    • bir özellik için features.validation_derived_source mevcut, ancak ilgili feature.validation_derived_source mevcut değil.

  ---

* Bu alan için ağırlıklı bir istatistik varsa, ağırlıksız istatistik yerine kullanılacaktır.