Referência de anomalias de validação de dados do TensorFlow

O TFDV verifica anomalias comparando um esquema e proto(s) estatístico(s). O gráfico a seguir lista os tipos de anomalia que o TFDV pode detectar, os campos de esquema e estatísticas usados ​​para detectar cada tipo de anomalia e as condições sob as quais cada tipo de anomalia é detectado.

  • BOOL_TYPE_BIG_INT

    • Campos de esquema:
      • feature.bool_domain
    • Campos de estatísticas:
      • features.num_stats.max
      • features.type
    • Condição de Detecção:
      • feature.bool_domain é especificado e
      • features.type == INT e
      • features.num_stats.max > 1

  • BOOL_TYPE_BYTES_NOT_INT

    • Tipo de anomalia não detectado no TFDV

  • BOOL_TYPE_BYTES_NOT_STRING

    • Tipo de anomalia não detectado no TFDV

  • BOOL_TYPE_FLOAT_NOT_INT

    • Tipo de anomalia não detectado no TFDV

  • BOOL_TYPE_FLOAT_NOT_STRING

    • Tipo de anomalia não detectado no TFDV

  • BOOL_TYPE_INT_NOT_STRING

    • Tipo de anomalia não detectado no TFDV

  • BOOL_TYPE_SMALL_INT

    • Campos de esquema:
      • feature.bool_domain
    • Campos de estatísticas:
      • features.num_stats.min
      • features.type
    • Condição de Detecção:
      • features.type == INT e
      • feature.bool_domain é especificado e
      • features.num_stats.min < 0

  • BOOL_TYPE_STRING_NOT_INT

    • Tipo de anomalia não detectado no TFDV

  • BOOL_TYPE_UNEXPECTED_STRING

    • Campos de esquema:
      • feature.bool_domain
    • Campos de estatísticas:
      • features.string_stats.rank_histogram *
    • Condição de Detecção:
      • features.type == STRING e
      • feature.bool_domain é especificado e
      • pelo menos um valor no rank_histogram * não é feature.bool_domain.true_value ou feature.bool_domain.false_value

  • BOOL_TYPE_UNEXPECTED_FLOAT

    • Campos de esquema:
      • feature.bool_domain
    • Campos de estatísticas:
      • features.num_stats.min
      • features.num_stats.max
      • features.num_stats.histograms.num_nan
      • features.num_stats.histograms.buckets.low_value
      • features.num_stats.histograms.buckets.high_value
      • features.type
    • Condição de Detecção:
      • features.type == FLOAT e
      • feature.bool_domain é especificado e
        • ( features.num_stats.min != 0 ou features.num_stats.min != 1) ou
        • ( features.num_stats.max != 0 ou features.num_stats.max != 1) ou
        • features.num_stats.histograms.num_nan > 0 ou
        • ( features.num_stats.histograms.buckets.low_value != 0 ou features.num_stats.histograms.buckets.high_value != 1) e features.num_stats.histograms.buckets.sample_count > 0

  • BOOL_TYPE_INVALID_CONFIG

    • Campos de esquema:
      • feature.bool_domain
    • Campos de estatísticas:
      • features.type
    • Condição de Detecção:
      • Se features.type == INT ou FLOAT ,
        • feature.bool_domain é especificado e
        • feature.bool_domain.true_value ou feature.bool_domain.false_value é especificado ou
      • se features.type == STRING ,
        • feature.bool_domain é especificado e
        • feature.bool_domain.true_value e feature.bool_domain.false_value não são especificados

  • ENUM_TYPE_BYTES_NOT_STRING

    • Tipo de anomalia não detectado no TFDV

  • ENUM_TYPE_FLOAT_NOT_STRING

    • Tipo de anomalia não detectado no TFDV

  • ENUM_TYPE_INT_NOT_STRING

    • Tipo de anomalia não detectado no TFDV

  • ENUM_TYPE_INVALID_UTF8

    • Campos de estatísticas:
      • features.string_stats.invalid_utf8_count
    • Condição de Detecção:
      • invalid_utf8_count > 0

  • ENUM_TYPE_UNEXPECTED_STRING_VALUES

    • Campos de esquema:
      • string_domain e feature.domain ; ou feature.string_domain
      • feature.distribution_constraints.min_domain_mass
    • Campos de estatísticas:
      • features.string_stats.rank_histogram *
    • Condição de Detecção:
      • Ou (número de valores no rank_histogram * que não estão no domínio / número total de valores) > (1 - feature.distribution_constraints.min_domain_mass ) ou
      • feature.distribution_constraints.min_domain_mass == 1.0 e há valores no histograma que não estão no domínio

  • FEATURE_TYPE_HIGH_NUMBER_VALUES

    • Campos de esquema:
      • feature.value_count.max
      • feature.value_counts.value_count.max
    • Campos de estatísticas:
      • features.common_stats.max_num_values
      • features.common_stats.presence_and_valency_stats.max_num_values
    • Condição de Detecção:
      • Se feature.value_count.max for especificado
        • features.common_stats.max_num_values ​​> feature.value_count.max ; ou
      • se feature.value_counts for especificado
        • feature.value_counts.value_count.max < features.common_stats.presence_and_valency_stats.max_num_values ​​em um determinado nível de aninhamento

  • FEATURE_TYPE_LOW_FRACTION_PRESENT

    • Campos de esquema:
      • feature.presence.min_fraction
    • Campos de estatísticas:
      • features.common_stats.num_non_missing *
      • num_examples *
    • Condição de Detecção:
      • feature.presence.min_fraction é especificado e ( features.common_stats.num_non_missing * / num_examples *) < feature.presence.min_fraction ou
      • feature.presence.min_fraction == 1.0 e common_stats.num_missing != 0

  • FEATURE_TYPE_LOW_NUMBER_PRESENT

    • Campos de esquema:
      • feature.presence.min_count
    • Campos de estatísticas:
      • features.common_stats.num_non_missing *
    • Condição de Detecção:
      • feature.presence.min_count é especificado e
        • features.common_stats.num_non_missing * == 0 ou
        • features.common_stats.num_non_missing * < feature.presence.min_count

  • FEATURE_TYPE_LOW_NUMBER_VALUES

    • Campos de esquema:
      • feature.value_count.min
      • feature.value_counts.value_count.min
    • Campos de estatísticas:
      • features.common_stats.min_num_values
      • features.common_stats.presence_and_valency_stats.min_num_values
    • Condição de Detecção:
      • Se feature.value_count.min for especificado
        • features.common_stats.min_num_values ​​< feature.value_count.min ; ou
      • se feature.value_counts for especificado
        • features.common_stats.presence_and_valency_stats.min_num_values ​​< feature.value_counts.value_count.min em um determinado nível de aninhamento

  • FEATURE_TYPE_NOT_PRESENT

    • Campos de esquema:
      • feature.in_environment ou feature.not_in_environment ou schema.default_environment
      • feature.lifecycle_stage
      • feature.presence.min_count ou feature.presence.min_fraction
    • Campos de estatísticas:
      • features.common_stats.num_non_missing *
    • Condição de Detecção:
      • feature.lifecycle_stage não em [ PLANNED , ALPHA , DEBUG , DEPRECATED ] e
      • common_stats.num_non_missing * == 0 e
      • ( feature.presence.min_count > 0 ou feature.presence.min_fraction > 0) e
        • feature.in_environment == ambiente atual ou
        • feature.not_in_environment != ambiente atual ou
        • schema.default_environment != ambiente atual

  • FEATURE_TYPE_NO_VALUES

    • Tipo de anomalia não detectado no TFDV

  • FEATURE_TYPE_UNEXPECTED_REPEATED

    • Tipo de anomalia não detectado no TFDV

  • FEATURE_TYPE_HIGH_UNIQUE

    • Campos de esquema:
      • feature.unique_constraints.max
    • Campos de estatísticas:
      • features.string_stats.unique
    • Condição de Detecção:
      • features.string_stats.unique > feature.unique_constraints.max

  • FEATURE_TYPE_LOW_UNIQUE

    • Campos de esquema:
      • feature.unique_constraints.min
    • Campos de estatísticas:
      • features.string_stats.unique
    • Condição de Detecção:
      • features.string_stats.unique < feature.unique_constraints.min

  • FEATURE_TYPE_NO_UNIQUE

    • Campos de esquema:
      • feature.unique_constraints
    • Campos de estatísticas:
      • features.string_stats.unique
    • Condição de Detecção:
      • feature.unique_constraints especificado, mas nenhum features.string_stats.unique presente (como é o caso em que o recurso não é uma string ou categórico)

  • FLOAT_TYPE_BIG_FLOAT

    • Campos de esquema:
      • feature.float_domain.max
    • Campos de estatísticas:
      • features.type
      • features.num_stats.max ou features.string_stats.rank_histogram
    • Condição de Detecção:
      • Se features.type == FLOAT ,
        • features.num_stats.max > feature.float_domain.max ; ou
      • se features.type == BYTES ou STRING ,
        • valor máximo em features.string_stats.rank_histogram (quando convertido em float) > feature.float_domain.max

  • FLOAT_TYPE_NOT_FLOAT

    • Tipo de anomalia não detectado no TFDV

  • FLOAT_TYPE_SMALL_FLOAT

    • Campos de esquema:
      • feature.float_domain.min
    • Campos de estatísticas:
      • features.type
      • features.num_stats.min ou features.string_stats.rank_histogram
    • Condição de Detecção:
      • Se features.type == FLOAT ,
        • features.num_stats.min < feature.float_domain.min ; ou
      • se features.type == BYTES ou STRING ,
        • valor mínimo em features.string_stats.rank_histogram (quando convertido para float) < feature.float_domain.min

  • FLOAT_TYPE_STRING_NOT_FLOAT

    • Campos de esquema:
      • feature.float_domain
    • Campos de estatísticas:
      • features.type
      • features.string_stats.rank_histogram
    • Condição de Detecção:
      • features.type == BYTES ou STRING e
      • features.string_stats.rank_histogram tem pelo menos um valor que não pode ser convertido em float

  • FLOAT_TYPE_NON_STRING

    • Tipo de anomalia não detectado no TFDV

  • FLOAT_TYPE_UNKNOWN_TYPE_NUMBER

    • Tipo de anomalia não detectado no TFDV

  • FLOAT_TYPE_HAS_NAN

    • Campos de esquema:
      • feature.float_domain.disallow_nan
    • Campos de estatísticas:
      • features.type
      • features.num_stats.histograms.num_nan
    • Condição de Detecção:
      • float_domain.disallow_nan é verdadeiro e
      • features.num_stats.histograms.num_nan > 0

  • FLOAT_TYPE_HAS_INF

    • Campos de esquema:
      • feature.float_domain.disallow_inf
    • Campos de estatísticas:
      • features.type
      • features.num_stats.min
      • features.num_stats.max
    • Condição de Detecção:
      • features.type == FLOAT
      • float_domain.disallow_inf é verdadeiro e
        • features.num_stats.min == inf/-inf ou
        • features.num_stats.max == inf/-inf

  • INT_TYPE_BIG_INT

    • Campos de esquema:
      • feature.int_domain.max
    • Campos de estatísticas:
      • features.type
      • features.num_stats.max
      • features.string_stats.rank_histogram
    • Condição de Detecção:
      • Se features.type == INT ,
        • features.num_stats.max > feature.int_domain.max ; ou
      • se features.type == BYTES ou STRING ,
        • valor máximo em features.string_stats.rank_histogram (quando convertido para int) > feature.int_domain.max

  • INT_TYPE_INT_EXPECTED

    • Tipo de anomalia não detectado no TFDV

  • INT_TYPE_NOT_INT_STRING

    • Campos de esquema:
      • feature.int_domain
    • Campos de estatísticas:
      • features.type
      • features.string_stats.rank_histogram
    • Condição de Detecção:
      • features.type == BYTES ou STRING e
      • features.string_stats.rank_histogram tem pelo menos um valor que não pode ser convertido em um int

  • INT_TYPE_NOT_STRING

    • Tipo de anomalia não detectado no TFDV

  • INT_TYPE_SMALL_INT

    • Campos de esquema:
      • feature.int_domain.min
    • Campos de estatísticas:
      • features.type
      • features.num_stats.min
      • features.string_stats.rank_histogram
    • Condição de Detecção:
      • Se features.type == INT ,
        • features.num_stats.min < feature.int_domain.min ; ou
      • se features.type == BYTES ou STRING ,
        • valor mínimo em features.string_stats.rank_histogram (quando convertido para int) < feature.int_domain.min

  • INT_TYPE_STRING_EXPECTED

    • Tipo de anomalia não detectado no TFDV

  • INT_TYPE_UNKNOWN_TYPE_NUMBER

    • Tipo de anomalia não detectado no TFDV

  • LOW_SUPPORTED_IMAGE_FRACTION

    • Campos de esquema:
      • feature.image_domain.minimum_supported_image_fraction
    • Campos de estatísticas:
      • features.custom_stats.rank_histogram para custom_stats com o nome image_format_histogram . Observe que as estatísticas do domínio semântico devem ser habilitadas para que o image_format_histogram seja gerado e para que essa validação seja executada. As estatísticas do domínio semântico não são geradas por padrão.
    • Condição de Detecção:
      • A fração de valores que são tipos de imagem do Tensorflow com suporte para todos os tipos de imagem é menor que feature.image_domain.minimum_supported_image_fraction .

  • SCHEMA_MISSING_COLUMN

    • Campos de esquema:
      • feature.in_environment ou feature.not_in_environment ou schema.default_environment
      • feature.lifecycle_stage
      • feature.presence.min_count ou feature.presence.min_fraction
    • Condição de Detecção:
      • feature.lifecycle_stage != PLANNED , ALPHA , DEBUG ou DEPRECATED e
      • feature.presence.min_count > 0 ou feature.presence.min_fraction > 0 e
      • feature.in_environment == ambiente atual ou feature.not_in_environment != ambiente atual ou schema.default_environment != ambiente atual e
      • nenhum recurso com o nome/caminho especificado foi encontrado no protocolo de estatísticas

  • SCHEMA_NEW_COLUMN

    • Condição de Detecção:
      • há um recurso no proto de estatísticas, mas nenhum recurso com seu nome/caminho no proto do esquema

  • SCHEMA_TRAINING_SERVING_SKEW

    • Tipo de anomalia não detectado no TFDV

  • STRING_TYPE_NOW_FLOAT

    • Tipo de anomalia não detectado no TFDV

  • STRING_TYPE_NOW_INT

    • Tipo de anomalia não detectado no TFDV

  • COMPARATOR_CONTROL_DATA_MISSING

    • Campos de esquema:
      • feature.skew_comparator.infinity_norm.threshold
      • feature.drift_comparator.infinity_norm.threshold
    • Condição de Detecção:
      • o protocolo de estatísticas de controle (ou seja, estatísticas de serviço para desvio ou estatísticas anteriores para desvio) está disponível, mas não contém o recurso especificado

  • COMPARATOR_TREATMENT_DATA_MISSING

    • Tipo de anomalia não detectado no TFDV

  • COMPARATOR_L_INFTY_HIGH

    • Campos de esquema:
      • feature.skew_comparator.infinity_norm.threshold
      • feature.drift_comparator.infinity_norm.threshold
    • Campos de estatísticas:
      • features.string_stats.rank_histogram *
    • Condição de Detecção:
      • Norma L-infinita do vetor que representa a diferença entre as contagens normalizadas de features.string_stats.rank_histogram * nas estatísticas de controle (ou seja, servindo estatísticas para desvio ou estatísticas anteriores para desvio) e as estatísticas de tratamento (ou seja, estatísticas de treinamento para desvio ou estatísticas atuais para desvio) > feature.skew_comparator.infinity_norm.threshold ou feature.drift_comparator.infinity_norm.threshold

  • COMPARATOR_NORMALIZED_ABSOLUTE_DIFFERENCE_HIGH

    • Campos de esquema:
      • feature.skew_comparator.normalized_abs_difference.threshold
      • feature.drift_comparator.normalized_abs_difference.threshold
    • Campos de estatísticas:
      • features.string_stats.rank_histogram
    • Condição de Detecção:
      • A diferença de contagem absoluta normalizada de contagens de valor de features.string_stats.rank_histogram nas estatísticas de controle (ou seja, estatísticas de serviço para desvio ou estatísticas anteriores para desvio) e as estatísticas de tratamento (ou seja, estatísticas de treinamento para desvio ou estatísticas atuais para desvio) excedidas feature.skew_comparator.normalized_abs_difference.threshold ou feature.drift_comparator.normalized_abs_difference.threshold. As diferenças de contagem são normalizadas pela contagem total em ambas as condições.

  • COMPARATOR_JENSEN_SHANNON_DIVERGENCE_HIGH

    • Campos de esquema:
      • feature.skew_comparator.jensen_shannon_divergence.threshold
      • feature.drift_comparator.jensen_shannon_divergence.threshold
    • Campos de estatísticas:
      • features.num_stats.histograms do tipo STANDARD
      • features.string_stats.rank_histogram *
    • Condição de Detecção:
      • Divergência Jensen-Shannon aproximada calculada entre as estatísticas de controle (ou seja, estatísticas de serviço para desvio ou estatísticas anteriores para desvio) e as estatísticas de tratamento (ou seja, estatísticas de treinamento para desvio ou estatísticas atuais para desvio) > feature.skew_comparator.jensen_shannon_divergence.threshold ou feature.drift_comparator.jensen_shannon_divergence.threshold . A divergência aproximada de Jensen-Shannon é calculada com base nas contagens de amostras normalizadas no histograma padrão features.num_stats.histograms e features.string_stats.rank_histogram *.

  • NO_DATA_IN_SPAN

    • Tipo de anomalia não detectado no TFDV

  • SPARSE_FEATURE_MISSING_VALUE

    • Campos de esquema:
      • sparse_feature.value_feature
    • Campos de estatísticas:
      • features.custom_stats
    • Condição de Detecção:
      • features.custom_stats com "missing_value" como nome e
      • estatística personalizada missing_value != 0

  • SPARSE_FEATURE_MISSING_INDEX

    • Campos de esquema:
      • sparse_feature.index_feature
    • Campos de estatísticas:
      • features.custom_stats
    • Condição de Detecção:
      • features.custom_stats com "missing_index" como nome e
      • A estatística customizada missing_index contém qualquer valor != 0

  • SPARSE_FEATURE_LENGTH_MISMATCH

    • Campos de esquema:
      • sparse_feature.value_feature
      • sparse_feature.index_feature
    • Campos de estatísticas:
      • features.custom_stats
    • Condição de Detecção:
      • features.custom_stats com "min_length_diff" ou "max_length_diff" como nome
      • A estatística personalizada min_length_diff ou max_length_diff contém qualquer valor != 0

  • SPARSE_FEATURE_NAME_COLLISION

    • Campos de esquema:
      • sparse_feature.name
      • sparse_feature.lifecycle_stage
      • feature.name
      • feature.lifecycle_stage
    • Condição de Detecção:
      • sparse_feature.lifecycle_stage != PLANNED , ALPHA , DEBUG ou DEPRECATED , e
      • feature.lifecycle_stage != PLANNED , ALPHA , DEBUG ou DEPRECATED , e
      • sparse_feature.name == feature.name

  • SEMANTIC_DOMAIN_UPDATE

    • Campos de esquema:
      • feature.domain_info
    • Campos de estatísticas:
      • features.custom_stats
    • Condição de Detecção:
      • features.custom_stats com "domain_info" como nome e
      • feature.domain_info ainda não está definido no esquema e
      • há uma única estatística personalizada domain_info para o recurso

  • COMPARATOR_LOW_NUM_EXAMPLES

    • Campos de esquema:
      • schema.dataset_constraints.num_examples_drift_comparator.min_fraction_threshold
      • schema.dataset_constraints.num_examples_version_comparator.min_fraction_threshold
    • Campos de estatísticas:
      • num_examples *
    • Condição de Detecção:
      • num_examples * > 0 e
      • proto de estatísticas anteriores está disponível e
      • num_examples * / estatísticas anteriores num_examples * < comparador min_fraction_threshold

  • COMPARATOR_HIGH_NUM_EXAMPLES

    • Campos de esquema:
      • schema.dataset_constraints.num_examples_drift_comparator.max_fraction_threshold
      • schema.dataset_constraints.num_examples_version_comparator.max_fraction_threshold
    • Campos de estatísticas:
      • num_examples *
    • Condição de Detecção:
      • num_examples * > 0 e
      • proto de estatísticas anteriores está disponível e
      • num_examples * / estatísticas anteriores num_examples * > comparador max_fraction_threshold

  • DATASET_LOW_NUM_EXAMPLES

    • Campos de esquema:
      • schema.dataset_constraints.min_examples_count
    • Campos de estatísticas:
      • num_examples *
    • Condição de Detecção:
      • num_examples * < dataset_constraints.min_examples_count

  • DATASET_HIGH_NUM_EXAMPLES

    • Campos de esquema:
      • schema.dataset_constraints.max_examples_count
    • Campos de estatísticas:
      • num_examples *
    • Condição de Detecção:
      • num_examples * > dataset_constraints.max_examples_count

  • WEIGHTED_FEATURE_NAME_COLLISION

    • Campos de esquema:
      • weighted_feature.name
      • weighted_feature.lifecycle_stage
      • sparse_feature.name
      • sparse_feature.lifecycle_stage
      • feature.name
      • feature.lifecycle_stage
    • Condição de Detecção:
      • weighted_feature.lifecycle_stage != PLANNED , ALPHA , DEBUG ou DEPRECATED e
        • se feature.lifecycle_stage != PLANNED , ALPHA , DEBUG ou DEPRECATED ,
          • weighted_feature.name == feature.name ; ou
        • se sparse_feature.lifecycle_stage != PLANNED , ALPHA , DEBUG ou DEPRECATED ,
          • weighted_feature.name == sparse_feature.name

  • WEIGHTED_FEATURE_MISSING_VALUE

    • Campos de esquema:
      • weighted_feature.feature
    • Campos de estatísticas:
      • features.custom_stats
    • Condição de Detecção:
      • features.custom_stats com "missing_value" como nome e
      • estatística personalizada missing_value != 0

  • WEIGHTED_FEATURE_MISSING_WEIGHT

    • Campos de esquema:
      • weighted_feature.weight_feature
    • Campos de estatísticas:
      • features.custom_stats
    • Condição de Detecção:
      • features.custom_stats com "missing_weight" como nome e
      • estatística personalizada missing_weight != 0

  • WEIGHTED_FEATURE_LENGTH_MISMATCH

    • Campos de esquema:
      • weighted_feature.feature
      • weighted_feature.weight_feature
    • Campos de estatísticas:
      • features.custom_stats
    • Condição de Detecção:
      • features.custom_stats com "min_weighted_length_diff" ou "max_weight_length_diff" como nome e
      • estatística personalizada min_weight_length_diff ou max_weight_length_diff != 0

  • VALUE_NESTEDNESS_MISMATCH

    • Campos de esquema:
      • feature.value_count
      • feature.value_counts
    • Campos de estatísticas:
      • features.common_stats.presence_and_valency_stats
    • Condição de Detecção:
      • feature.value_count é especificado e há um presence_and_valency_stats repetido do recurso (que indica um nível de aninhamento maior que um) e
      • feature.value_counts é especificado e o número de vezes que a presence_and_valency_stats do recurso é repetido não corresponde ao número de vezes value_count é repetido em feature.value_counts

  • DOMAIN_INVALID_FOR_TYPE

    • Campos de esquema:
      • feature.type
      • feature.domain_info
    • Campos de estatísticas:
      • features.type
    • Condição de Detecção:
      • Se features.type == BYTES ,
        • feature.domain_info é de um tipo incompatível; ou
      • se features.type != BYTES ,
        • feature.domain_info não corresponde feature.type (por exemplo, int_domain é especificado, mas type do recurso é FLOAT )

  • FEATURE_MISSING_NAME

    • Campos de esquema:
      • feature.name
    • Condição de Detecção:
      • feature.name não foi especificado

  • FEATURE_MISSING_TYPE

    • Campos de esquema:
      • feature.type
    • Condição de Detecção:
      • feature.type não foi especificado

  • INVALID_SCHEMA_SPECIFICATION

    • Campos de esquema:
      • feature.domain_info
      • feature.presence.min_fraction
      • feature.value_count.min
      • feature.value_count.max
      • feature.distribution_constraints
    • Condição de Detecção:
      • feature.presence.min_fraction < 0,0 ou > 1,0, ou
      • feature.value_count.min < 0 ou > feature.value_count.max ou
      • um domínio bool, int, float, struct ou semântico é especificado para um recurso e feature.distribution_constraints também é especificado para esse recurso ou
      • feature.distribution_constraints é especificado para um recurso, mas nem um domínio de nível de esquema nem feature.string_domain é especificado para esse recurso

  • INVALID_DOMAIN_SPECIFICATION

    • Campos de esquema:
      • feature.domain_info
      • feature.bool_domain
      • feature.string_domain
    • Condição de Detecção:
      • O tipo de feature.domain_info desconhecido foi especificado ou
      • feature.domain é especificado, mas não há nenhum domínio correspondente especificado no nível do esquema ou
      • se feature.bool_domain , feature.bool_domain.true_value e feature.bool_domain.false_value forem especificados,
        • feature.bool_domain.true_value == feature.bool_domain.false_value ou
      • se feature.string_domain for especificado,
        • tem feature.string_domain.values ​​duplicados ou
        • feature.string_domain excede o tamanho máximo

  • UNEXPECTED_DATA_TYPE

    • Campos de esquema:
      • feature.type
    • Campos de estatísticas:
      • features.type
    • Condição de Detecção:
      • features.type não é do tipo especificado em feature.type

  • SEQUENCE_VALUE_TOO_FEW_OCCURRENCES

    • Campos de esquema:
      • feature.natural_language_domain.token_constraints.min_per_sequence
    • Campos de estatísticas:
      • features.custom_stats.nl_statistics.token_statistics.per_sequence_min_frequency
    • Condição de Detecção:
      • min_per_sequence > per_sequence_min_frequency

  • SEQUENCE_VALUE_TOO_MANY_OCCURRENCES

    • Campos de esquema:
      • feature.natural_language_domain.token_constraints.max_per_sequence
    • Campos de estatísticas:
      • features.custom_stats.nl_statistics.token_statistics.per_sequence_max_frequency
    • Condição de Detecção:
      • max_per_sequence < per_sequence_max_frequency

  • SEQUENCE_VALUE_TOO_SMALL_FRACTION

    • Campos de esquema:
      • feature.natural_language_domain.token_constraints.min_fraction_of_sequences
    • Campos de estatísticas:
      • features.custom_stats.nl_statistics.token_statistics.fraction_of_sequences
    • Condição de Detecção:
      • min_fraction_of_sequences > fraction_of_sequences

  • SEQUENCE_VALUE_TOO_LARGE_FRACTION

    • Campos de esquema:
      • feature.natural_language_domain.token_constraints.max_fraction_of_sequences
    • Campos de estatísticas:
      • features.custom_stats.nl_statistics.token_statistics.fraction_of_sequences
    • Condição de Detecção:
      • max_fraction_of_sequences < fraction_of_sequences

  • FEATURE_COVERAGE_TOO_LOW

    • Campos de esquema:
      • feature.natural_language_domain.coverage.min_coverage
    • Campos de estatísticas:
      • features.custom_stats.nl_statistics.feature_coverage
    • Condição de Detecção:
      • feature_coverage < coverage.min_coverage

  • FEATURE_COVERAGE_TOO_SHORT_AVG_TOKEN_LENGTH

    • Campos de esquema:
      • feature.natural_language_domain.coverage.min_avg_token_length
    • Campos de estatísticas:
      • features.custom_stats.nl_statistics.avg_token_length
    • Condição de Detecção:
      • avg_token_length < min_avg_token_length

  • NLP_WRONG_LOCATION

    • Tipo de anomalia não detectado no TFDV

  • EMBEDDING_SHAPE_INVALID

    • Tipo de anomalia não detectado no TFDV

  • MAX_IMAGE_BYTE_SIZE_EXCEEDED

    • Campos de esquema:
      • feature.image_domain.max_image_byte_size
    • Campos de estatísticas:
      • features.bytes_stats.max_num_bytes_int
    • Condição de Detecção:
      • max_num_bytes_int > max_image_byte_size

  • INVALID_FEATURE_SHAPE

    • Campos de esquema:
      • feature.shape
    • Campos de estatísticas:
      • features.common_stats.num_missing
      • features.common_stats.min_num_values
      • features.common_stats.max_num_values
      • features.common_stats.presence_and_valency_stats.num_missing
      • features.common_stats.presence_and_valency_stats.min_num_values
      • features.common_stats.presence_and_valency_stats.max_num_values
      • features.common_stats.weighted_presence_and_valency_stats
    • Condição de Detecção:
      • feature.shape é especificado e
        • o recurso pode estar faltando ( num_missing != 0) em algum nível de aninhamento ou
        • o recurso pode ter um número variável de valores ( min_num_values ​​!= max_num_values ​​) em algum nível de aninhamento ou
        • a forma especificada não é compatível com as estatísticas de contagem de valor do recurso. Por exemplo, a forma [16] é compatível com ( min_num_values ​​== max_num_values ​​== [2, 2, 4] (para um recurso de 3 aninhados))

  • STATS_NOT_AVAILBLE

    • A anomalia ocorre quando as estatísticas necessárias para validar as restrições não estão presentes.

  • DERIVED_FEATURE_BAD_LIFECYCLE

    • Campos de esquema:
      • feature.lifecycle_stage
    • Campos de estatísticas:
      • features.validation_derived_source
    • Condição de Detecção:
      • feature.lifecycle_stage não é DERIVED ou DISABLED e features.validation_derived_source está presente, indicando que este é um recurso derivado.

  • DERIVED_FEATURE_INVALID_SOURCE

    • Campos de esquema:
      • feature.validation_derived_source
    • Campos de estatísticas:
      • features.validation_derived_source
    • Condição de Detecção:
      • features.validation_derived_source está presente para um recurso, mas o correspondente feature.validation_derived_source não está.

* Se uma estatística ponderada estiver disponível para este campo, ela será usada no lugar da estatística não ponderada.