مرجع شذوذات التحقق من صحة بيانات TensorFlow

يتحقق TFDV من الحالات الشاذة من خلال مقارنة مخطط (بروتوكولات) وإحصائيات. يسرد المخطط التالي أنواع الشذوذ التي يمكن أن يكتشفها TFDV ، وحقول المخطط والإحصاءات المستخدمة لاكتشاف كل نوع من أنواع الشذوذ ، والظروف (الحالات) التي يتم من خلالها اكتشاف كل نوع شذوذ.

• BOOL_TYPE_BIG_INT

  • حقول المخطط:
    • feature.bool_domain
  • مجالات الإحصاء:
    • features.num_stats.max
    • features.type
  • شرط الكشف:
    • يتم تحديد feature.bool_domain و
    • features.type == INT و
    • features.num_stats.max > 1

• BOOL_TYPE_BYTES_NOT_INT

  • لم يتم اكتشاف نوع الانحراف في TFDV

• BOOL_TYPE_BYTES_NOT_STRING

  • لم يتم اكتشاف نوع الانحراف في TFDV

• BOOL_TYPE_FLOAT_NOT_INT

  • لم يتم اكتشاف نوع الانحراف في TFDV

• BOOL_TYPE_FLOAT_NOT_STRING

  • لم يتم اكتشاف نوع الانحراف في TFDV

• BOOL_TYPE_INT_NOT_STRING

  • لم يتم اكتشاف نوع الانحراف في TFDV

• BOOL_TYPE_SMALL_INT

  • حقول المخطط:
    • feature.bool_domain
  • مجالات الإحصاء:
    • features.num_stats.min
    • features.type
  • شرط الكشف:
    • features.type == INT و
    • يتم تحديد feature.bool_domain و
    • features.num_stats.min <0

• BOOL_TYPE_STRING_NOT_INT

  • لم يتم اكتشاف نوع الانحراف في TFDV

• BOOL_TYPE_UNEXPECTED_STRING

  • حقول المخطط:
    • feature.bool_domain
  • مجالات الإحصاء:
    • features.string_stats.rank_histogram *
  • شرط الكشف:
    • features.type == STRING و
    • يتم تحديد feature.bool_domain و
    • قيمة واحدة على الأقل في rank_histogram * ليست feature.bool_domain.true_value أو feature.bool_domain.false_value

• BOOL_TYPE_UNEXPECTED_FLOAT

  • حقول المخطط:
    • feature.bool_domain
  • مجالات الإحصاء:
    • features.num_stats.min
    • features.num_stats.max
    • features.num_stats.histograms.num_nan
    • features.num_stats.histograms.buckets.low_value
    • features.num_stats.histograms.buckets.high_value
    • features.type
  • شرط الكشف:
    • features.type == FLOAT و
    • يتم تحديد feature.bool_domain وإما
      • ( features.num_stats.min ! = 0 أو features.num_stats.min ! = 1) أو
      • ( features.num_stats.max ! = 0 أو features.num_stats.max ! = 1) أو
      • features.num_stats.histograms.num_nan > 0 أو
      • ( features.num_stats.histograms.buckets.low_value ! = 0 أو features.num_stats.histograms.buckets.high_value ! = 1) و features.num_stats.histograms.buckets.sample_count > 0

• BOOL_TYPE_INVALID_CONFIG

  • حقول المخطط:
    • feature.bool_domain
  • مجالات الإحصاء:
    • features.type
  • شرط الكشف:
    • إذا كانت features.type == INT أو FLOAT ،
      • يتم تحديد feature.bool_domain و
      • يتم تحديد feature.bool_domain.true_value أو feature.bool_domain.false_value ، أو
    • إذا كانت features.type == STRING ،
      • يتم تحديد feature.bool_domain و
      • لم يتم تحديد feature.bool_domain.true_value و feature.bool_domain.false_value

• ENUM_TYPE_BYTES_NOT_STRING

  • لم يتم اكتشاف نوع الانحراف في TFDV

• ENUM_TYPE_FLOAT_NOT_STRING

  • لم يتم اكتشاف نوع الانحراف في TFDV

• ENUM_TYPE_INT_NOT_STRING

  • لم يتم اكتشاف نوع الانحراف في TFDV

• ENUM_TYPE_INVALID_UTF8

  • مجالات الإحصاء:
    • features.string_stats.invalid_utf8_count
  • شرط الكشف:
    • invalid_utf8_count > 0

• ENUM_TYPE_UNEXPECTED_STRING_VALUES

  • حقول المخطط:
    • string_domain و feature.domain ؛ أو feature.string_domain
    • feature.distribution_constraints.min_domain_mass
  • مجالات الإحصاء:
    • features.string_stats.rank_histogram *
  • شرط الكشف:
    • إما (عدد القيم في rank_histogram * التي ليست في المجال / إجمالي عدد القيم)> (1 - feature.distribution_constraints.min_domain_mass ) أو
    • feature.distribution_constraints.min_domain_mass == 1.0 وهناك قيم في المدرج التكراري ليست في المجال

• FEATURE_TYPE_HIGH_NUMBER_VALUES

  • حقول المخطط:
    • feature.value_count.max
    • feature.value_counts.value_count.max
  • مجالات الإحصاء:
    • features.common_stats.max_num_values
    • features.common_stats.presence_and_valency_stats.max_num_values
  • شرط الكشف:
    • إذا تم تحديد feature.value_count.max
      • features.common_stats.max_num_values > feature.value_count.max ؛ أو
    • إذا تم تحديد feature.value_counts
      • feature.value_counts.value_count.max < features.common_stats.presence_and_valency_stats.max_num_values ​​عند مستوى تداخل معين

• FEATURE_TYPE_LOW_FRACTION_PRESENT

  • حقول المخطط:
    • feature.presence.min_fraction
  • مجالات الإحصاء:
    • features.common_stats.num_non_missing *
    • num_examples *
  • شرط الكشف:
    • تم تحديد feature.presence.min_fraction و ( features.common_stats.num_non_missing * / num_examples *) < feature.presence.min_fraction أو
    • feature.presence.min_fraction == 1.0 و common_stats.num_missing ! = 0

• FEATURE_TYPE_LOW_NUMBER_PRESENT

  • حقول المخطط:
    • feature.presence.min_count
  • مجالات الإحصاء:
    • features.common_stats.num_non_missing *
  • شرط الكشف:
    • يتم تحديد feature.presence.min_count وإما
      • features.common_stats.num_non_missing * == 0 أو
      • features.common_stats.num_non_missing * < feature.presence.min_count

• FEATURE_TYPE_LOW_NUMBER_VALUES

  • حقول المخطط:
    • feature.value_count.min
    • feature.value_counts.value_count.min
  • مجالات الإحصاء:
    • features.common_stats.min_num_values
    • features.common_stats.presence_and_valency_stats.min_num_values
  • شرط الكشف:
    • إذا تم تحديد feature.value_count.min
      • features.common_stats.min_num_values ​​< feature.value_count.min ؛ أو
    • إذا تم تحديد feature.value_counts
      • features.common_stats.presence_and_valency_stats.min_num_values ​​< feature.value_counts.value_count.min عند مستوى تداخل معين

• FEATURE_TYPE_NOT_PRESENT

  • حقول المخطط:
    • feature.in_environment أو feature.not_in_environment أو schema.default_environment . البيئة الافتراضية
    • feature.lifecycle_stage
    • feature.presence.min_count أو feature.presence.min_fraction
  • مجالات الإحصاء:
    • features.common_stats.num_non_missing *
  • شرط الكشف:
    • feature.lifecycle_stage ليست في [ PLANNED ، ALPHA ، DEBUG ، DEPRECATED ] و
    • common_stats.num_non_missing * == 0 و
    • ( feature.presence.min_count > 0 أو feature.presence.min_fraction > 0) وإما
      • feature.in_environment == البيئة الحالية أو
      • feature.not_in_environment ! = البيئة الحالية أو
      • schema.default_environment ! = البيئة الحالية

• FEATURE_TYPE_NO_VALUES

  • لم يتم اكتشاف نوع الانحراف في TFDV

• FEATURE_TYPE_UNEXPECTED_REPEATED

  • لم يتم اكتشاف نوع الانحراف في TFDV

• FEATURE_TYPE_HIGH_UNIQUE

  • حقول المخطط:
    • feature.unique_constraints.max
  • مجالات الإحصاء:
    • features.string_stats.unique
  • شرط الكشف:
    • features.string_stats.unique > feature.unique_constraints.max

• FEATURE_TYPE_LOW_UNIQUE

  • حقول المخطط:
    • feature.unique_constraints.min
  • مجالات الإحصاء:
    • features.string_stats.unique
  • شرط الكشف:
    • features.string_stats.unique < feature.unique_constraints.min

• FEATURE_TYPE_NO_UNIQUE

  • حقول المخطط:
    • feature.unique_constraints
  • مجالات الإحصاء:
    • features.string_stats.unique
  • شرط الكشف:
    • feature.unique_constraints محددة ولكن لا توجد features.string_stats.unique موجودة (كما هو الحال عندما تكون الميزة ليست سلسلة أو قاطعة)

• FLOAT_TYPE_BIG_FLOAT

  • حقول المخطط:
    • feature.float_domain.max
  • مجالات الإحصاء:
    • features.type
    • features.num_stats.max أو features.string_stats.rank_histogram
  • شرط الكشف:
    • إذا كانت features.type == FLOAT ،
      • features.num_stats.max > feature.float_domain.max ؛ أو
    • إذا كانت features.type == BYTES أو STRING ،
      • القيمة القصوى في features.string_stats.rank_histogram (عند التحويل إلى تعويم)> feature.float_domain.max

• FLOAT_TYPE_NOT_FLOAT

  • لم يتم اكتشاف نوع الانحراف في TFDV

• FLOAT_TYPE_SMALL_FLOAT

  • حقول المخطط:
    • feature.float_domain.min
  • مجالات الإحصاء:
    • features.type
    • features.num_stats.min أو features.string_stats.rank_histogram
  • شرط الكشف:
    • إذا كانت features.type == FLOAT ،
      • features.num_stats.min < feature.float_domain.min ؛ أو
    • إذا كانت features.type == BYTES أو STRING ،
      • الحد الأدنى للقيمة في features.string_stats.rank_histogram (عند التحويل إلى تعويم) < feature.float_domain.min

• FLOAT_TYPE_STRING_NOT_FLOAT

  • حقول المخطط:
    • feature.float_domain
  • مجالات الإحصاء:
    • features.type
    • features.string_stats.rank_histogram
  • شرط الكشف:
    • features.type == BYTES أو STRING و
    • features.string_stats.rank_histogram له قيمة واحدة على الأقل لا يمكن تحويلها إلى عدد عشري

• FLOAT_TYPE_NON_STRING

  • لم يتم اكتشاف نوع الانحراف في TFDV

• FLOAT_TYPE_UNKNOWN_TYPE_NUMBER

  • لم يتم اكتشاف نوع الانحراف في TFDV

• FLOAT_TYPE_HAS_NAN

  • حقول المخطط:
    • feature.float_domain.disallow_nan
  • مجالات الإحصاء:
    • features.type
    • features.num_stats.histograms.num_nan
  • شرط الكشف:
    • قيمة float_domain.disallow_nan صحيحة و
    • features.num_stats.histograms.num_nan > 0

• FLOAT_TYPE_HAS_INF

  • حقول المخطط:
    • feature.float_domain.disallow_inf
  • مجالات الإحصاء:
    • features.type
    • features.num_stats.min
    • features.num_stats.max
  • شرط الكشف:
    • features.type == FLOAT
    • قيمة float_domain.disallow_inf صحيحة وأيًا منهما
      • features.num_stats.min == inf/-inf أو
      • features.num_stats.max == inf/-inf

• INT_TYPE_BIG_INT

  • حقول المخطط:
    • feature.int_domain.max
  • مجالات الإحصاء:
    • features.type
    • features.num_stats.max
    • features.string_stats.rank_histogram
  • شرط الكشف:
    • إذا كانت features.type == INT ،
      • features.num_stats.max > feature.int_domain.max ؛ أو
    • إذا كانت features.type == BYTES أو STRING ،
      • القيمة القصوى في features.string_stats.rank_histogram (عند التحويل إلى int)> feature.int_domain.max

• INT_TYPE_INT_EXPECTED

  • لم يتم اكتشاف نوع الانحراف في TFDV

• INT_TYPE_NOT_INT_STRING

  • حقول المخطط:
    • feature.int_domain
  • مجالات الإحصاء:
    • features.type
    • features.string_stats.rank_histogram
  • شرط الكشف:
    • features.type == BYTES أو STRING و
    • features.string_stats.rank_histogram له قيمة واحدة على الأقل لا يمكن تحويلها إلى عدد صحيح

• INT_TYPE_NOT_STRING

  • لم يتم اكتشاف نوع الانحراف في TFDV

• INT_TYPE_SMALL_INT

  • حقول المخطط:
    • feature.int_domain.min
  • مجالات الإحصاء:
    • features.type
    • features.num_stats.min
    • features.string_stats.rank_histogram
  • شرط الكشف:
    • إذا كانت features.type == INT ،
      • features.num_stats.min < feature.int_domain.min ؛ أو
    • إذا كانت features.type == BYTES أو STRING ،
      • الحد الأدنى للقيمة في features.string_stats.rank_histogram (عند التحويل إلى int) < feature.int_domain.min

• INT_TYPE_STRING_EXPECTED

  • لم يتم اكتشاف نوع الانحراف في TFDV

• INT_TYPE_UNKNOWN_TYPE_NUMBER

  • لم يتم اكتشاف نوع الانحراف في TFDV

• LOW_SUPPORTED_IMAGE_FRACTION

  • حقول المخطط:
    • feature.image_domain.minimum_supported_image_fraction
  • مجالات الإحصاء:
    • features.custom_stats.rank_histogram for the custom_stats مع الاسم image_format_histogram . لاحظ أنه يجب تمكين إحصائيات المجال الدلالي من أجل إنشاء image_format_histogram ولكي يتم إجراء هذا التحقق من الصحة. لا يتم إنشاء احصائيات المجال الدلالي بشكل افتراضي.
  • شرط الكشف:
    • جزء القيم المدعومة من أنواع صور Tensorflow لجميع أنواع الصور أقل من feature.image_domain.minimum_supported_image_fraction .

• SCHEMA_MISSING_COLUMN

  • حقول المخطط:
    • feature.in_environment أو feature.not_in_environment أو schema.default_environment . البيئة الافتراضية
    • feature.lifecycle_stage
    • feature.presence.min_count أو feature.presence.min_fraction
  • شرط الكشف:
    • feature.lifecycle_stage ! = PLANNED أو ALPHA أو DEBUG أو DEPRECATED و
    • feature.presence.min_count > 0 أو feature.presence.min_fraction > 0 و
    • feature.in_environment == البيئة الحالية أو feature.not_in_environment ! = البيئة الحالية أو schema.default_environment .
    • لم يتم العثور على ميزة بالاسم / المسار المحدد في بروتو الإحصائيات

• SCHEMA_NEW_COLUMN

  • شرط الكشف:
    • توجد ميزة في بروتو الإحصائيات ولكن لا توجد ميزة باسمها / مسارها في بروتو المخطط

• SCHEMA_TRAINING_SERVING_SKEW

  • لم يتم اكتشاف نوع الانحراف في TFDV

• STRING_TYPE_NOW_FLOAT

  • لم يتم اكتشاف نوع الانحراف في TFDV

• STRING_TYPE_NOW_INT

  • لم يتم اكتشاف نوع الانحراف في TFDV

• COMPARATOR_CONTROL_DATA_MISSING

  • حقول المخطط:
    • feature.skew_comparator.infinity_norm.threshold
    • feature.drift_comparator.infinity_norm.threshold
  • شرط الكشف:
    • يتوفر بروتو إحصائيات التحكم (على سبيل المثال ، إحصائيات الخدمة للانحراف أو الإحصائيات السابقة للانجراف) ولكنها لا تحتوي على الميزة المحددة

• COMPARATOR_TREATMENT_DATA_MISSING

  • لم يتم اكتشاف نوع الانحراف في TFDV

• COMPARATOR_L_INFTY_HIGH

  • حقول المخطط:
    • feature.skew_comparator.infinity_norm.threshold
    • feature.drift_comparator.infinity_norm.threshold
  • مجالات الإحصاء:
    • features.string_stats.rank_histogram *
  • شرط الكشف:
    • معيار L- اللانهاية للمتجه الذي يمثل الفرق بين التعداد الطبيعي من السمات features.string_stats.rank_histogram * في إحصائيات التحكم (أي ، إحصائيات الخدمة للانحراف أو الإحصائيات السابقة للانجراف) وإحصاءات المعالجة (أي إحصاءات التدريب لـ الانحراف أو الإحصائيات الحالية للانجراف)> feature.skew_comparator.infinity_norm.threshold أو feature.drift_comparator.infinity_norm.threshold

• COMPARATOR_NORMALIZED_ABSOLUTE_DIFFERENCE_HIGH

  • حقول المخطط:
    • feature.skew_comparator.normalized_abs_difference.threshold
    • feature.drift_comparator.normalized_abs_difference.threshold
  • مجالات الإحصاء:
    • features.string_stats.rank_histogram
  • شرط الكشف:
    • تم تجاوز فرق العد المطلق المعدل لأعداد القيمة من features.string_stats.rank_histogram في إحصائيات التحكم (على سبيل المثال ، إحصائيات الخدمة للانحراف أو الإحصائيات السابقة للانجراف) وإحصاءات المعالجة (أي إحصاءات التدريب للانحراف أو الإحصائيات الحالية للانجراف). feature.skew_comparator.normalized_abs_difference.threshold أو feature.drift_comparator.normalized_abs_difference.threshold. يتم تسوية فروق العد من خلال العدد الإجمالي عبر كلا الشرطين.

• COMPARATOR_JENSEN_SHANNON_DIVERGENCE_HIGH

  • حقول المخطط:
    • feature.skew_comparator.jensen_shannon_divergence.threshold
    • feature.drift_comparator.jensen_shannon_divergence.threshold
  • مجالات الإحصاء:
    • features.num_stats.histograms من النوع STANDARD
    • features.string_stats.rank_histogram *
  • شرط الكشف:
    • تباعد جنسن-شانون التقريبي المحسوب بين إحصائيات التحكم (على سبيل المثال ، إحصائيات تقديم الانحراف أو الإحصائيات السابقة للانجراف) وإحصاءات المعالجة (أي إحصاءات التدريب للانحراف أو الإحصائيات الحالية للانجراف)> feature.skew_comparator.jensen_shannon_divergence.threshold أو feature.drift_comparator.jensen_shannon_divergence.threshold . يُحسب تباعد جنسن-شانون التقريبي بناءً على عدد العينات المقيسة في features.string_stats.rank_histogram features.num_stats.histograms

• NO_DATA_IN_SPAN

  • لم يتم اكتشاف نوع الانحراف في TFDV

• SPARSE_FEATURE_MISSING_VALUE

  • حقول المخطط:
    • sparse_feature.value_feature
  • مجالات الإحصاء:
    • features.custom_stats
  • شرط الكشف:
    • features.custom_stats مع "مفقود_قيمة" كاسم و
    • stat_value المخصص missing_value ! = 0

• SPARSE_FEATURE_MISSING_INDEX

  • حقول المخطط:
    • sparse_feature.index_feature
  • مجالات الإحصاء:
    • features.custom_stats
  • شرط الكشف:
    • features.custom_stats مع "الفهرس المفقود" كاسم و
    • يحتوي stat_index المخصص missing_index أي قيمة! = 0

• SPARSE_FEATURE_LENGTH_MISMATCH

  • حقول المخطط:
    • sparse_feature.value_feature
    • sparse_feature.index_feature
  • مجالات الإحصاء:
    • features.custom_stats
  • شرط الكشف:
    • features.custom_stats مع "min_length_diff" أو "max_length_diff" كاسم
    • تحتوي الإحصائيات المخصصة min_length_diff أو max_length_diff على أي قيمة! = 0

• SPARSE_FEATURE_NAME_COLLISION

  • حقول المخطط:
    • sparse_feature.name
    • sparse_feature.lifecycle_stage
    • feature.name
    • feature.lifecycle_stage
  • شرط الكشف:
    • sparse_feature.lifecycle_stage ! = PLANNED أو ALPHA أو DEBUG أو DEPRECATED و
    • feature.lifecycle_stage ! = PLANNED أو ALPHA أو DEBUG أو DEPRECATED و
    • sparse_feature.name == feature.name

• SEMANTIC_DOMAIN_UPDATE

  • حقول المخطط:
    • feature.domain_info
  • مجالات الإحصاء:
    • features.custom_stats
  • شرط الكشف:
    • features.custom_stats مع "domain_info" كاسم و
    • لم يتم تعيين feature.domain_info بالفعل في المخطط و
    • هناك إحصائيات مخصصة domain_info واحدة لهذه الميزة

• COMPARATOR_LOW_NUM_EXAMPLES

  • حقول المخطط:
    • schema.dataset_constraints.num_examples_drift_comparator.min_fraction_threshold
    • schema.dataset_constraints.num_examples_version_comparator.min_fraction_threshold
  • مجالات الإحصاء:
    • num_examples *
  • شرط الكشف:
    • num_examples *> 0 و
    • بروتو الإحصاءات السابقة متاح و
    • num_examples * / إحصاءات سابقة num_examples * <المقارنة min_fraction_threshold

• COMPARATOR_HIGH_NUM_EXAMPLES

  • حقول المخطط:
    • schema.dataset_constraints.num_examples_drift_comparator.max_fraction_threshold
    • schema.dataset_constraints.num_examples_version_comparator.max_fraction_threshold
  • مجالات الإحصاء:
    • num_examples *
  • شرط الكشف:
    • num_examples *> 0 و
    • بروتو الإحصاءات السابقة متاح و
    • num_examples * / الإحصائيات السابقة num_examples *> المقارنة max_fraction_threshold

• DATASET_LOW_NUM_EXAMPLES

  • حقول المخطط:
    • schema.dataset_constraints.min_examples_count
  • مجالات الإحصاء:
    • num_examples *
  • شرط الكشف:
    • num_examples * < dataset_constraints.min_examples_count

• DATASET_HIGH_NUM_EXAMPLES

  • حقول المخطط:
    • schema.dataset_constraints.max_examples_count
  • مجالات الإحصاء:
    • num_examples *
  • شرط الكشف:
    • num_examples *> dataset_constraints.max_examples_count

• WEIGHTED_FEATURE_NAME_COLLISION

  • حقول المخطط:
    • weighted_feature.name
    • weighted_feature.lifecycle_stage
    • sparse_feature.name
    • sparse_feature.lifecycle_stage
    • feature.name
    • feature.lifecycle_stage
  • شرط الكشف:
    • weighted_feature.lifecycle_stage ! = PLANNED أو ALPHA أو DEBUG أو DEPRECATED وإما
      • إذا كانت feature.lifecycle_stage ! = PLANNED أو ALPHA أو DEBUG أو DEPRECATED ،
        • weighted_feature.name == feature.name ؛ أو
      • إذا sparse_feature.lifecycle_stage ! = PLANNED أو ALPHA أو DEBUG أو DEPRECATED ،
        • weighted_feature.name == sparse_feature.name

• WEIGHTED_FEATURE_MISSING_VALUE

  • حقول المخطط:
    • weighted_feature.feature
  • مجالات الإحصاء:
    • features.custom_stats
  • شرط الكشف:
    • features.custom_stats مع "مفقود_قيمة" كاسم و
    • stat_value المخصص missing_value ! = 0

• WEIGHTED_FEATURE_MISSING_WEIGHT

  • حقول المخطط:
    • weighted_feature.weight_feature
  • مجالات الإحصاء:
    • features.custom_stats
  • شرط الكشف:
    • features.custom_stats مع "مفقود_وزن" كاسم و
    • الإحصاء المخصص missing_weight ! = 0

• WEIGHTED_FEATURE_LENGTH_MISMATCH

  • حقول المخطط:
    • weighted_feature.feature
    • weighted_feature.weight_feature
  • مجالات الإحصاء:
    • features.custom_stats
  • شرط الكشف:
    • features.custom_stats مع "min_weighted_length_diff" أو "max_weight_length_diff" كاسم ، و
    • min_weight_length_diff أو max_weight_length_diff إحصائية مخصصة! = 0

• VALUE_NESTEDNESS_MISMATCH

  • حقول المخطط:
    • feature.value_count
    • feature.value_counts
  • مجالات الإحصاء:
    • features.common_stats.presence_and_valency_stats
  • شرط الكشف:
    • يتم تحديد feature.value_count ، وهناك presence_and_valency_stats (مما يشير إلى مستوى تداخل أكبر من واحد) و
    • يتم تحديد feature.value_counts ، وعدد مرات تكرار presence_and_valency_stats للميزة لا يتطابق مع عدد مرات تكرار value_count داخل feature.value_counts

• DOMAIN_INVALID_FOR_TYPE

  • حقول المخطط:
    • feature.type
    • feature.domain_info
  • مجالات الإحصاء:
    • features.type
  • شرط الكشف:
    • إذا كانت features.type == BYTES ،
      • feature.domain_info من نوع غير متوافق ؛ أو
    • إذا كانت features.type ! = BYTES ،
      • لا يتطابق feature.domain_info مع feature.type (على سبيل المثال ، تم تحديد int_domain ، لكن type الميزة هو FLOAT )

• FEATURE_MISSING_NAME

  • حقول المخطط:
    • feature.name
  • شرط الكشف:
    • لم يتم تحديد feature.name

• FEATURE_MISSING_TYPE

  • حقول المخطط:
    • feature.type
  • شرط الكشف:
    • لم يتم تحديد feature.type

• INVALID_SCHEMA_SPECIFICATION

  • حقول المخطط:
    • feature.domain_info
    • feature.presence.min_fraction
    • feature.value_count.min
    • feature.value_count.max
    • feature.distribution_constraints
  • شرط الكشف:
    • feature.presence.min_fraction <0.0 أو> 1.0 ، أو
    • feature.value_count.min <0 أو> feature.value_count.max أو
    • يتم تحديد مجال منطقي أو عدد صحيح أو عائم أو هيكلي أو feature.distribution_constraints لميزة وميزة.
    • تم تحديد feature.distribution_constraints لميزة ، ولكن لم يتم تحديد مجال على مستوى المخطط ولا feature.string_domain .

• INVALID_DOMAIN_SPECIFICATION

  • حقول المخطط:
    • feature.domain_info
    • feature.bool_domain
    • feature.string_domain
  • شرط الكشف:
    • تم تحديد نوع feature.domain_info غير معروف أو
    • تم تحديد feature.domain ، ولكن لم يتم تحديد مجال مطابق على مستوى المخطط ، أو
    • إذا تم تحديد feature.bool_domain و feature.bool_domain.true_value و feature.bool_domain.false_value ،
      • feature.bool_domain.true_value == feature.bool_domain.false_value ، أو
    • إذا تم تحديد feature.string_domain ،
      • يحتوي على feature.string_domain.values ​​مكررة أو
      • تتجاوز feature.string_domain الحد الأقصى للحجم

• UNEXPECTED_DATA_TYPE

  • حقول المخطط:
    • feature.type
  • مجالات الإحصاء:
    • features.type
  • شرط الكشف:
    • features.type ليس من النوع المحدد في feature.type

• SEQUENCE_VALUE_TOO_FEW_OCCURRENCES

  • حقول المخطط:
    • feature.natural_language_domain.token_constraints.min_per_sequence
  • مجالات الإحصاء:
    • features.custom_stats.nl_statistics.token_statistics.per_sequence_min_frequency
  • شرط الكشف:
    • min_per_sequence > per_sequence_min_frequency

• SEQUENCE_VALUE_TOO_MANY_OCCURRENCES

  • حقول المخطط:
    • feature.natural_language_domain.token_constraints.max_per_sequence
  • مجالات الإحصاء:
    • features.custom_stats.nl_statistics.token_statistics.per_sequence_max_frequency
  • شرط الكشف:
    • max_per_sequence < per_sequence_max_frequency

• SEQUENCE_VALUE_TOO_SMALL_FRACTION

  • حقول المخطط:
    • feature.natural_language_domain.token_constraints.min_fraction_of_sequences
  • مجالات الإحصاء:
    • features.custom_stats.nl_statistics.token_statistics.fraction_of_sequences
  • شرط الكشف:
    • min_fraction_of_sequences > fraction_of_sequences

• SEQUENCE_VALUE_TOO_LARGE_FRACTION

  • حقول المخطط:
    • feature.natural_language_domain.token_constraints.max_fraction_of_sequences
  • مجالات الإحصاء:
    • features.custom_stats.nl_statistics.token_statistics.fraction_of_sequences
  • شرط الكشف:
    • max_fraction_of_sequences < fraction_of_sequences

• FEATURE_COVERAGE_TOO_LOW

  • حقول المخطط:
    • feature.natural_language_domain.coverage.min_coverage
  • مجالات الإحصاء:
    • features.custom_stats.nl_statistics.feature_coverage
  • شرط الكشف:
    • feature_coverage < coverage.min_coverage

• FEATURE_COVERAGE_TOO_SHORT_AVG_TOKEN_LENGTH

  • حقول المخطط:
    • feature.natural_language_domain.coverage.min_avg_token_length
  • مجالات الإحصاء:
    • features.custom_stats.nl_statistics.avg_token_length
  • شرط الكشف:
    • avg_token_length < min_avg_token_length

• NLP_WRONG_LOCATION

  • لم يتم اكتشاف نوع الانحراف في TFDV

• EMBEDDING_SHAPE_INVALID

  • لم يتم اكتشاف نوع الانحراف في TFDV

• MAX_IMAGE_BYTE_SIZE_EXCEEDED

  • حقول المخطط:
    • feature.image_domain.max_image_byte_size
  • مجالات الإحصاء:
    • features.bytes_stats.max_num_bytes_int
  • شرط الكشف:
    • max_num_bytes_int > max_image_byte_size

• INVALID_FEATURE_SHAPE

  • حقول المخطط:
    • feature.shape
  • مجالات الإحصاء:
    • features.common_stats.num_missing
    • features.common_stats.min_num_values
    • features.common_stats.max_num_values
    • features.common_stats.presence_and_valency_stats.num_missing
    • features.common_stats.presence_and_valency_stats.min_num_values
    • features.common_stats.presence_and_valency_stats.max_num_values
    • features.common_stats.weighted_presence_and_valency_stats
  • شرط الكشف:
    • يتم تحديد feature.shape ، وإما
      • قد تكون الميزة مفقودة ( num_missing ! = 0) في بعض مستويات العش أو
      • قد تحتوي الميزة على عدد متغير من القيم ( min_num_values ! = max_num_values ) في بعض مستويات العش أو
      • الشكل المحدد غير متوافق مع إحصائيات عدد قيم الميزة. على سبيل المثال ، الشكل [16] متوافق مع ( min_num_values ​​== max_num_values ​​== [2, 2, 4] (لميزة ثلاثية متداخلة))

• STATS_NOT_AVAILBLE

  • يحدث الشذوذ عندما لا تكون الإحصائيات اللازمة للتحقق من القيود موجودة.

• DERIVED_FEATURE_BAD_LIFECYCLE

  • حقول المخطط:
    • feature.lifecycle_stage
  • مجالات الإحصاء:
    • features.validation_derived_source
  • شرط الكشف:
    • feature.lifecycle_stage ليست واحدة من DERIVED أو DISABLED ، والميزات features.validation_derived_source موجودة ، مما يشير إلى أن هذه ميزة مشتقة.

• DERIVED_FEATURE_INVALID_SOURCE

  • حقول المخطط:
    • feature.validation_derived_source
  • مجالات الإحصاء:
    • features.validation_derived_source
  • شرط الكشف:
    • features.validation_derived_source موجودة لميزة ، لكن feature.validation_derived_source المقابلة.

  ---

* في حالة توفر إحصاء مرجح لهذا الحقل ، فسيتم استخدامه بدلاً من الإحصاء غير الموزون.