การอ้างอิงความผิดปกติในการตรวจสอบความถูกต้องของข้อมูล TensorFlow

TFDV ตรวจสอบความผิดปกติโดยการเปรียบเทียบสคีมาและสถิติโปรโต แผนภูมิต่อไปนี้แสดงรายการประเภทความผิดปกติที่ TFDV สามารถตรวจจับได้ ฟิลด์สคีมาและสถิติที่ใช้ในการตรวจจับความผิดปกติแต่ละประเภท และเงื่อนไขที่ตรวจพบความผิดปกติแต่ละประเภท

• BOOL_TYPE_BIG_INT

  • ฟิลด์สคีมา:
    • feature.bool_domain
  • ฟิลด์สถิติ:
    • features.num_stats.max
    • features.type
  • เงื่อนไขการตรวจจับ:
    • มีการระบุ feature.bool_domain และ
    • features.type == INT และ
    • features.num_stats.max > 1

• BOOL_TYPE_BYTES_NOT_INT

  • ตรวจไม่พบประเภทความผิดปกติใน TFDV

• BOOL_TYPE_BYTES_NOT_STRING

  • ตรวจไม่พบประเภทความผิดปกติใน TFDV

• BOOL_TYPE_FLOAT_NOT_INT

  • ตรวจไม่พบประเภทความผิดปกติใน TFDV

• BOOL_TYPE_FLOAT_NOT_STRING

  • ตรวจไม่พบประเภทความผิดปกติใน TFDV

• BOOL_TYPE_INT_NOT_STRING

  • ตรวจไม่พบประเภทความผิดปกติใน TFDV

• BOOL_TYPE_SMALL_INT

  • ฟิลด์สคีมา:
    • feature.bool_domain
  • ฟิลด์สถิติ:
    • features.num_stats.min
    • features.type
  • เงื่อนไขการตรวจจับ:
    • features.type == INT และ
    • มีการระบุ feature.bool_domain และ
    • features.num_stats.min < 0

• BOOL_TYPE_STRING_NOT_INT

  • ตรวจไม่พบประเภทความผิดปกติใน TFDV

• BOOL_TYPE_UNEXPECTED_STRING

  • ฟิลด์สคีมา:
    • feature.bool_domain
  • ฟิลด์สถิติ:
    • features.string_stats.rank_histogram *
  • เงื่อนไขการตรวจจับ:
    • features.type == STRING และ
    • มีการระบุ feature.bool_domain และ
    • อย่างน้อยหนึ่งค่าใน rank_histogram * ไม่ใช่ feature.bool_domain.true_value หรือ feature.bool_domain.false_value

• BOOL_TYPE_UNEXPECTED_FLOAT

  • ฟิลด์สคีมา:
    • feature.bool_domain
  • ฟิลด์สถิติ:
    • features.num_stats.min
    • features.num_stats.max
    • features.num_stats.histograms.num_nan
    • features.num_stats.histograms.buckets.low_value
    • features.num_stats.histograms.buckets.high_value
    • features.type
  • เงื่อนไขการตรวจจับ:
    • features.type == FLOAT และ
    • มีการระบุ feature.bool_domain และอย่างใดอย่างหนึ่ง
      • ( features.num_stats.min != 0 หรือ features.num_stats.min != 1) หรือ
      • ( features.num_stats.max != 0 หรือ features.num_stats.max != 1) หรือ
      • features.num_stats.histograms.num_nan > 0 หรือ
      • ( features.num_stats.histograms.buckets.low_value != 0 หรือ features.num_stats.histograms.buckets.high_value != 1) และ features.num_stats.histograms.buckets.sample_count > 0

• BOOL_TYPE_INVALID_CONFIG

  • ฟิลด์สคีมา:
    • feature.bool_domain
  • ฟิลด์สถิติ:
    • features.type
  • เงื่อนไขการตรวจจับ:
    • หาก features.type == INT หรือ FLOAT
      • มีการระบุ feature.bool_domain และ
      • มีการระบุ feature.bool_domain.true_value หรือ feature.bool_domain.false_value หรือ
    • ถ้า features.type == STRING ,
      • มีการระบุ feature.bool_domain และ
      • ไม่ได้ระบุ feature.bool_domain.true_value และ feature.bool_domain.false_value

• ENUM_TYPE_BYTES_NOT_STRING

  • ตรวจไม่พบประเภทความผิดปกติใน TFDV

• ENUM_TYPE_FLOAT_NOT_STRING

  • ตรวจไม่พบประเภทความผิดปกติใน TFDV

• ENUM_TYPE_INT_NOT_STRING

  • ตรวจไม่พบประเภทความผิดปกติใน TFDV

• ENUM_TYPE_INVALID_UTF8

  • ฟิลด์สถิติ:
    • features.string_stats.invalid_utf8_count
  • เงื่อนไขการตรวจจับ:
    • invalid_utf8_count > 0

• ENUM_TYPE_UNEXPECTED_STRING_VALUES

  • ฟิลด์สคีมา:
    • string_domain และ feature.domain ; หรือ feature.string_domain
    • feature.distribution_constraints.min_domain_mass
  • ฟิลด์สถิติ:
    • features.string_stats.rank_histogram *
  • เงื่อนไขการตรวจจับ:
    • อย่างใดอย่างหนึ่ง (จำนวนค่าใน rank_histogram * ที่ไม่อยู่ในโดเมน / จำนวนค่าทั้งหมด) > (1 - feature.distribution_constraints.min_domain_mass ) หรือ
    • feature.distribution_constraints.min_domain_mass == 1.0 และมีค่าในฮิสโตแกรมที่ไม่ได้อยู่ในโดเมน

• FEATURE_TYPE_HIGH_NUMBER_VALUES

  • ฟิลด์สคีมา:
    • feature.value_count.max
    • feature.value_counts.value_count.max
  • ฟิลด์สถิติ:
    • features.common_stats.max_num_values
    • features.common_stats.presence_and_valency_stats.max_num_values
  • เงื่อนไขการตรวจจับ:
    • หากระบุ feature.value_count.max
      • features.common_stats.max_num_values ​​> feature.value_count.max ; หรือ
    • หากระบุ feature.value_counts
      • feature.value_counts.value_count.max < features.common_stats.presence_and_valency_stats.max_num_values ​​ที่ระดับความซ้อนที่กำหนด

• FEATURE_TYPE_LOW_FRACTION_PRESENT

  • ฟิลด์สคีมา:
    • feature.presence.min_fraction
  • ฟิลด์สถิติ:
    • features.common_stats.num_non_missing *
    • num_examples *
  • เงื่อนไขการตรวจจับ:
    • มีการระบุ feature.presence.min_fraction และ ( features.common_stats.num_non_missing * / num_examples *) < feature.presence.min_fraction หรือ
    • feature.presence.min_fraction == 1.0 และ common_stats.num_missing != 0

• FEATURE_TYPE_LOW_NUMBER_PRESENT

  • ฟิลด์สคีมา:
    • feature.presence.min_count
  • ฟิลด์สถิติ:
    • features.common_stats.num_non_missing *
  • เงื่อนไขการตรวจจับ:
    • มีการระบุ feature.presence.min_count และอย่างใดอย่างหนึ่ง
      • features.common_stats.num_non_missing * == 0 หรือ
      • features.common_stats.num_non_missing * < feature.presence.min_count

• FEATURE_TYPE_LOW_NUMBER_VALUES

  • ฟิลด์สคีมา:
    • feature.value_count.min
    • feature.value_counts.value_count.min
  • ฟิลด์สถิติ:
    • features.common_stats.min_num_values
    • features.common_stats.presence_and_valency_stats.min_num_values
  • เงื่อนไขการตรวจจับ:
    • ถ้าระบุ feature.value_count.min
      • features.common_stats.min_num_values ​​< feature.value_count.min ; หรือ
    • หากระบุ feature.value_counts
      • features.common_stats.presence_and_valency_stats.min_num_values ​​< feature.value_counts.value_count.min ที่ระดับความซ้อนที่กำหนด

• FEATURE_TYPE_NOT_PRESENT

  • ฟิลด์สคีมา:
    • feature.in_environment หรือ feature.not_in_environment หรือ schema.default_environment
    • feature.lifecycle_stage
    • feature.presence.min_count หรือ feature.presence.min_fraction
  • ฟิลด์สถิติ:
    • features.common_stats.num_non_missing *
  • เงื่อนไขการตรวจจับ:
    • feature.lifecycle_stage ไม่อยู่ใน [ PLANNED , ALPHA , DEBUG , DEPRECATED ] และ
    • common_stats.num_non_missing * == 0 และ
    • ( feature.presence.min_count > 0 หรือ feature.presence.min_fraction > 0) และอย่างใดอย่างหนึ่ง
      • feature.in_environment == สภาพแวดล้อมปัจจุบันหรือ
      • feature.not_in_environment != สภาพแวดล้อมปัจจุบัน หรือ
      • schema.default_environment != สภาพแวดล้อมปัจจุบัน

• FEATURE_TYPE_NO_VALUES

  • ตรวจไม่พบประเภทความผิดปกติใน TFDV

• FEATURE_TYPE_UNEXPECTED_REPEATED

  • ตรวจไม่พบประเภทความผิดปกติใน TFDV

• FEATURE_TYPE_HIGH_UNIQUE

  • ฟิลด์สคีมา:
    • feature.unique_constraints.max
  • ฟิลด์สถิติ:
    • features.string_stats.unique
  • เงื่อนไขการตรวจจับ:
    • features.string_stats.unique > feature.unique_constraints.max

• FEATURE_TYPE_LOW_UNIQUE

  • ฟิลด์สคีมา:
    • feature.unique_constraints.min
  • ฟิลด์สถิติ:
    • features.string_stats.unique
  • เงื่อนไขการตรวจจับ:
    • features.string_stats.unique < feature.unique_constraints.min

• FEATURE_TYPE_NO_UNIQUE

  • ฟิลด์สคีมา:
    • feature.unique_constraints
  • ฟิลด์สถิติ:
    • features.string_stats.unique
  • เงื่อนไขการตรวจจับ:
    • ระบุ feature.unique_constraints แต่ไม่มี features.string_stats.unique อยู่ (เช่นในกรณีที่คุณสมบัติไม่ใช่สตริงหรือหมวดหมู่)

• FLOAT_TYPE_BIG_FLOAT

  • ฟิลด์สคีมา:
    • feature.float_domain.max
  • ฟิลด์สถิติ:
    • features.type
    • features.num_stats.max หรือ features.string_stats.rank_histogram
  • เงื่อนไขการตรวจจับ:
    • หาก features.type == FLOAT ,
      • features.num_stats.max > feature.float_domain.max ; หรือ
    • ถ้า features.type == BYTES หรือ STRING
      • ค่าสูงสุดใน features.string_stats.rank_histogram (เมื่อแปลงเป็นทศนิยม) > feature.float_domain.max

• FLOAT_TYPE_NOT_FLOAT

  • ตรวจไม่พบประเภทความผิดปกติใน TFDV

• FLOAT_TYPE_SMALL_FLOAT

  • ฟิลด์สคีมา:
    • feature.float_domain.min
  • ฟิลด์สถิติ:
    • features.type
    • features.num_stats.min หรือ features.string_stats.rank_histogram
  • เงื่อนไขการตรวจจับ:
    • หาก features.type == FLOAT ,
      • features.num_stats.min < feature.float_domain.min ; หรือ
    • ถ้า features.type == BYTES หรือ STRING
      • ค่าต่ำสุดใน features.string_stats.rank_histogram (เมื่อแปลงเป็นทศนิยม) < feature.float_domain.min

• FLOAT_TYPE_STRING_NOT_FLOAT

  • ฟิลด์สคีมา:
    • feature.float_domain
  • ฟิลด์สถิติ:
    • features.type
    • features.string_stats.rank_histogram
  • เงื่อนไขการตรวจจับ:
    • features.type == BYTES หรือ STRING และ
    • features.string_stats.rank_histogram มีค่าอย่างน้อยหนึ่งค่าที่ไม่สามารถแปลงเป็นทศนิยมได้

• FLOAT_TYPE_NON_STRING

  • ตรวจไม่พบประเภทความผิดปกติใน TFDV

• FLOAT_TYPE_UNKNOWN_TYPE_NUMBER

  • ตรวจไม่พบประเภทความผิดปกติใน TFDV

• FLOAT_TYPE_HAS_NAN

  • ฟิลด์สคีมา:
    • feature.float_domain.disallow_nan
  • ฟิลด์สถิติ:
    • features.type
    • features.num_stats.histograms.num_nan
  • เงื่อนไขการตรวจจับ:
    • float_domain.disallow_nan เป็นจริง และ
    • features.num_stats.histograms.num_nan > 0

• FLOAT_TYPE_HAS_INF

  • ฟิลด์สคีมา:
    • feature.float_domain.disallow_inf
  • ฟิลด์สถิติ:
    • features.type
    • features.num_stats.min
    • features.num_stats.max
  • เงื่อนไขการตรวจจับ:
    • features.type == FLOAT
    • float_domain.disallow_inf เป็นจริงอย่างใดอย่างหนึ่ง
      • features.num_stats.min == inf/-inf หรือ
      • features.num_stats.max == inf/-inf

• INT_TYPE_BIG_INT

  • ฟิลด์สคีมา:
    • feature.int_domain.max
  • ฟิลด์สถิติ:
    • features.type
    • features.num_stats.max
    • features.string_stats.rank_histogram
  • เงื่อนไขการตรวจจับ:
    • หาก features.type == INT ,
      • features.num_stats.max > feature.int_domain.max ; หรือ
    • ถ้า features.type == BYTES หรือ STRING
      • ค่าสูงสุดใน features.string_stats.rank_histogram (เมื่อแปลงเป็น int) > feature.int_domain.max

• INT_TYPE_INT_EXPECTED

  • ตรวจไม่พบประเภทความผิดปกติใน TFDV

• INT_TYPE_NOT_INT_STRING

  • ฟิลด์สคีมา:
    • feature.int_domain
  • ฟิลด์สถิติ:
    • features.type
    • features.string_stats.rank_histogram
  • เงื่อนไขการตรวจจับ:
    • features.type == BYTES หรือ STRING และ
    • features.string_stats.rank_histogram มีค่าอย่างน้อยหนึ่งค่าที่ไม่สามารถแปลงเป็น int ได้

• INT_TYPE_NOT_STRING

  • ตรวจไม่พบประเภทความผิดปกติใน TFDV

• INT_TYPE_SMALL_INT

  • ฟิลด์สคีมา:
    • feature.int_domain.min
  • ฟิลด์สถิติ:
    • features.type
    • features.num_stats.min
    • features.string_stats.rank_histogram
  • เงื่อนไขการตรวจจับ:
    • หาก features.type == INT ,
      • features.num_stats.min < feature.int_domain.min ; หรือ
    • ถ้า features.type == BYTES หรือ STRING
      • ค่าต่ำสุดใน features.string_stats.rank_histogram (เมื่อแปลงเป็น int) < feature.int_domain.min

• INT_TYPE_STRING_EXPECTED

  • ตรวจไม่พบประเภทความผิดปกติใน TFDV

• INT_TYPE_UNKNOWN_TYPE_NUMBER

  • ตรวจไม่พบประเภทความผิดปกติใน TFDV

• LOW_SUPPORTED_IMAGE_FRACTION

  • ฟิลด์สคีมา:
    • feature.image_domain.minimum_supported_image_fraction
  • ฟิลด์สถิติ:
    • features.custom_stats.rank_histogram สำหรับ custom_stats ที่มีชื่อ image_format_histogram โปรดทราบว่าต้องเปิดใช้สถิติโดเมนเชิงความหมายเพื่อสร้าง image_format_histogram และดำเนินการตรวจสอบนี้ สถิติของโดเมนความหมายไม่ได้สร้างขึ้นตามค่าเริ่มต้น
  • เงื่อนไขการตรวจจับ:
    • เศษส่วนของค่าที่รองรับประเภทรูปภาพ Tensorflow สำหรับรูปภาพทุกประเภทมีค่าน้อยกว่า feature.image_domain.minimum_supported_image_fraction

• SCHEMA_MISSING_COLUMN

  • ฟิลด์สคีมา:
    • feature.in_environment หรือ feature.not_in_environment หรือ schema.default_environment
    • feature.lifecycle_stage
    • feature.presence.min_count หรือ feature.presence.min_fraction
  • เงื่อนไขการตรวจจับ:
    • feature.lifecycle_stage != PLANNED , ALPHA , DEBUG หรือ DEPRECATED และ
    • feature.presence.min_count > 0 หรือ feature.presence.min_fraction > 0 และ
    • feature.in_environment == สภาพแวดล้อมปัจจุบัน หรือ feature.not_in_environment != สภาพแวดล้อมปัจจุบัน หรือ schema.default_environment != สภาพแวดล้อมปัจจุบัน และ
    • ไม่พบคุณลักษณะที่มีชื่อ/พาธที่ระบุในสถิติโปรโต

• SCHEMA_NEW_COLUMN

  • เงื่อนไขการตรวจจับ:
    • มีฟีเจอร์ในโปรโตสถิติ แต่ไม่มีฟีเจอร์ที่มีชื่อ/เส้นทางในโปรโตสคีมา

• SCHEMA_TRAINING_SERVING_SKEW

  • ตรวจไม่พบประเภทความผิดปกติใน TFDV

• STRING_TYPE_NOW_FLOAT

  • ตรวจไม่พบประเภทความผิดปกติใน TFDV

• STRING_TYPE_NOW_INT

  • ตรวจไม่พบประเภทความผิดปกติใน TFDV

• COMPARATOR_CONTROL_DATA_MISSING

  • ฟิลด์สคีมา:
    • feature.skew_comparator.infinity_norm.threshold
    • feature.drift_comparator.infinity_norm.threshold
  • เงื่อนไขการตรวจจับ:
    • ควบคุมสถิติโปรโต (เช่น สถิติการเสิร์ฟสำหรับการเอียงหรือสถิติก่อนหน้าสำหรับการเลื่อน) พร้อมใช้งาน แต่ไม่มีคุณลักษณะที่ระบุ

• COMPARATOR_TREATMENT_DATA_MISSING

  • ตรวจไม่พบประเภทความผิดปกติใน TFDV

• COMPARATOR_L_INFTY_HIGH

  • ฟิลด์สคีมา:
    • feature.skew_comparator.infinity_norm.threshold
    • feature.drift_comparator.infinity_norm.threshold
  • ฟิลด์สถิติ:
    • features.string_stats.rank_histogram *
  • เงื่อนไขการตรวจจับ:
    • บรรทัดฐาน L-infinity ของเวกเตอร์ที่แสดงความแตกต่างระหว่างการนับปกติจาก features.string_stats.rank_histogram * ในสถิติควบคุม (เช่น สถิติการเสิร์ฟสำหรับการเอียงหรือสถิติก่อนหน้าสำหรับการเลื่อน) และสถิติการรักษา (เช่น สถิติการฝึกสำหรับ เอียงหรือสถิติปัจจุบันสำหรับการเลื่อน) > feature.skew_comparator.infinity_norm.threshold หรือ feature.drift_comparator.infinity_norm.threshold

• COMPARATOR_NORMALIZED_ABSOLUTE_DIFFERENCE_HIGH

  • ฟิลด์สคีมา:
    • feature.skew_comparator.normalized_abs_difference.threshold
    • feature.drift_comparator.normalized_abs_difference.threshold
  • ฟิลด์สถิติ:
    • features.string_stats.rank_histogram
  • เงื่อนไขการตรวจจับ:
    • ความแตกต่างของจำนวนสัมบูรณ์ที่ปรับให้เป็นมาตรฐานของการนับค่าจาก features.string_stats.rank_histogram ในสถิติควบคุม (เช่น สถิติการเสิร์ฟสำหรับการเบ้หรือสถิติก่อนหน้าสำหรับการดริฟท์) และสถิติการรักษา (เช่น สถิติการฝึกสำหรับการเบ้หรือสถิติปัจจุบันสำหรับการดริฟท์) เกิน feature.skew_comparator.normalized_abs_difference.threshold หรือ feature.drift_comparator.normalized_abs_difference.threshold ความแตกต่างของจำนวนจะถูกทำให้เป็นมาตรฐานโดยการนับรวมของทั้งสองเงื่อนไข

• COMPARATOR_JENSEN_SHANNON_DIVERGENCE_HIGH

  • ฟิลด์สคีมา:
    • feature.skew_comparator.jensen_shannon_divergence.threshold
    • feature.drift_comparator.jensen_shannon_divergence.threshold
  • ฟิลด์สถิติ:
    • features.num_stats.histograms ประเภท STANDARD
    • features.string_stats.rank_histogram *
  • เงื่อนไขการตรวจจับ:
    • ความแตกต่างโดยประมาณของ Jensen-Shannon ที่คำนวณระหว่างสถิติการควบคุม (เช่น สถิติการเสิร์ฟสำหรับการเบ้หรือสถิติก่อนหน้านี้สำหรับการดริฟท์) และสถิติการรักษา (เช่น สถิติการฝึกสำหรับการเบ้หรือสถิติปัจจุบันสำหรับการดริฟท์) > feature.skew_comparator.jensen_shannon_divergence.threshold หรือ feature.drift_comparator.jensen_shannon_divergence.threshold ความแตกต่างของ Jensen-Shannon โดยประมาณคำนวณจากจำนวนตัวอย่างที่ปรับให้เป็นมาตรฐานในฮิสโตแกรมมาตรฐานทั้ง features.num_stats.histograms และ features.string_stats.rank_histogram *

• NO_DATA_IN_SPAN

  • ตรวจไม่พบประเภทความผิดปกติใน TFDV

• SPARSE_FEATURE_MISSING_VALUE

  • ฟิลด์สคีมา:
    • sparse_feature.value_feature
  • ฟิลด์สถิติ:
    • features.custom_stats
  • เงื่อนไขการตรวจจับ:
    • features.custom_stats ที่มี "missing_value" เป็นชื่อและ
    • missing_value สถิติที่กำหนดเอง != 0

• SPARSE_FEATURE_MISSING_INDEX

  • ฟิลด์สคีมา:
    • sparse_feature.index_feature
  • ฟิลด์สถิติ:
    • features.custom_stats
  • เงื่อนไขการตรวจจับ:
    • features.custom_stats ที่มี "missing_index" เป็นชื่อและ
    • สถิติที่กำหนดเองของ missing_index มีค่าใดๆ != 0

• SPARSE_FEATURE_LENGTH_MISMATCH

  • ฟิลด์สคีมา:
    • sparse_feature.value_feature
    • sparse_feature.index_feature
  • ฟิลด์สถิติ:
    • features.custom_stats
  • เงื่อนไขการตรวจจับ:
    • features.custom_stats ที่มี "min_length_diff" หรือ "max_length_diff" เป็นชื่อ
    • สถิติที่กำหนดเอง min_length_diff หรือ max_length_diff มีค่าใดๆ != 0

• SPARSE_FEATURE_NAME_COLLISION

  • ฟิลด์สคีมา:
    • sparse_feature.name
    • sparse_feature.lifecycle_stage
    • feature.name
    • feature.lifecycle_stage
  • เงื่อนไขการตรวจจับ:
    • sparse_feature.lifecycle_stage != PLANNED , ALPHA , DEBUG หรือ DEPRECATED และ
    • feature.lifecycle_stage != PLANNED , ALPHA , DEBUG หรือ DEPRECATED และ
    • sparse_feature.name == feature.name

• SEMANTIC_DOMAIN_UPDATE

  • ฟิลด์สคีมา:
    • feature.domain_info
  • ฟิลด์สถิติ:
    • features.custom_stats
  • เงื่อนไขการตรวจจับ:
    • features.custom_stats ที่มี "domain_info" เป็นชื่อและ
    • ยังไม่ได้ตั้ง feature.domain_info ในสคีมาและ
    • มีสถิติที่กำหนดเอง domain_info เดียวสำหรับคุณลักษณะนี้

• COMPARATOR_LOW_NUM_EXAMPLES

  • ฟิลด์สคีมา:
    • schema.dataset_constraints.num_examples_drift_comparator.min_fraction_threshold
    • schema.dataset_constraints.num_examples_version_comparator.min_fraction_threshold
  • ฟิลด์สถิติ:
    • num_examples *
  • เงื่อนไขการตรวจจับ:
    • num_examples * > 0 และ
    • มีโปรโตสถิติก่อนหน้าและ
    • num_examples * / สถิติก่อนหน้า num_examples * < ตัวเปรียบเทียบ min_fraction_threshold

• COMPARATOR_HIGH_NUM_EXAMPLES

  • ฟิลด์สคีมา:
    • schema.dataset_constraints.num_examples_drift_comparator.max_fraction_threshold
    • schema.dataset_constraints.num_examples_version_comparator.max_fraction_threshold
  • ฟิลด์สถิติ:
    • num_examples *
  • เงื่อนไขการตรวจจับ:
    • num_examples * > 0 และ
    • มีโปรโตสถิติก่อนหน้าและ
    • num_examples * / สถิติก่อนหน้า num_examples * > ตัวเปรียบเทียบ max_fraction_threshold

• DATASET_LOW_NUM_EXAMPLES

  • ฟิลด์สคีมา:
    • schema.dataset_constraints.min_examples_count
  • ฟิลด์สถิติ:
    • num_examples *
  • เงื่อนไขการตรวจจับ:
    • num_examples * < dataset_constraints.min_examples_count

• DATASET_HIGH_NUM_EXAMPLES

  • ฟิลด์สคีมา:
    • schema.dataset_constraints.max_examples_count
  • ฟิลด์สถิติ:
    • num_examples *
  • เงื่อนไขการตรวจจับ:
    • num_examples * > dataset_constraints.max_examples_count

• WEIGHTED_FEATURE_NAME_COLLISION

  • ฟิลด์สคีมา:
    • weighted_feature.name
    • weighted_feature.lifecycle_stage
    • sparse_feature.name
    • sparse_feature.lifecycle_stage
    • feature.name
    • feature.lifecycle_stage
  • เงื่อนไขการตรวจจับ:
    • weighted_feature.lifecycle_stage != PLANNED , ALPHA , DEBUG หรือ DEPRECATED และอย่างใดอย่างหนึ่ง
      • if feature.lifecycle_stage != PLANNED , ALPHA , DEBUG หรือ DEPRECATED ,
        • weighted_feature.name == feature.name ; หรือ
      • if sparse_feature.lifecycle_stage != PLANNED , ALPHA , DEBUG หรือ DEPRECATED ,
        • weighted_feature.name == sparse_feature.name

• WEIGHTED_FEATURE_MISSING_VALUE

  • ฟิลด์สคีมา:
    • weighted_feature.feature
  • ฟิลด์สถิติ:
    • features.custom_stats
  • เงื่อนไขการตรวจจับ:
    • features.custom_stats ที่มี "missing_value" เป็นชื่อและ
    • missing_value สถิติที่กำหนดเอง != 0

• WEIGHTED_FEATURE_MISSING_WEIGHT

  • ฟิลด์สคีมา:
    • weighted_feature.weight_feature
  • ฟิลด์สถิติ:
    • features.custom_stats
  • เงื่อนไขการตรวจจับ:
    • features.custom_stats ที่มี "missing_weight" เป็นชื่อและ
    • สถิติที่กำหนดเอง missing_weight != 0

• WEIGHTED_FEATURE_LENGTH_MISMATCH

  • ฟิลด์สคีมา:
    • weighted_feature.feature
    • weighted_feature.weight_feature
  • ฟิลด์สถิติ:
    • features.custom_stats
  • เงื่อนไขการตรวจจับ:
    • features.custom_stats ที่มี "min_weighted_length_diff" หรือ "max_weight_length_diff" เป็นชื่อ และ
    • min_weight_length_diff หรือ max_weight_length_diff สถิติที่กำหนดเอง != 0

• VALUE_NESTEDNESS_MISMATCH

  • ฟิลด์สคีมา:
    • feature.value_count
    • feature.value_counts
  • ฟิลด์สถิติ:
    • features.common_stats.presence_and_valency_stats
  • เงื่อนไขการตรวจจับ:
    • มีการระบุ feature.value_count และมี presence_and_valency_stats ของคุณลักษณะซ้ำ (ซึ่งระบุระดับความซ้อนที่มากกว่าหนึ่ง) และ
    • มีการระบุ feature.value_counts และจำนวนครั้ง presence_and_valency_stats ของคุณลักษณะซ้ำกับค่า value_count ไม่ตรงกับจำนวนครั้งที่เกิดซ้ำค่าใน feature.value_counts

• DOMAIN_INVALID_FOR_TYPE

  • ฟิลด์สคีมา:
    • feature.type
    • feature.domain_info
  • ฟิลด์สถิติ:
    • features.type
  • เงื่อนไขการตรวจจับ:
    • หาก features.type == BYTES ,
      • feature.domain_info เป็นประเภทที่เข้ากันไม่ได้ หรือ
    • ถ้า features.type != BYTES ,
      • feature.domain_info ไม่ตรงกับ feature.type (เช่น ระบุ int_domain แต่ type ของฟีเจอร์คือ FLOAT )

• FEATURE_MISSING_NAME

  • ฟิลด์สคีมา:
    • feature.name
  • เงื่อนไขการตรวจจับ:
    • ไม่ได้ระบุ feature.name

• FEATURE_MISSING_TYPE

  • ฟิลด์สคีมา:
    • feature.type
  • เงื่อนไขการตรวจจับ:
    • ไม่ได้ระบุ feature.type

• INVALID_SCHEMA_SPECIFICATION

  • ฟิลด์สคีมา:
    • feature.domain_info
    • feature.presence.min_fraction
    • feature.value_count.min
    • feature.value_count.max
    • feature.distribution_constraints
  • เงื่อนไขการตรวจจับ:
    • feature.presence.min_fraction < 0.0 หรือ > 1.0 หรือ
    • feature.value_count.min < 0 หรือ > feature.value_count.max หรือ
    • มีการระบุโดเมนบูล, int, float, struct หรือ semantic สำหรับคุณลักษณะและมีการระบุ feature.distribution_constraints สำหรับคุณลักษณะนั้นด้วย หรือ
    • มีการระบุ feature.distribution_constraints สำหรับฟีเจอร์ แต่ไม่มีการระบุโดเมนระดับสคีมาหรือ feature.string_domain สำหรับฟีเจอร์นั้น

• INVALID_DOMAIN_SPECIFICATION

  • ฟิลด์สคีมา:
    • feature.domain_info
    • feature.bool_domain
    • feature.string_domain
  • เงื่อนไขการตรวจจับ:
    • มีการระบุประเภท feature.domain_info ที่ไม่รู้จัก หรือ
    • มีการระบุ feature.domain แต่ไม่มีการระบุโดเมนที่ตรงกันที่ระดับ schema หรือ
    • หากระบุ feature.bool_domain , feature.bool_domain.true_value และ feature.bool_domain.false_value
      • feature.bool_domain.true_value == feature.bool_domain.false_value หรือ
    • หากระบุ feature.string_domain
      • มี feature.string_domain.values ​​ที่ซ้ำกัน หรือ
      • feature.string_domain เกินขนาดสูงสุด

• UNEXPECTED_DATA_TYPE

  • ฟิลด์สคีมา:
    • feature.type
  • ฟิลด์สถิติ:
    • features.type
  • เงื่อนไขการตรวจจับ:
    • features.type ไม่ใช่ประเภทที่ระบุใน feature.type

• SEQUENCE_VALUE_TOO_FEW_OCCURRENCES

  • ฟิลด์สคีมา:
    • feature.natural_language_domain.token_constraints.min_per_sequence
  • ฟิลด์สถิติ:
    • features.custom_stats.nl_statistics.token_statistics.per_sequence_min_frequency
  • เงื่อนไขการตรวจจับ:
    • min_per_sequence > per_sequence_min_frequency

• SEQUENCE_VALUE_TOO_MANY_OCCURRENCES

  • ฟิลด์สคีมา:
    • feature.natural_language_domain.token_constraints.max_per_sequence
  • ฟิลด์สถิติ:
    • features.custom_stats.nl_statistics.token_statistics.per_sequence_max_frequency
  • เงื่อนไขการตรวจจับ:
    • max_per_sequence < per_sequence_max_frequency

• SEQUENCE_VALUE_TOO_SMALL_FRACTION

  • ฟิลด์สคีมา:
    • feature.natural_language_domain.token_constraints.min_fraction_of_sequences
  • ฟิลด์สถิติ:
    • features.custom_stats.nl_statistics.token_statistics.fraction_of_sequences
  • เงื่อนไขการตรวจจับ:
    • min_fraction_of_sequences > fraction_of_sequences

• SEQUENCE_VALUE_TOO_LARGE_FRACTION

  • ฟิลด์สคีมา:
    • feature.natural_language_domain.token_constraints.max_fraction_of_sequences
  • ฟิลด์สถิติ:
    • features.custom_stats.nl_statistics.token_statistics.fraction_of_sequences
  • เงื่อนไขการตรวจจับ:
    • max_fraction_of_sequences < fraction_of_sequences

• FEATURE_COVERAGE_TOO_LOW

  • ฟิลด์สคีมา:
    • feature.natural_language_domain.coverage.min_coverage
  • ฟิลด์สถิติ:
    • features.custom_stats.nl_statistics.feature_coverage
  • เงื่อนไขการตรวจจับ:
    • feature_coverage < coverage.min_coverage

• FEATURE_COVERAGE_TOO_SHORT_AVG_TOKEN_LENGTH

  • ฟิลด์สคีมา:
    • feature.natural_language_domain.coverage.min_avg_token_length
  • ฟิลด์สถิติ:
    • features.custom_stats.nl_statistics.avg_token_length
  • เงื่อนไขการตรวจจับ:
    • avg_token_length < min_avg_token_length

• NLP_WRONG_LOCATION

  • ตรวจไม่พบประเภทความผิดปกติใน TFDV

• EMBEDDING_SHAPE_INVALID

  • ตรวจไม่พบประเภทความผิดปกติใน TFDV

• MAX_IMAGE_BYTE_SIZE_EXCEEDED

  • ฟิลด์สคีมา:
    • feature.image_domain.max_image_byte_size
  • ฟิลด์สถิติ:
    • features.bytes_stats.max_num_bytes_int
  • เงื่อนไขการตรวจจับ:
    • max_num_bytes_int > max_image_byte_size

• INVALID_FEATURE_SHAPE

  • ฟิลด์สคีมา:
    • feature.shape
  • ฟิลด์สถิติ:
    • features.common_stats.num_missing
    • features.common_stats.min_num_values
    • features.common_stats.max_num_values
    • features.common_stats.presence_and_valency_stats.num_missing
    • features.common_stats.presence_and_valency_stats.min_num_values
    • features.common_stats.presence_and_valency_stats.max_num_values
    • features.common_stats.weighted_presence_and_valency_stats
  • เงื่อนไขการตรวจจับ:
    • มีการระบุ feature.shape และอย่างใดอย่างหนึ่ง
      • คุณสมบัติอาจขาดหายไป ( num_missing != 0) ในบางระดับหรือ
      • คุณลักษณะอาจมีจำนวนตัวแปร ( min_num_values ​​!= max_num_values ​​) ในบางระดับของรังหรือ
      • รูปร่างที่ระบุเข้ากันไม่ได้กับสถิติการนับมูลค่าของคุณลักษณะ ตัวอย่างเช่น รูปร่าง [16] เข้ากันได้กับ ( min_num_values ​​== max_num_values ​​== [2, 2, 4] (สำหรับคุณลักษณะที่ซ้อนกัน 3 รายการ))

• STATS_NOT_AVAILBLE

  • ความผิดปกติเกิดขึ้นเมื่อไม่มีสถานะที่จำเป็นในการตรวจสอบข้อจำกัด

• DERIVED_FEATURE_BAD_LIFECYCLE

  • ฟิลด์สคีมา:
    • feature.lifecycle_stage
  • ฟิลด์สถิติ:
    • features.validation_derived_source
  • เงื่อนไขการตรวจจับ:
    • feature.lifecycle_stage ไม่ใช่หนึ่งใน DERIVED หรือ DISABLED และมี features.validation_derived_source ซึ่งบ่งชี้ว่านี่คือคุณสมบัติที่ได้รับมา

• DERIVED_FEATURE_INVALID_SOURCE

  • ฟิลด์สคีมา:
    • feature.validation_derived_source
  • ฟิลด์สถิติ:
    • features.validation_derived_source
  • เงื่อนไขการตรวจจับ:
    • มี features.validation_derived_source สำหรับฟีเจอร์ แต่ไม่มี feature.validation_derived_source ที่เกี่ยวข้อง

  ---

* หากมีสถิติถ่วงน้ำหนักสำหรับฟิลด์นี้ จะใช้แทนสถิติที่ไม่ได้ถ่วงน้ำหนัก