उदाहरण वैलिडेटर TFX पाइपलाइन घटक

संग्रह की मदद से व्यवस्थित रहें अपनी प्राथमिकताओं के आधार पर, कॉन्टेंट को सेव करें और कैटगरी में बांटें.

exampleValidator पाइपलाइन घटक प्रशिक्षण और डेटा प्रदान करने में विसंगतियों की पहचान करता है। यह डेटा में विसंगतियों के विभिन्न वर्गों का पता लगा सकता है। उदाहरण के लिए यह कर सकता है:

  1. उपयोगकर्ता की अपेक्षाओं को संहिताबद्ध करने वाले स्कीमा के विरुद्ध डेटा आँकड़ों की तुलना करके वैधता जाँच करें।
  2. प्रशिक्षण और सेवा डेटा की तुलना करके प्रशिक्षण-सेवा तिरछा का पता लगाएं।
  3. डेटा की एक श्रृंखला को देखकर डेटा बहाव का पता लगाएं।
  4. SQL-आधारित कॉन्फ़िगरेशन का उपयोग करके कस्टम सत्यापन करें।

exampleValidator पाइपलाइन घटक उदाहरण डेटा में किसी भी विसंगतियों की पहचान करता है, जो कि किसी स्कीमा के विरुद्ध स्टैटिस्टिक्सजेन पाइपलाइन घटक द्वारा गणना किए गए डेटा आँकड़ों की तुलना करता है। अनुमानित स्कीमा उन गुणों को संहिताबद्ध करता है जो इनपुट डेटा से संतुष्ट होने की उम्मीद की जाती है, और डेवलपर द्वारा संशोधित किया जा सकता है।

  • खपत: स्कीमाजेन घटक से एक स्कीमा, और स्टेटिस्टिक्सजेन घटक से आंकड़े।
  • उत्सर्जन: सत्यापन परिणाम

उदाहरण सत्यापनकर्ता और TensorFlow डेटा सत्यापन

exampleValidator आपके इनपुट डेटा को मान्य करने के लिए TensorFlow Data Validation का व्यापक उपयोग करता है।

उदाहरण सत्यापनकर्ता घटक का उपयोग करना

एक exampleValidator पाइपलाइन घटक आमतौर पर परिनियोजित करना बहुत आसान होता है और इसके लिए थोड़े अनुकूलन की आवश्यकता होती है। विशिष्ट कोड इस तरह दिखता है:

validate_stats = ExampleValidator(
      statistics=statistics_gen.outputs['statistics'],
      schema=schema_gen.outputs['schema']
      )

अधिक विवरण exampleValidator API संदर्भ में उपलब्ध हैं।