SIG TFX-Addons समुदाय में शामिल हों और TFX को और बेहतर बनाने में मदद करें! SIG TFX-Addons में शामिल हों

स्कीमाजेन टीएफएक्स पाइपलाइन घटक

कुछ TFX घटक आपके इनपुट डेटा के विवरण का उपयोग करते हैं जिसे स्कीमा कहा जाता है। स्कीमा, schema.proto का एक उदाहरण है। यह फीचर मानों के लिए डेटा प्रकार निर्दिष्ट कर सकता है, चाहे किसी फीचर को सभी उदाहरणों, अनुमत मान श्रेणियों और अन्य गुणों में मौजूद होना चाहिए। एक स्कीमाजेन पाइपलाइन घटक स्वचालित रूप से प्रशिक्षण डेटा से प्रकार, श्रेणियों और श्रेणियों का हवाला देकर एक स्कीमा उत्पन्न करेगा।

  • उपभोग करता है: एक स्टैटिस्टिक्सजेन घटक से आँकड़े
  • उत्सर्जन: डेटा स्कीमा प्रोटो

यहाँ एक स्कीमा प्रोटो से एक अंश दिया गया है:

...
feature {
  name: "age"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
feature {
  name: "capital-gain"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
...

निम्नलिखित TFX पुस्तकालय स्कीमा का उपयोग करते हैं:

  • TensorFlow डेटा सत्यापन
  • टेंसरफ्लो ट्रांसफॉर्म
  • TensorFlow मॉडल विश्लेषण

एक विशिष्ट टीएफएक्स पाइपलाइन में स्कीमाजेन एक स्कीमा उत्पन्न करता है, जो अन्य पाइपलाइन घटकों द्वारा उपभोग किया जाता है।

स्कीमाजेन और टेंसरफ्लो डेटा सत्यापनF

स्कीमा का उल्लेख करने के लिए स्कीमाजेन TensorFlow डेटा सत्यापन का व्यापक उपयोग करता है।

स्कीमाजेन घटक का उपयोग करना

एक स्कीमाजेन पाइपलाइन घटक आमतौर पर तैनात करना बहुत आसान होता है और इसके लिए बहुत कम अनुकूलन की आवश्यकता होती है। विशिष्ट कोड इस तरह दिखता है:

infer_schema = SchemaGen(
    statistics=stats_gen.outputs['statistics'])

अधिक विवरण स्कीमाजेन एपीआई संदर्भ में उपलब्ध हैं।