কিছু TFX উপাদান আপনার ইনপুট তথ্য একটি স্কিমা নামক একটি বিবরণ ব্যবহার করুন। স্কিমা একটি দৃষ্টান্ত হল schema.proto । এটি বৈশিষ্ট্য মানগুলির জন্য ডেটা প্রকারগুলি নির্দিষ্ট করতে পারে, সমস্ত উদাহরণে একটি বৈশিষ্ট্য উপস্থিত থাকতে হবে কিনা, অনুমোদিত মান ব্যাপ্তি এবং অন্যান্য বৈশিষ্ট্য। একটি SchemaGen পাইপলাইন উপাদান স্বয়ংক্রিয়ভাবে প্রশিক্ষণের ডেটা থেকে ধরন, বিভাগ এবং রেঞ্জ অনুমান করে একটি স্কিমা তৈরি করবে।
- Consumes: একটি StatisticsGen উপাদান থেকে পরিসংখ্যান
- নির্গত: ডেটা স্কিমা প্রোটো
এখানে একটি স্কিমা প্রোটো থেকে একটি উদ্ধৃতি:
...
feature {
name: "age"
value_count {
min: 1
max: 1
}
type: FLOAT
presence {
min_fraction: 1
min_count: 1
}
}
feature {
name: "capital-gain"
value_count {
min: 1
max: 1
}
type: FLOAT
presence {
min_fraction: 1
min_count: 1
}
}
...
নিম্নলিখিত TFX লাইব্রেরিগুলি স্কিমা ব্যবহার করে:
- টেনসরফ্লো ডেটা যাচাইকরণ
- টেনসরফ্লো ট্রান্সফর্ম
- টেনসরফ্লো মডেল বিশ্লেষণ
একটি সাধারণ TFX পাইপলাইনে SchemaGen একটি স্কিমা তৈরি করে, যা অন্যান্য পাইপলাইনের উপাদানগুলি ব্যবহার করে। যাইহোক, স্বয়ংক্রিয়-উত্পন্ন স্কিমা সর্বোত্তম প্রচেষ্টা এবং শুধুমাত্র ডেটার মৌলিক বৈশিষ্ট্যগুলি অনুমান করার চেষ্টা করে। এটি প্রত্যাশিত যে বিকাশকারীরা প্রয়োজন অনুসারে এটি পর্যালোচনা এবং সংশোধন করবে।
ImportSchemaGen কম্পোনেন্ট ব্যবহার করে পরিবর্তিত স্কিমা পাইপলাইনে ফিরিয়ে আনা যেতে পারে। প্রাথমিক স্কিমা জেনারেশনের জন্য SchemaGen উপাদানটি সরানো যেতে পারে এবং সমস্ত ডাউনস্ট্রিম উপাদান ImportSchemaGen-এর আউটপুট ব্যবহার করতে পারে। এছাড়া যোগ করার জন্য সুপারিশ করা হয় ExampleValidator ক্রমাগত প্রশিক্ষণ ডেটা পরীক্ষা করার আমদানিকৃত স্কিমা ব্যবহার করে।
SchemaGen এবং TensorFlow ডেটা বৈধতা
SchemaGen ব্যাপক ব্যবহার TensorFlow ডেটা ভ্যালিডেশন একটি স্কিমা inferring জন্য।
SchemaGen উপাদান ব্যবহার করে
প্রাথমিক স্কিমা প্রজন্মের জন্য
একটি SchemaGen পাইপলাইন উপাদান সাধারণত স্থাপন করা খুব সহজ এবং সামান্য কাস্টমাইজেশন প্রয়োজন। সাধারণ কোড এই মত দেখায়:
schema_gen = tfx.components.SchemaGen(
statistics=stats_gen.outputs['statistics'])
আরো বিস্তারিত পাওয়া যায় SchemaGen এপিআই রেফারেন্স ।
পর্যালোচনা করা স্কিমা আমদানির জন্য
পর্যালোচনা করা স্কিমা সংজ্ঞা পাইপলাইনে আনতে পাইপলাইনে ImportSchemaGen উপাদান যোগ করুন।
schema_gen = tfx.components.ImportSchemaGen(
schema_file='/some/path/schema.pbtxt')
schema_file টেক্সট protobuf ফাইলে সম্পূর্ণ পথ হওয়া উচিত।
আরো বিস্তারিত পাওয়া যায় ImportSchemaGen এপিআই রেফারেন্স ।