SchemaGen TFX পাইপলাইন উপাদান

সেভ করা পৃষ্ঠা গুছিয়ে রাখতে 'সংগ্রহ' ব্যবহার করুন আপনার পছন্দ অনুযায়ী কন্টেন্ট সেভ করুন ও সঠিক বিভাগে রাখুন।

কিছু TFX উপাদান আপনার ইনপুট তথ্য একটি স্কিমা নামক একটি বিবরণ ব্যবহার করুন। স্কিমা একটি দৃষ্টান্ত হল schema.proto । এটি বৈশিষ্ট্য মানগুলির জন্য ডেটা প্রকারগুলি নির্দিষ্ট করতে পারে, সমস্ত উদাহরণে একটি বৈশিষ্ট্য উপস্থিত থাকতে হবে কিনা, অনুমোদিত মান ব্যাপ্তি এবং অন্যান্য বৈশিষ্ট্য। একটি SchemaGen পাইপলাইন উপাদান স্বয়ংক্রিয়ভাবে প্রশিক্ষণের ডেটা থেকে ধরন, বিভাগ এবং রেঞ্জ অনুমান করে একটি স্কিমা তৈরি করবে।

  • Consumes: একটি StatisticsGen উপাদান থেকে পরিসংখ্যান
  • নির্গত: ডেটা স্কিমা প্রোটো

এখানে একটি স্কিমা প্রোটো থেকে একটি উদ্ধৃতি:

...
feature {
  name: "age"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
feature {
  name: "capital-gain"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
...

নিম্নলিখিত TFX লাইব্রেরিগুলি স্কিমা ব্যবহার করে:

  • টেনসরফ্লো ডেটা যাচাইকরণ
  • টেনসরফ্লো ট্রান্সফর্ম
  • টেনসরফ্লো মডেল বিশ্লেষণ

একটি সাধারণ TFX পাইপলাইনে SchemaGen একটি স্কিমা তৈরি করে, যা অন্যান্য পাইপলাইনের উপাদানগুলি ব্যবহার করে। যাইহোক, স্বয়ংক্রিয়-উত্পন্ন স্কিমা সর্বোত্তম প্রচেষ্টা এবং শুধুমাত্র ডেটার মৌলিক বৈশিষ্ট্যগুলি অনুমান করার চেষ্টা করে। এটি প্রত্যাশিত যে বিকাশকারীরা প্রয়োজন অনুসারে এটি পর্যালোচনা এবং সংশোধন করবে।

ImportSchemaGen কম্পোনেন্ট ব্যবহার করে পরিবর্তিত স্কিমা পাইপলাইনে ফিরিয়ে আনা যেতে পারে। প্রাথমিক স্কিমা জেনারেশনের জন্য SchemaGen উপাদানটি সরানো যেতে পারে এবং সমস্ত ডাউনস্ট্রিম উপাদান ImportSchemaGen-এর আউটপুট ব্যবহার করতে পারে। এছাড়া যোগ করার জন্য সুপারিশ করা হয় ExampleValidator ক্রমাগত প্রশিক্ষণ ডেটা পরীক্ষা করার আমদানিকৃত স্কিমা ব্যবহার করে।

SchemaGen এবং TensorFlow ডেটা বৈধতা

SchemaGen ব্যাপক ব্যবহার TensorFlow ডেটা ভ্যালিডেশন একটি স্কিমা inferring জন্য।

SchemaGen উপাদান ব্যবহার করে

প্রাথমিক স্কিমা প্রজন্মের জন্য

একটি SchemaGen পাইপলাইন উপাদান সাধারণত স্থাপন করা খুব সহজ এবং সামান্য কাস্টমাইজেশন প্রয়োজন। সাধারণ কোড এই মত দেখায়:

schema_gen = tfx.components.SchemaGen(
    statistics=stats_gen.outputs['statistics'])

আরো বিস্তারিত পাওয়া যায় SchemaGen এপিআই রেফারেন্স

পর্যালোচনা করা স্কিমা আমদানির জন্য

পর্যালোচনা করা স্কিমা সংজ্ঞা পাইপলাইনে আনতে পাইপলাইনে ImportSchemaGen উপাদান যোগ করুন।

schema_gen = tfx.components.ImportSchemaGen(
    schema_file='/some/path/schema.pbtxt')

schema_file টেক্সট protobuf ফাইলে সম্পূর্ণ পথ হওয়া উচিত।

আরো বিস্তারিত পাওয়া যায় ImportSchemaGen এপিআই রেফারেন্স