Trainer TFX পাইপলাইন উপাদান একটি TensorFlow মডেলকে প্রশিক্ষণ দেয়।
প্রশিক্ষক এবং টেনসরফ্লো
প্রশিক্ষক পাইথন ব্যাপক ব্যবহার TensorFlow প্রশিক্ষণ মডেলের জন্য API- টি।
উপাদান
প্রশিক্ষক নেয়:
- tf. প্রশিক্ষণ এবং ইভালের জন্য ব্যবহৃত উদাহরণ।
- একজন ব্যবহারকারী প্রদত্ত মডিউল ফাইল যা প্রশিক্ষক যুক্তি সংজ্ঞায়িত করে।
- Protobuf ট্রেন args এবং Eval args এর সংজ্ঞা।
- (ঐচ্ছিক) একটি SchemaGen পাইপলাইন উপাদান দ্বারা তৈরি এবং ঐচ্ছিকভাবে বিকাশকারী দ্বারা পরিবর্তিত একটি ডেটা স্কিমা৷
- (ঐচ্ছিক) একটি আপস্ট্রিম ট্রান্সফর্ম উপাদান দ্বারা উত্পাদিত রূপান্তর গ্রাফ।
- (ঐচ্ছিক) ওয়ার্মস্টার্টের মতো পরিস্থিতির জন্য ব্যবহৃত প্রাক-প্রশিক্ষিত মডেল।
- (ঐচ্ছিক) হাইপারপ্যারামিটার, যা ব্যবহারকারী মডিউল ফাংশনে পাঠানো হবে। টিউনার সঙ্গে ইন্টিগ্রেশন বিবরণ পাওয়া যাবে এখানে ।
প্রশিক্ষক নির্গত করেন: অনুমান/পরিষেবার জন্য কমপক্ষে একটি মডেল (সাধারণত সংরক্ষিত মডেল ফরম্যাটে) এবং ঐচ্ছিকভাবে eval (সাধারণত একটি EvalSavedModel) এর জন্য অন্য একটি মডেল।
আমরা যেমন বিকল্প মডেল ফরম্যাটের জন্য সহায়তা প্রদান TFLite মাধ্যমে মডেল rewriting লাইব্রেরী । এস্টিমেটর এবং কেরাস উভয় মডেলকে কিভাবে রূপান্তর করতে হয় তার উদাহরণের জন্য মডেল রিরাইটিং লাইব্রেরির লিঙ্কটি দেখুন।
জেনেরিক প্রশিক্ষক
জেনেরিক প্রশিক্ষক ডেভেলপারদের প্রশিক্ষক উপাদানের সাথে যেকোনো টেনসরফ্লো মডেল API ব্যবহার করতে সক্ষম করে। টেনসরফ্লো এস্টিমেটর ছাড়াও, বিকাশকারীরা কেরাস মডেল বা কাস্টম প্রশিক্ষণ লুপ ব্যবহার করতে পারে। বিস্তারিত জানার জন্য, দয়া করে দেখুন জেনেরিক প্রশিক্ষকের জন্য বোঝায় যা RFC ।
প্রশিক্ষক উপাদান কনফিগার করা
জেনেরিক প্রশিক্ষকের জন্য সাধারণ পাইপলাইন ডিএসএল কোড দেখতে এইরকম হবে:
from tfx.components import Trainer
...
trainer = Trainer(
module_file=module_file,
examples=transform.outputs['transformed_examples'],
transform_graph=transform.outputs['transform_graph'],
train_args=trainer_pb2.TrainArgs(num_steps=10000),
eval_args=trainer_pb2.EvalArgs(num_steps=5000))
প্রশিক্ষক প্রশিক্ষণ মডিউল দেখবেন, যার উল্লেখ করা হয় এমন কিছুকে ডাকে, module_file প্যারামিটার। পরিবর্তে trainer_fn , একটি run_fn মডিউল ফাইলের মধ্যে প্রয়োজনীয় যদি GenericExecutor উল্লেখ করা হয় custom_executor_spec । trainer_fn মডেল তৈরি করার জন্য দায়ী। যে ছাড়াও, run_fn এছাড়াও প্রশিক্ষণ অংশ এবং আউটপুট একটি পছন্দসই কর্তৃক প্রদত্ত অবস্থান প্রশিক্ষিত মডেল হ্যান্ডেল প্রয়োজন FnArgs :
from tfx.components.trainer.fn_args_utils import FnArgs
def run_fn(fn_args: FnArgs) -> None:
"""Build the TF model and train it."""
model = _build_keras_model()
model.fit(...)
# Save model to fn_args.serving_model_dir.
model.save(fn_args.serving_model_dir, ...)
এখানে একটি হল উদাহরণস্বরূপ মডিউল ফাইল সঙ্গে run_fn ।
মনে রাখবেন যে যদি ট্রান্সফর্ম উপাদানটি পাইপলাইনে ব্যবহার না করা হয়, তাহলে প্রশিক্ষক সরাসরি ExampleGen থেকে উদাহরণগুলি নেবেন:
trainer = Trainer(
module_file=module_file,
examples=example_gen.outputs['examples'],
schema=infer_schema.outputs['schema'],
train_args=trainer_pb2.TrainArgs(num_steps=10000),
eval_args=trainer_pb2.EvalArgs(num_steps=5000))
আরো বিস্তারিত পাওয়া যায় প্রশিক্ষক এপিআই রেফারেন্স ।