এই পৃষ্ঠাটি Cloud Translation API অনুবাদ করেছে।

বিম অর্কেস্ট্রেটারের সাহায্যে টেম্পলেট ব্যবহার করে একটি টিএফএক্স পাইপলাইন তৈরি করুন

ভূমিকা

এই দস্তাবেজটি একটি TensorFlow সম্প্রসারিত ব্যবহার টেমপ্লেট যা TFX পাইথন প্যাকেজের সাথে প্রদান করা হয় (TFX) পাইপলাইন তৈরি করতে নির্দেশনা প্রদান করবে। নির্দেশাবলীর সর্বাধিক লিনাক্স শেল কমান্ড, এবং সংশ্লিষ্ট Jupyter নোটবুক কোড কোষ যা ব্যবহার করছেন তাদের কমান্ড ডাকা ! প্রদান করা হয়.

ব্যবহার করে আপনি একটি পাইপলাইন গড়ে তুলবে ট্যাক্সি ডেটা সেটটি Trips শিকাগো শহরের দ্বারা মুক্তি। এই পাইপলাইনটিকে একটি বেসলাইন হিসাবে ব্যবহার করে আপনার ডেটাসেট ব্যবহার করে আপনার নিজস্ব পাইপলাইন তৈরি করার চেষ্টা করার জন্য আমরা আপনাকে জোরালোভাবে উত্সাহিত করি৷

আমরা একটি পাইপলাইন ব্যবহার গড়ে তুলবে এ্যাপাচি রশ্মি Orchestrator । আপনি Kubeflow orchestrator Google মেঘ উপর ব্যবহার করতে আগ্রহী হয়, দয়া করে দেখুন উপর মেঘ এআই প্ল্যাটফর্ম পাইপলাইন টিউটোরিয়াল TFX ।

পূর্বশর্ত

লিনাক্স / ম্যাকওএস
পাইথন >= 3.5.3

আপনি সহজেই সব অপরিহার্য পেতে পারেন গুগল Colab এই নোটবুক চলমান ।

ধাপ 1. আপনার পরিবেশ সেট আপ করুন.

এই নথি জুড়ে, আমরা দুইবার কমান্ড উপস্থাপন করব। একবার কপি-এবং-পেস্ট-প্রস্তুত শেল কমান্ড হিসাবে, একবার জুপিটার নোটবুক সেল হিসাবে। আপনি যদি Colab ব্যবহার করেন, শুধু শেল স্ক্রিপ্ট ব্লক এড়িয়ে যান এবং নোটবুক সেলগুলি চালান।

একটি পাইপলাইন নির্মাণের জন্য আপনার একটি উন্নয়ন পরিবেশ প্রস্তুত করা উচিত।

ইনস্টল করুন tfx পাইথন প্যাকেজ। আমরা কার্যকারিতা সম্পর্কে কোন তথ্য virtualenv স্থানীয় পরিবেশে। আপনি আপনার পরিবেশ সেট আপ করতে নিম্নলিখিত শেল স্ক্রিপ্ট স্নিপেট ব্যবহার করতে পারেন।

# Create a virtualenv for tfx.
virtualenv -p python3 venv
source venv/bin/activate
# Install python packages.
python -m pip install -q --user --upgrade tfx==0.23.0

আপনি যদি কোলাব ব্যবহার করেন:

import sys
!{sys.executable} -m pip install -q --user --upgrade -q tfx==0.23.0

ত্রুটি: কিছু-প্যাকেজ 0.some_version.1-এর প্রয়োজন অন্য-প্যাকেজ!=2.0.,<3,>=1.15, কিন্তু আপনার কাছে অন্য-প্যাকেজ 2.0.0 থাকবে যা বেমানান।

এই মুহূর্তে এই ত্রুটিগুলি উপেক্ষা করুন.

# Set `PATH` to include user python binary directory.
HOME=%env HOME
PATH=%env PATH
%env PATH={PATH}:{HOME}/.local/bin

env: PATH=/tmpfs/src/tf_docs_env/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin:/opt/puppetlabs/bin:/opt/android-studio/current/bin:/usr/local/go/bin:/usr/local/go/packages/bin:/opt/kubernetes/client/bin/:/home/kbuilder/.local/bin:/home/kbuilder/.local/bin

আসুন TFX এর সংস্করণটি পরীক্ষা করা যাক।

python -c "import tfx; print('TFX version: {}'.format(tfx.__version__))"

python3 -c "import tfx; print('TFX version: {}'.format(tfx.__version__))"

TFX version: 0.23.0

এবং, এটা হয়ে গেছে। আমরা একটি পাইপলাইন তৈরি করতে প্রস্তুত।

ধাপ 2. আপনার প্রকল্প ডিরেক্টরিতে পূর্বনির্ধারিত টেমপ্লেট কপি করুন।

এই ধাপে, আমরা একটি পূর্বনির্ধারিত টেমপ্লেট থেকে অতিরিক্ত ফাইল কপি করে একটি কার্যকরী পাইপলাইন প্রকল্প ডিরেক্টরি এবং ফাইল তৈরি করব।

আপনি পরিবর্তন করে আপনার পাইপলাইন একটি আলাদা নাম দিতে পারে PIPELINE_NAME নিচে। এটি সেই প্রজেক্ট ডিরেক্টরির নামও হয়ে যাবে যেখানে আপনার ফাইলগুলি রাখা হবে।

export PIPELINE_NAME="my_pipeline"
export PROJECT_DIR=~/tfx/${PIPELINE_NAME}

PIPELINE_NAME="my_pipeline"
import os
# Create a project directory under Colab content directory.
PROJECT_DIR=os.path.join(os.sep,"content",PIPELINE_NAME)

TFX অন্তর্ভুক্ত taxi TFX পাইথন প্যাকেজের সাথে টেমপ্লেট। আপনি যদি শ্রেণীবিভাগ এবং রিগ্রেশন সহ একটি বিন্দু-ভিত্তিক ভবিষ্যদ্বাণী সমস্যা সমাধান করার পরিকল্পনা করছেন, তাহলে এই টেমপ্লেটটি একটি প্রারম্ভিক বিন্দু হিসাবে ব্যবহার করা যেতে পারে।

tfx template copy CLI কমান্ড কপি আপনার প্রকল্পের ডিরেক্টরির মধ্যে টেমপ্লেট ফাইল পূর্বনির্ধারিত।

tfx template copy \
   --pipeline_name="${PIPELINE_NAME}" \
   --destination_path="${PROJECT_DIR}" \
   --model=taxi

!tfx template copy \
  --pipeline_name={PIPELINE_NAME} \
  --destination_path={PROJECT_DIR} \
  --model=taxi

2020-09-07 09:09:40.131982: I tensorflow/stream_executor/platform/default/dso_loader.cc:48] Successfully opened dynamic library libcudart.so.10.1
CLI
Copying taxi pipeline template
Traceback (most recent call last):
  File "/home/kbuilder/.local/bin/tfx", line 8, in <module>
    sys.exit(cli_group())
  File "/home/kbuilder/.local/lib/python3.6/site-packages/click/core.py", line 829, in __call__
    return self.main(*args, **kwargs)
  File "/home/kbuilder/.local/lib/python3.6/site-packages/click/core.py", line 782, in main
    rv = self.invoke(ctx)
  File "/home/kbuilder/.local/lib/python3.6/site-packages/click/core.py", line 1259, in invoke
    return _process_result(sub_ctx.command.invoke(sub_ctx))
  File "/home/kbuilder/.local/lib/python3.6/site-packages/click/core.py", line 1259, in invoke
    return _process_result(sub_ctx.command.invoke(sub_ctx))
  File "/home/kbuilder/.local/lib/python3.6/site-packages/click/core.py", line 1066, in invoke
    return ctx.invoke(self.callback, **ctx.params)
  File "/home/kbuilder/.local/lib/python3.6/site-packages/click/core.py", line 610, in invoke
    return callback(*args, **kwargs)
  File "/home/kbuilder/.local/lib/python3.6/site-packages/click/decorators.py", line 73, in new_func
    return ctx.invoke(f, obj, *args, **kwargs)
  File "/home/kbuilder/.local/lib/python3.6/site-packages/click/core.py", line 610, in invoke
    return callback(*args, **kwargs)
  File "/home/kbuilder/.local/lib/python3.6/site-packages/tfx/tools/cli/commands/template.py", line 73, in copy
    template_handler.copy_template(ctx.flags_dict)
  File "/home/kbuilder/.local/lib/python3.6/site-packages/tfx/tools/cli/handler/template_handler.py", line 168, in copy_template
    replace_dict)
  File "/home/kbuilder/.local/lib/python3.6/site-packages/tfx/tools/cli/handler/template_handler.py", line 107, in _copy_and_replace_placeholder_dir
    tf.io.gfile.makedirs(dst)
  File "/tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/lib/io/file_io.py", line 480, in recursive_create_dir_v2
    _pywrap_file_io.RecursivelyCreateDir(compat.as_bytes(path))
tensorflow.python.framework.errors_impl.PermissionDeniedError: /content; Permission denied

এই নোটবুকের কাজের ডিরেক্টরির প্রসঙ্গটি প্রকল্প ডিরেক্টরিতে পরিবর্তন করুন।

cd ${PROJECT_DIR}

%cd {PROJECT_DIR}

[Errno 2] No such file or directory: '/content/my_pipeline'
/tmpfs/src/temp/docs/tutorials/tfx

ধাপ 3. আপনার কপি করা উৎস ফাইল ব্রাউজ করুন.

পাইপলাইনের আউটপুট বিশ্লেষণ করার জন্য পাইথন সোর্স কোড, নমুনা ডেটা এবং জুপিটার নোটবুক সহ পাইপলাইন তৈরি করার জন্য TFX টেমপ্লেট মৌলিক স্ক্যাফোল্ড ফাইল সরবরাহ করে। taxi টেমপ্লেট একই শিকাগো ট্যাক্সি ডেটা সেটটি এবং এমএল মডেল ব্যবহার করে Airflow টিউটোরিয়াল ।

Google Colab-এ, আপনি বাঁদিকে ফোল্ডার আইকনে ক্লিক করে ফাইল ব্রাউজ করতে পারেন। ফাইল প্রকল্পের directoy, যার নাম অধীনে অনুলিপি হবে my_pipeline এই ক্ষেত্রে। ডিরেক্টরির বিষয়বস্তু দেখতে আপনি ডিরেক্টরির নামগুলিতে ক্লিক করতে পারেন, এবং ফাইলের নামগুলি খুলতে ডাবল-ক্লিক করতে পারেন।

এখানে প্রতিটি পাইথন ফাইলের সংক্ষিপ্ত ভূমিকা রয়েছে।

pipeline - এই ডিরেক্টরির পাইপলাইন সংজ্ঞা রয়েছে
- configs.py - পাইপলাইন রানার্স জন্য সাধারণ ধ্রুবক সংজ্ঞায়িত
- pipeline.py - সংজ্ঞায়িত TFX উপাদান এবং একটি পাইপলাইন
models - এই ডিরেক্টরির এমএল মডেল সংজ্ঞা রয়েছে।
- features.py , features_test.py - সংজ্ঞায়িত মডেল জন্য অতিরিক্ত বৈশিষ্ট্যগুলিও উপস্থিত রয়েছে
- preprocessing.py , preprocessing_test.py - সংজ্ঞায়িত ব্যবহার কাজ preprocessing tf::Transform
- estimator - এই ডিরেক্টরির একটি মূল্নির্ধারক ভিত্তিক মডেল রয়েছে।
  - constants.py - মডেল সংজ্ঞায়িত ধ্রুবক
  - model.py , model_test.py - DNN মডেল সংজ্ঞায়িত মেমরি মূল্নির্ধারক ব্যবহার
- keras - এই ডিরেক্টরির একটি Keras ভিত্তিক মডেল রয়েছে।
  - constants.py - মডেল সংজ্ঞায়িত ধ্রুবক
  - model.py , model_test.py - সংজ্ঞায়িত Keras ব্যবহার DNN মডেল
beam_dag_runner.py , kubeflow_dag_runner.py - প্রতিটি অর্কেস্ট্রারচনা ইঞ্জিন রানার্স সংজ্ঞায়িত

আপনি সেখানে সঙ্গে কিছু ফাইল আছে বিজ্ঞপ্তি পারে _test.py তাদের নামটি দিয়ে। এগুলি পাইপলাইনের ইউনিট পরীক্ষা এবং আপনি নিজের পাইপলাইনগুলি বাস্তবায়ন করার সাথে সাথে আরও ইউনিট পরীক্ষা যুক্ত করার পরামর্শ দেওয়া হয়। আপনার সাথে পরীক্ষা ফাইল মডিউল নাম সরবরাহ দ্বারা ইউনিট পরীক্ষা চালাতে পারেন -m পতাকা। আপনি সাধারণতঃ মুছে ফেলার মাধ্যমে একটি মডিউল নামটা জানা যাবে .py এক্সটেনশান এবং প্রতিস্থাপন / সঙ্গে . . উদাহরণ স্বরূপ:

python -m models.features_test

{sys.executable} -m models.features_test
{sys.executable} -m models.keras.model_test

/tmpfs/src/tf_docs_env/bin/python: Error while finding module specification for 'models.features_test' (ModuleNotFoundError: No module named 'models')
/tmpfs/src/tf_docs_env/bin/python: Error while finding module specification for 'models.keras.model_test' (ModuleNotFoundError: No module named 'models')

ধাপ 4. আপনার প্রথম TFX পাইপলাইন চালান

ব্যবহার করে আপনি একটি পাইপলাইন তৈরি করতে পারেন pipeline create কমান্ড।

tfx pipeline create --engine=beam --pipeline_path=beam_dag_runner.py

tfx pipeline create --engine=beam --pipeline_path=beam_dag_runner.py

2020-09-07 09:09:45.612839: I tensorflow/stream_executor/platform/default/dso_loader.cc:48] Successfully opened dynamic library libcudart.so.10.1
CLI
Creating pipeline
Invalid pipeline path: beam_dag_runner.py

তারপর, আপনার তৈরি করা পাইপলাইন ব্যবহার চালাতে পারেন run create কমান্ড।

tfx run create --engine=beam --pipeline_name="${PIPELINE_NAME}"

tfx run create --engine=beam --pipeline_name={PIPELINE_NAME}

2020-09-07 09:09:50.725339: I tensorflow/stream_executor/platform/default/dso_loader.cc:48] Successfully opened dynamic library libcudart.so.10.1
CLI
Creating a run for pipeline: my_pipeline
Pipeline "my_pipeline" does not exist.

সফল হলে, আপনি দেখতে পাবেন Component CsvExampleGen is finished. যখন আপনি টেমপ্লেটটি অনুলিপি করেন, শুধুমাত্র একটি উপাদান, CsvExampleGen, পাইপলাইনে অন্তর্ভুক্ত করা হয়।

ধাপ 5. ডেটা যাচাইকরণের জন্য উপাদান যোগ করুন।

এই পদক্ষেপে, আপনি সহ ডেটা যাচাইকরণ জন্য উপাদান যোগ হবে StatisticsGen , SchemaGen এবং ExampleValidator । আপনি ডাটা বৈধকরণ আগ্রহী, দয়া করে দেখুন Tensorflow ডেটা ভ্যালিডেশন দিয়ে শুরু করুন ।

আমরা অনুলিপি পাইপলাইন সংজ্ঞা পরিবর্তন করতে হবে pipeline/pipeline.py । আপনি যদি আপনার স্থানীয় পরিবেশে কাজ করেন তবে ফাইলটি সম্পাদনা করতে আপনার প্রিয় সম্পাদক ব্যবহার করুন। আপনি যদি Google Colab-এ কাজ করেন,

খোলা বামে ফোল্ডারে আইকনে ক্লিক করুন Files দৃশ্য।

ক্লিক করুন my_pipeline ডিরেক্টরির খুলুন এবং ক্লিক করুন pipeline খোলা এবং ডাবল ক্লিক করার ডিরেক্টরির pipeline.py ফাইল খোলার জন্য।

খুঁজুন এবং 3 লাইন যা যোগ uncomment StatisticsGen , SchemaGen এবং ExampleValidator পাইপলাইন। (টিপ: ধারণকারী মন্তব্য খুঁজুন TODO(step 5): )।

আপনার পরিবর্তন কয়েক সেকেন্ডের মধ্যে স্বয়ংক্রিয়ভাবে সংরক্ষিত হবে। নিশ্চিত করুন যে করুন * সামনে চিহ্ন pipeline.py ট্যাব শিরোনামে উধাও হয়ে গেছে। Colab-এ ফাইল এডিটরের জন্য কোনও সেভ বোতাম বা শর্টকাট নেই। ফাইল সম্পাদকে পাইথন ফাইল এমনকি রানটাইম পরিবেশ সংরক্ষণ করা যাবে playground মোড।

আপনাকে এখন পরিবর্তিত পাইপলাইন সংজ্ঞা সহ বিদ্যমান পাইপলাইন আপডেট করতে হবে। ব্যবহার করুন tfx pipeline update আপনার পাইপলাইন, দ্বারা অনুসরণ আপডেট করার জন্য কমান্ড tfx run create আপনার আপডেট পাইপলাইন একটি নতুন সঞ্চালনের রান তৈরি করতে কমান্ড।

# Update the pipeline
tfx pipeline update --engine=beam --pipeline_path=beam_dag_runner.py
# You can run the pipeline the same way.
tfx run create --engine beam --pipeline_name "${PIPELINE_NAME}"

# Update the pipeline
tfx pipeline update --engine=beam --pipeline_path=beam_dag_runner.py
# You can run the pipeline the same way.
tfx run create --engine beam --pipeline_name {PIPELINE_NAME}

2020-09-07 09:09:55.915484: I tensorflow/stream_executor/platform/default/dso_loader.cc:48] Successfully opened dynamic library libcudart.so.10.1
CLI
Updating pipeline
Invalid pipeline path: beam_dag_runner.py
2020-09-07 09:10:01.148250: I tensorflow/stream_executor/platform/default/dso_loader.cc:48] Successfully opened dynamic library libcudart.so.10.1
CLI
Creating a run for pipeline: my_pipeline
Pipeline "my_pipeline" does not exist.

আপনি যোগ করা উপাদানগুলি থেকে আউটপুট লগ দেখতে সক্ষম হওয়া উচিত। আমাদের পাইপলাইন আউটপুট নিদর্শন সৃষ্টি tfx_pipeline_output/my_pipeline ডিরেক্টরি।

ধাপ 6. প্রশিক্ষণের জন্য উপাদান যোগ করুন।

এই পদক্ষেপে, আপনি প্রশিক্ষণ সহ মডেল যাচাইকরণের জন্য উপাদান যোগ হবে Transform , Trainer , ResolverNode , Evaluator এবং Pusher ।

ওপেন pipeline/pipeline.py । খুঁজুন এবং uncomment 5 লাইন যা যোগ Transform , Trainer , ResolverNode , Evaluator এবং Pusher পাইপলাইন। (টিপ: খোঁজ TODO(step 6): )

আপনি যেমন আগে করেছিলেন, এখন আপনাকে পরিবর্তিত পাইপলাইন সংজ্ঞা সহ বিদ্যমান পাইপলাইন আপডেট করতে হবে। নির্দেশাবলীর পদক্ষেপ 5. আপডেট পাইপলাইন ব্যবহার একই tfx pipeline update , এবং ব্যবহার করে একটি মৃত্যুদন্ড রান তৈরি tfx run create ।

tfx pipeline update --engine=beam --pipeline_path=beam_dag_runner.py
tfx run create --engine beam --pipeline_name "${PIPELINE_NAME}"

tfx pipeline update --engine=beam --pipeline_path=beam_dag_runner.py
tfx run create --engine beam --pipeline_name {PIPELINE_NAME}

2020-09-07 09:10:06.281753: I tensorflow/stream_executor/platform/default/dso_loader.cc:48] Successfully opened dynamic library libcudart.so.10.1
CLI
Updating pipeline
Invalid pipeline path: beam_dag_runner.py
2020-09-07 09:10:11.333668: I tensorflow/stream_executor/platform/default/dso_loader.cc:48] Successfully opened dynamic library libcudart.so.10.1
CLI
Creating a run for pipeline: my_pipeline
Pipeline "my_pipeline" does not exist.

এই এক্সিকিউশন রান সফলভাবে শেষ হলে, আপনি এখন বিম অর্কেস্ট্রেটর ব্যবহার করে আপনার প্রথম TFX পাইপলাইন তৈরি করেছেন এবং চালান!

টীকা: আপনি লক্ষ্য করে থাকবেন পারে যে প্রতিটি সময় আমরা একটি পাইপলাইন রান তৈরি করেন, যে উপাদান আবার এবং আবার রান যদিও ইনপুট এবং পরামিতি পরিবর্তন করা হয়নি। এটি সময় এবং সম্পদের অপচয়, এবং আপনি পাইপলাইন ক্যাশিং এর মাধ্যমে সেই মৃত্যুদন্ডগুলি এড়িয়ে যেতে পারেন। আপনি নির্দিষ্ট করে ক্যাশে সক্ষম করতে পারেন enable_cache=True জন্য Pipeline বস্তুর pipeline.py ।

ধাপ 7. (ঐচ্ছিক) BigQueryExampleGen চেষ্টা করুন।

[BigQuery] হল একটি সার্ভারহীন, অত্যন্ত মাপযোগ্য, এবং সাশ্রয়ী ক্লাউড ডেটা গুদাম। BigQuery টিএফএক্স-এ প্রশিক্ষণের উদাহরণের উৎস হিসেবে ব্যবহার করা যেতে পারে। এই পদক্ষেপ, আমরা যোগ হবে BigQueryExampleGen পাইপলাইন।

আপনি একটি প্রয়োজন Google ক্লাউড প্ল্যাটফর্ম BigQuery- তে ব্যবহার করার জন্য অ্যাকাউন্ট। একটি GCP প্রকল্প প্রস্তুত করুন.

আপনার প্রকল্পের colab প্রমাণীকরণ লাইব্রেরি বা ব্যবহার করার লগইন gcloud ইউটিলিটি।

# You need `gcloud` tool to login in local shell environment.
gcloud auth login

if 'google.colab' in sys.modules:
  from google.colab import auth
  auth.authenticate_user()
  print('Authenticated')

TFX ব্যবহার করে BigQuery রিসোর্স অ্যাক্সেস করতে আপনার GCP প্রকল্পের নাম উল্লেখ করা উচিত। সেট GOOGLE_CLOUD_PROJECT আপনার প্রকল্পের নাম এনভায়রনমেন্ট ভেরিয়েবল।

export GOOGLE_CLOUD_PROJECT=YOUR_PROJECT_NAME_HERE

# Set your project name below.
# WARNING! ENTER your project name before running this cell.
%env GOOGLE_CLOUD_PROJECT=YOUR_PROJECT_NAME_HERE

env: GOOGLE_CLOUD_PROJECT=YOUR_PROJECT_NAME_HERE

ওপেন pipeline/pipeline.py । আউট মন্তব্য CsvExampleGen এবং uncomment লাইন যার একটি দৃষ্টান্ত তৈরি BigQueryExampleGen । এছাড়াও আপনি uncomment প্রয়োজন query আর্গুমেন্ট create_pipeline ফাংশন।

আমরা যা GCP প্রকল্পের BigQuery- তে জন্য আবার ব্যবহার করতে নির্দিষ্ট করতে হবে, এবং এই সেটিং দ্বারা সম্পন্ন করা হয় --project মধ্যে beam_pipeline_args যখন একটি পাইপলাইন তৈরি করা।

ওপেন pipeline/configs.py । Uncomment সংজ্ঞা BIG_QUERY__WITH_DIRECT_RUNNER_BEAM_PIPELINE_ARGS এবং BIG_QUERY_QUERY । আপনার GCP প্রকল্পের জন্য সঠিক মান দিয়ে এই ফাইলে প্রোজেক্ট আইডি এবং অঞ্চলের মান প্রতিস্থাপন করা উচিত।

ওপেন beam_dag_runner.py । Uncomment দুটি আর্গুমেন্ট, query এবং beam_pipeline_args , create_pipeline () মেথড জন্য।

এখন পাইপলাইন একটি উদাহরণ উৎস হিসাবে BigQuery ব্যবহার করার জন্য প্রস্তুত। পাইপলাইন আপডেট করুন এবং আমরা ধাপ 5 এবং 6 এর মতো একটি রান তৈরি করুন।

tfx pipeline update --engine=beam --pipeline_path=beam_dag_runner.py
tfx run create --engine beam --pipeline_name {PIPELINE_NAME}

2020-09-07 09:10:16.406635: I tensorflow/stream_executor/platform/default/dso_loader.cc:48] Successfully opened dynamic library libcudart.so.10.1
CLI
Updating pipeline
Invalid pipeline path: beam_dag_runner.py
2020-09-07 09:10:21.439101: I tensorflow/stream_executor/platform/default/dso_loader.cc:48] Successfully opened dynamic library libcudart.so.10.1
CLI
Creating a run for pipeline: my_pipeline
Pipeline "my_pipeline" does not exist.

এরপর কি: পাইপলাইনে আপনার ডেটা ইনজেস্ট করুন।

আমরা শিকাগো ট্যাক্সি ডেটাসেট ব্যবহার করে একটি মডেলের জন্য একটি পাইপলাইন তৈরি করেছি৷ এখন আপনার ডেটা পাইপলাইনে রাখার সময়।

GCS বা BigQuery সহ আপনার পাইপলাইন অ্যাক্সেস করতে পারে এমন যেকোনো জায়গায় আপনার ডেটা সংরক্ষণ করা যেতে পারে। আপনার ডেটা অ্যাক্সেস করার জন্য আপনাকে পাইপলাইনের সংজ্ঞা পরিবর্তন করতে হবে।

আপনার ডেটা ফাইল সংরক্ষণ করা হয় তাহলে, সংশোধন DATA_PATH মধ্যে kubeflow_dag_runner.py বা beam_dag_runner.py এবং আপনার ফাইল অবস্থান সেট করুন। আপনার ডেটা BigQuery- তে সংরক্ষণ করা হয় তাহলে, সংশোধন BIG_QUERY_QUERY মধ্যে pipeline/configs.py সঠিকভাবে আপনার ডেটার জন্য কোয়েরি করতে।
মধ্যে বৈশিষ্ট্য যোগ করুন models/features.py ।
পরিবর্তন করুন models/preprocessing.py করতে প্রশিক্ষণের জন্য ইনপুট ডেটা রুপান্তর ।
পরিবর্তন করুন models/keras/model.py এবং models/keras/constants.py করার বর্ণনা আপনার এমএল মডেল ।
- আপনি একটি অনুমান ভিত্তিক মডেলও ব্যবহার করতে পারেন। পরিবর্তন RUN_FN ধ্রুবক থেকে models.estimator.model.run_fn মধ্যে pipeline/configs.py ।

দয়া করে দেখুন প্রশিক্ষক উপাদান নির্দেশিকা আরো পরিচয়ের জন্য।