TFX এয়ারফ্লো টিউটোরিয়াল

সেভ করা পৃষ্ঠা গুছিয়ে রাখতে 'সংগ্রহ' ব্যবহার করুন আপনার পছন্দ অনুযায়ী কন্টেন্ট সেভ করুন ও সঠিক বিভাগে রাখুন।

পাইথনPyPI

ভূমিকা

এই টিউটোরিয়ালটি টেনসরফ্লো এক্সটেন্ডেড (TFX) প্রবর্তন করার জন্য ডিজাইন করা হয়েছে এবং আপনাকে আপনার নিজস্ব মেশিন লার্নিং পাইপলাইন তৈরি করতে শিখতে সাহায্য করবে। এটি স্থানীয়ভাবে চলে, এবং TFX এবং TensorBoard-এর সাথে একীকরণের পাশাপাশি Jupyter নোটবুকে TFX-এর সাথে মিথস্ক্রিয়া দেখায়।

আপনি একটি সাধারণ ML বিকাশ প্রক্রিয়া অনুসরণ করবেন, ডেটাসেট পরীক্ষা করে শুরু করবেন এবং একটি সম্পূর্ণ কার্যকরী পাইপলাইন দিয়ে শেষ করবেন। পথ ধরে আপনি আপনার পাইপলাইন ডিবাগ এবং আপডেট করার উপায়গুলি অন্বেষণ করবেন এবং কর্মক্ষমতা পরিমাপ করবেন৷

আরও জানুন

আরও জানতে দয়া করে TFX ব্যবহারকারীর নির্দেশিকা দেখুন।

ধাপে ধাপে

আপনি একটি সাধারণ ML বিকাশ প্রক্রিয়া অনুসরণ করে ধাপে ধাপে কাজ করে ধীরে ধীরে আপনার পাইপলাইন তৈরি করবেন। এখানে পদক্ষেপগুলি রয়েছে:

  1. আপনার পরিবেশ সেট আপ করুন
  2. প্রাথমিক পাইপলাইন কঙ্কাল আনুন
  3. আপনার ডেটাতে ডুব দিন
  4. ফিচার ইঞ্জিনিয়ারিং
  5. প্রশিক্ষণ
  6. মডেল কর্মক্ষমতা বিশ্লেষণ
  7. উৎপাদনের জন্য প্রস্তুত

পূর্বশর্ত

  • লিনাক্স / ম্যাকওএস
  • ভার্চুয়ালেনভ
  • পাইথন 3.5+
  • গিট

প্রয়োজনীয় প্যাকেজ

আপনার পরিবেশের উপর নির্ভর করে আপনাকে বেশ কয়েকটি প্যাকেজ ইনস্টল করতে হতে পারে:

sudo apt-get install \
    build-essential libssl-dev libffi-dev \
    libxml2-dev libxslt1-dev zlib1g-dev \
    python3-pip git software-properties-common

আপনি যদি পাইথন 3.6 চালাচ্ছেন তবে আপনাকে python3.6-dev ইনস্টল করতে হবে:

sudo apt-get install python3.6-dev

আপনি যদি পাইথন 3.7 চালাচ্ছেন তবে আপনাকে python3.7-dev ইনস্টল করতে হবে:

sudo apt-get install python3.7-dev

উপরন্তু, যদি আপনার সিস্টেমের একটি GCC সংস্করণ <7 থাকে তাহলে আপনাকে GCC আপডেট করা উচিত। অন্যথায় airflow webserver চালানোর সময় আপনি ত্রুটি দেখতে পাবেন। আপনি এর সাথে আপনার বর্তমান সংস্করণটি পরীক্ষা করতে পারেন:

gcc --version

আপনি যদি GCC আপডেট করতে চান তবে আপনি এটি চালাতে পারেন:

sudo add-apt-repository ppa:ubuntu-toolchain-r/test
sudo apt update
sudo apt install gcc-7
sudo apt install g++-7
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-7 60 --slave /usr/bin/g++ g++ /usr/bin/g++-7

MacOS পরিবেশ

আপনার যদি পাইথন 3 এবং গিট ইতিমধ্যে ইনস্টল না থাকে তবে আপনি হোমব্রু প্যাকেজ ম্যানেজার ব্যবহার করে সেগুলি ইনস্টল করতে পারেন:

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
export PATH="/usr/local/bin:/usr/local/sbin:$PATH"
brew update
brew install python
brew install git

কনফিগারেশনের উপর নির্ভর করে এয়ারফ্লো চালানোর সময় MacOS-এর মাঝে মাঝে থ্রেড কাঁটাচামচ করার সমস্যা হয়। এই সমস্যাগুলি এড়াতে আপনাকে আপনার ~/.bash_profile সম্পাদনা করতে হবে এবং ফাইলের শেষে নিম্নলিখিত লাইনটি যুক্ত করতে হবে:

export OBJC_DISABLE_INITIALIZE_FORK_SAFETY=YES

টিউটোরিয়াল উপকরণ

এই টিউটোরিয়ালের কোড এখানে উপলব্ধ: https://github.com/tensorflow/tfx/tree/master/tfx/examples/airflow_workshop

কোডটি আপনি যে ধাপে কাজ করছেন তার দ্বারা সংগঠিত, তাই প্রতিটি ধাপের জন্য আপনার প্রয়োজনীয় কোড এবং এটির সাথে কী করতে হবে তার নির্দেশাবলী থাকবে।

টিউটোরিয়াল ফাইলগুলি একটি ব্যায়াম এবং ব্যায়ামের সমাধান উভয়ই অন্তর্ভুক্ত করে, যদি আপনি আটকে যান।

ব্যায়াম

  • taxi_pipeline.py
  • taxi_utils.py
  • ট্যাক্সি DAG

সমাধান

  • taxi_pipeline_solution.py
  • taxi_utils_solution.py
  • ট্যাক্সি_সলিউশন DAG

তুমি কি করছ

আপনি শিখছেন কিভাবে TFX ব্যবহার করে একটি ML পাইপলাইন তৈরি করতে হয়

  • আপনি যখন একটি প্রোডাকশন ML অ্যাপ্লিকেশন স্থাপন করবেন তখন TFX পাইপলাইনগুলি উপযুক্ত
  • ডেটাসেট বড় হলে TFX পাইপলাইন উপযুক্ত
  • TFX পাইপলাইন উপযুক্ত যখন প্রশিক্ষণ/পরিষেবা ধারাবাহিকতা গুরুত্বপূর্ণ
  • TFX পাইপলাইন উপযুক্ত যখন অনুমানের জন্য সংস্করণ ব্যবস্থাপনা গুরুত্বপূর্ণ
  • ML উৎপাদনের জন্য Google TFX পাইপলাইন ব্যবহার করে

আপনি একটি সাধারণ ML বিকাশ প্রক্রিয়া অনুসরণ করছেন

  • আমাদের ডেটা গ্রহণ, বোঝা এবং পরিষ্কার করা
  • ফিচার ইঞ্জিনিয়ারিং
  • প্রশিক্ষণ
  • মডেল কর্মক্ষমতা বিশ্লেষণ
  • ফেটানো, ধুয়ে ফেলুন, পুনরাবৃত্তি করুন
  • উৎপাদনের জন্য প্রস্তুত

প্রতিটি ধাপের জন্য কোড যোগ করা হচ্ছে

টিউটোরিয়ালটি এমনভাবে ডিজাইন করা হয়েছে যাতে সমস্ত কোড ফাইলগুলিতে অন্তর্ভুক্ত করা হয়, তবে ধাপ 3-7-এর সমস্ত কোড মন্তব্য করা হয় এবং ইনলাইন মন্তব্যগুলির সাথে চিহ্নিত করা হয়। ইনলাইন মন্তব্যগুলি চিহ্নিত করে যে কোডের লাইনটি কোন ধাপে প্রযোজ্য। উদাহরণস্বরূপ, ধাপ 3 এর কোডটি # Step 3 মন্তব্য দিয়ে চিহ্নিত করা হয়েছে।

প্রতিটি ধাপের জন্য আপনি যে কোডটি যোগ করবেন সেটি সাধারণত কোডের 3টি অঞ্চলে পড়ে:

  • আমদানি
  • DAG কনফিগারেশন
  • তালিকাটি create_pipeline() কল থেকে ফিরে এসেছে
  • taxi_utils.py-এ সাপোর্টিং কোড

আপনি টিউটোরিয়ালটি দেখার সাথে সাথে আপনি কোডের লাইনগুলিকে আনকমেন্ট করবেন যা আপনি বর্তমানে যে টিউটোরিয়াল ধাপে কাজ করছেন তাতে প্রযোজ্য। এটি সেই ধাপের জন্য কোড যোগ করবে এবং আপনার পাইপলাইন আপডেট করবে। যেহেতু আপনি এটি করছেন আমরা দৃঢ়ভাবে আপনাকে সেই কোডটি পর্যালোচনা করার জন্য উত্সাহিত করি যা আপনি মন্তব্য করছেন না

শিকাগো ট্যাক্সি ডেটাসেট

ট্যাক্সিশিকাগো ট্যাক্সি

আপনি শিকাগো সিটি দ্বারা প্রকাশিত ট্যাক্সি ট্রিপ ডেটাসেট ব্যবহার করছেন৷

আপনি Google BigQuery- এ ডেটাসেট সম্পর্কে আরও পড়তে পারেন। BigQuery UI- তে সম্পূর্ণ ডেটাসেট অন্বেষণ করুন।

মডেল লক্ষ্য - বাইনারি শ্রেণীবিভাগ

গ্রাহক কি 20% এর বেশি বা কম টিপ দেবেন?

ধাপ 1: আপনার পরিবেশ সেটআপ করুন

সেটআপ স্ক্রিপ্ট ( setup_demo.sh ) টিএফএক্স এবং এয়ারফ্লো ইনস্টল করে এবং এয়ারফ্লোকে এমনভাবে কনফিগার করে যা এই টিউটোরিয়ালটির সাথে কাজ করা সহজ করে।

একটি শেল মধ্যে:

cd
virtualenv -p python3 tfx-env
source ~/tfx-env/bin/activate

git clone https://github.com/tensorflow/tfx.git
cd ~/tfx
# These instructions are specific to the 0.21 release
git checkout -f origin/r0.21
cd ~/tfx/tfx/examples/airflow_workshop/setup
./setup_demo.sh

এটি কি করছে তা দেখতে আপনার setup_demo.sh পর্যালোচনা করা উচিত।

ধাপ 2: প্রাথমিক পাইপলাইন কঙ্কাল আনুন

ওহে বিশ্ব

একটি শেল মধ্যে:

# Open a new terminal window, and in that window ...
source ~/tfx-env/bin/activate
airflow webserver -p 8080

# Open another new terminal window, and in that window ...
source ~/tfx-env/bin/activate
airflow scheduler

# Open yet another new terminal window, and in that window ...
# Assuming that you've cloned the TFX repo into ~/tfx
source ~/tfx-env/bin/activate
cd ~/tfx/tfx/examples/airflow_workshop/notebooks
jupyter notebook

আপনি এই ধাপে জুপিটার নোটবুক শুরু করেছেন। পরে আপনি এই ফোল্ডারে নোটবুক চালাবেন।

একটি ব্রাউজারে:

  • একটি ব্রাউজার খুলুন এবং http://127.0.0.1:8080 এ যান

সমস্যা সমাধান

আপনার ওয়েব ব্রাউজারে এয়ারফ্লো কনসোল লোড করার ক্ষেত্রে আপনার যদি কোনো সমস্যা হয়, অথবা আপনি যখন airflow webserver চালান তখন যদি কোনো ত্রুটি থাকে, তাহলে পোর্ট 8080-এ আপনার অন্য একটি অ্যাপ্লিকেশন চলমান থাকতে পারে। এটি Airflow-এর জন্য ডিফল্ট পোর্ট, কিন্তু আপনি এটি পরিবর্তন করতে পারেন অন্য কোনো ব্যবহারকারী পোর্টে যা ব্যবহার করা হচ্ছে না। উদাহরণস্বরূপ, পোর্ট 7070 এ এয়ারফ্লো চালানোর জন্য আপনি চালাতে পারেন:

airflow webserver -p 7070

DAG ভিউ বোতাম

DAG বোতাম

  • DAG সক্ষম করতে বাম দিকের বোতামটি ব্যবহার করুন৷
  • আপনি যখন পরিবর্তন করবেন তখন DAG রিফ্রেশ করতে ডানদিকের বোতামটি ব্যবহার করুন৷
  • DAG ট্রিগার করতে ডানদিকের বোতামটি ব্যবহার করুন
  • DAG এর গ্রাফ ভিউতে যেতে ট্যাক্সিতে ক্লিক করুন

গ্রাফ রিফ্রেশ বোতাম

বায়ুপ্রবাহ CLI

আপনি আপনার DAGs সক্ষম এবং ট্রিগার করতে Airflow CLI ব্যবহার করতে পারেন:

# enable/disable
airflow pause <your DAG name>
airflow unpause <your DAG name>

# trigger
airflow trigger_dag <your DAG name>

পাইপলাইন সম্পূর্ণ হওয়ার জন্য অপেক্ষা করা হচ্ছে

আপনি DAGs ভিউতে আপনার পাইপলাইনটি ট্রিগার করার পরে, আপনার পাইপলাইন প্রক্রিয়াকরণ সম্পূর্ণ করার সময় আপনি দেখতে পারেন। প্রতিটি কম্পোনেন্ট চলার সাথে সাথে DAG গ্রাফে কম্পোনেন্টের রূপরেখার রঙ তার অবস্থা দেখানোর জন্য পরিবর্তিত হবে। একটি উপাদান প্রক্রিয়াকরণ শেষ হলে রূপরেখাটি গাঢ় সবুজ হয়ে যাবে তা দেখানোর জন্য।

এখন পর্যন্ত আপনার কাছে আমাদের পাইপলাইনে শুধুমাত্র CsvExampleGen উপাদান আছে, তাই আপনাকে এটি গাঢ় সবুজ (~1 মিনিট) হওয়ার জন্য অপেক্ষা করতে হবে।

সেটআপ সম্পূর্ণ

ধাপ 3: আপনার ডেটাতে ডুব দিন

যেকোন ডেটা সায়েন্স বা এমএল প্রজেক্টের প্রথম কাজ হল ডেটা বোঝা এবং পরিষ্কার করা।

  • প্রতিটি বৈশিষ্ট্যের জন্য ডেটা প্রকারগুলি বুঝুন
  • অসঙ্গতি এবং অনুপস্থিত মান জন্য দেখুন
  • প্রতিটি বৈশিষ্ট্যের জন্য বিতরণগুলি বুঝুন

উপাদান

ডেটা উপাদানডেটা উপাদান

  • ExampleGen ইনপুট ডেটাসেট ইনজেস্ট করে এবং বিভক্ত করে।
  • StatisticsGen ডেটাসেটের জন্য পরিসংখ্যান গণনা করে।
  • SchemaGen SchemaGen পরিসংখ্যান পরীক্ষা করে এবং একটি ডেটা স্কিমা তৈরি করে।
  • ExampleValidator ডেটাসেটে অসঙ্গতি এবং অনুপস্থিত মানগুলি সন্ধান করে।

একজন সম্পাদকে:

  • ~/airflow/dags-এ taxi_pipeline.pyStep 3 চিহ্নিত লাইনগুলিকে আনকমেন্ট করুন
  • আপনি যে কোডটি মন্তব্য করেছেন তা পর্যালোচনা করার জন্য কিছুক্ষণ সময় নিন

একটি ব্রাউজারে:

  • উপরের বাম কোণে "DAGs" লিঙ্কে ক্লিক করে এয়ারফ্লোতে DAGs তালিকা পৃষ্ঠায় ফিরে যান
  • ট্যাক্সি DAG-এর জন্য ডান দিকের রিফ্রেশ বোতামে ক্লিক করুন
    • আপনার দেখতে হবে "DAG [ট্যাক্সি] এখন ডেইজি হিসাবে তাজা"
  • ট্রিগার ট্যাক্সি
  • পাইপলাইন সম্পূর্ণ হওয়ার জন্য অপেক্ষা করুন
    • সব গাঢ় সবুজ
    • ডান পাশে রিফ্রেশ ব্যবহার করুন বা পৃষ্ঠা রিফ্রেশ করুন

ডেটাতে ডুব দিন

জুপিটারে ফিরে যান:

এর আগে, আপনি jupyter notebook চালাতেন, যা একটি ব্রাউজার ট্যাবে জুপিটার সেশন খুলেছিল। এখন আপনার ব্রাউজারে সেই ট্যাবে ফিরে যান।

  • step3.ipynb খুলুন
  • নোটবুক অনুসরণ করুন

ডেটাতে ডুব দিন

আরও উন্নত উদাহরণ

এখানে উপস্থাপিত উদাহরণ সত্যিই শুধুমাত্র আপনি শুরু করার জন্য বোঝানো হয়েছে. আরও উন্নত উদাহরণের জন্য টেনসরফ্লো ডেটা ভ্যালিডেশন কোলাব দেখুন।

একটি ডেটাসেট অন্বেষণ এবং যাচাই করতে TFDV ব্যবহার করার বিষয়ে আরও তথ্যের জন্য, tensorflow.org-এ উদাহরণগুলি দেখুন

ধাপ 4: ফিচার ইঞ্জিনিয়ারিং

আপনি আপনার ডেটার ভবিষ্যদ্বাণীমূলক গুণমান বাড়াতে এবং/অথবা বৈশিষ্ট্য প্রকৌশলের মাধ্যমে মাত্রা কমাতে পারেন।

  • বৈশিষ্ট্য ক্রস
  • শব্দভান্ডার
  • এমবেডিং
  • পিসিএ
  • শ্রেণীবদ্ধ এনকোডিং

TFX ব্যবহার করার একটি সুবিধা হল যে আপনি একবার আপনার রূপান্তর কোড লিখবেন এবং এর ফলে পরিবর্তিত রূপান্তরগুলি প্রশিক্ষণ এবং পরিবেশনের মধ্যে সামঞ্জস্যপূর্ণ হবে।

উপাদান

রূপান্তর

একজন সম্পাদকে:

  • ~/airflow/ taxi_utils.py taxi_pipeline.py ক্ষেত্রেই Step 4 চিহ্নিত লাইনগুলিকে আনকমেন্ট করে
  • আপনি যে কোডটি মন্তব্য করেছেন তা পর্যালোচনা করার জন্য কিছুক্ষণ সময় নিন

একটি ব্রাউজারে:

  • এয়ারফ্লোতে DAGs তালিকা পৃষ্ঠায় ফিরে যান
  • ট্যাক্সি DAG-এর জন্য ডান দিকের রিফ্রেশ বোতামে ক্লিক করুন
    • আপনার দেখতে হবে "DAG [ট্যাক্সি] এখন ডেইজি হিসাবে তাজা"
  • ট্রিগার ট্যাক্সি
  • পাইপলাইন সম্পূর্ণ হওয়ার জন্য অপেক্ষা করুন
    • সব গাঢ় সবুজ
    • ডান পাশে রিফ্রেশ ব্যবহার করুন বা পৃষ্ঠা রিফ্রেশ করুন

ফিচার ইঞ্জিনিয়ারিং

জুপিটারে ফিরে যান:

আপনার ব্রাউজারে জুপিটার ট্যাবে ফিরে যান।

  • step4.ipynb খুলুন
  • নোটবুক অনুসরণ করুন

আরও উন্নত উদাহরণ

এখানে উপস্থাপিত উদাহরণ সত্যিই শুধুমাত্র আপনি শুরু করার জন্য বোঝানো হয়েছে. আরও উন্নত উদাহরণের জন্য TensorFlow Transform Colab দেখুন।

ধাপ 5: প্রশিক্ষণ

আপনার সুন্দর, পরিষ্কার, রূপান্তরিত ডেটা দিয়ে একটি টেনসরফ্লো মডেলকে প্রশিক্ষণ দিন।

  • ধাপ 4 থেকে রূপান্তরগুলি অন্তর্ভুক্ত করুন যাতে সেগুলি ধারাবাহিকভাবে প্রয়োগ করা হয়
  • উত্পাদনের জন্য একটি সংরক্ষিত মডেল হিসাবে ফলাফল সংরক্ষণ করুন
  • টেনসরবোর্ড ব্যবহার করে প্রশিক্ষণ প্রক্রিয়াটি ভিজ্যুয়ালাইজ করুন এবং অন্বেষণ করুন
  • এছাড়াও মডেল কর্মক্ষমতা বিশ্লেষণের জন্য একটি EvalSavedModel সংরক্ষণ করুন

উপাদান

একজন সম্পাদকে:

  • ~/airflow/dags-এ ট্যাক্সি_pipeline.py এবং taxi_pipeline.py উভয় ক্ষেত্রেই Step 5 চিহ্নিত লাইনগুলিকে মন্তব্য করা taxi_utils.py
  • আপনি যে কোডটি মন্তব্য করেছেন তা পর্যালোচনা করার জন্য কিছুক্ষণ সময় নিন

একটি ব্রাউজারে:

  • এয়ারফ্লোতে DAGs তালিকা পৃষ্ঠায় ফিরে যান
  • ট্যাক্সি DAG-এর জন্য ডান দিকের রিফ্রেশ বোতামে ক্লিক করুন
    • আপনার দেখতে হবে "DAG [ট্যাক্সি] এখন ডেইজি হিসাবে তাজা"
  • ট্রিগার ট্যাক্সি
  • পাইপলাইন সম্পূর্ণ হওয়ার জন্য অপেক্ষা করুন
    • সব গাঢ় সবুজ
    • ডান পাশে রিফ্রেশ ব্যবহার করুন বা পৃষ্ঠা রিফ্রেশ করুন

একটি মডেল প্রশিক্ষণ

জুপিটারে ফিরে যান:

আপনার ব্রাউজারে জুপিটার ট্যাবে ফিরে যান।

  • step5.ipynb খুলুন
  • নোটবুক অনুসরণ করুন

একটি মডেল প্রশিক্ষণ

আরও উন্নত উদাহরণ

এখানে উপস্থাপিত উদাহরণ সত্যিই শুধুমাত্র আপনি শুরু করার জন্য বোঝানো হয়েছে. আরও উন্নত উদাহরণের জন্য TensorBoard টিউটোরিয়াল দেখুন।

ধাপ 6: মডেল কর্মক্ষমতা বিশ্লেষণ

শুধুমাত্র শীর্ষ স্তরের মেট্রিক্সের চেয়ে বেশি বোঝা।

  • ব্যবহারকারীরা শুধুমাত্র তাদের প্রশ্নের জন্য মডেল কর্মক্ষমতা অভিজ্ঞতা
  • ডেটার স্লাইসে খারাপ পারফরম্যান্স শীর্ষ স্তরের মেট্রিক্স দ্বারা লুকানো যেতে পারে
  • মডেল ন্যায্যতা গুরুত্বপূর্ণ
  • প্রায়শই ব্যবহারকারী বা ডেটার মূল উপসেটগুলি খুবই গুরুত্বপূর্ণ এবং ছোট হতে পারে
    • সমালোচনামূলক কিন্তু অস্বাভাবিক পরিস্থিতিতে পারফরম্যান্স
    • প্রভাবশালীদের মতো মূল দর্শকদের জন্য পারফরম্যান্স
  • আপনি যদি একটি মডেল প্রতিস্থাপন করছেন যা বর্তমানে উৎপাদনে আছে, প্রথমে নিশ্চিত করুন যে নতুনটি আরও ভাল
  • মডেল ঠিক থাকলে মূল্যায়নকারী পুশার উপাদানকে বলে

উপাদান

  • মূল্যায়নকারী প্রশিক্ষণের ফলাফলের গভীর বিশ্লেষণ করে এবং নিশ্চিত করে যে মডেলটি উৎপাদনে ঠেলে দেওয়ার জন্য "যথেষ্ট ভালো"।

একজন সম্পাদকে:

  • ~/airflow/ taxi_pipeline.py এ ট্যাক্সি_pipeline.py উভয় ক্ষেত্রেই Step 6 চিহ্নিত লাইনগুলিকে মন্তব্য করা হয়নি
  • আপনি যে কোডটি মন্তব্য করেছেন তা পর্যালোচনা করার জন্য কিছুক্ষণ সময় নিন

একটি ব্রাউজারে:

  • এয়ারফ্লোতে DAGs তালিকা পৃষ্ঠায় ফিরে যান
  • ট্যাক্সি DAG-এর জন্য ডান দিকের রিফ্রেশ বোতামে ক্লিক করুন
    • আপনার দেখতে হবে "DAG [ট্যাক্সি] এখন ডেইজি হিসাবে তাজা"
  • ট্রিগার ট্যাক্সি
  • পাইপলাইন সম্পূর্ণ হওয়ার জন্য অপেক্ষা করুন
    • সব গাঢ় সবুজ
    • ডান পাশে রিফ্রেশ ব্যবহার করুন বা পৃষ্ঠা রিফ্রেশ করুন

মডেল কর্মক্ষমতা বিশ্লেষণ

জুপিটারে ফিরে যান:

আপনার ব্রাউজারে জুপিটার ট্যাবে ফিরে যান।

  • step6.ipynb খুলুন
  • নোটবুক অনুসরণ করুন

মডেল কর্মক্ষমতা বিশ্লেষণ

আরও উন্নত উদাহরণ

এখানে উপস্থাপিত উদাহরণ সত্যিই শুধুমাত্র আপনি শুরু করার জন্য বোঝানো হয়েছে. আরও উন্নত উদাহরণের জন্য TFMA শিকাগো ট্যাক্সি টিউটোরিয়াল দেখুন।

ধাপ 7: উৎপাদনের জন্য প্রস্তুত

নতুন মডেল প্রস্তুত হলে, এটি তাই করুন.

  • পুশার সংরক্ষিত মডেলগুলি সুপরিচিত স্থানে স্থাপন করে

স্থাপনার লক্ষ্যগুলি সুপরিচিত অবস্থান থেকে নতুন মডেলগুলি গ্রহণ করে৷

  • টেনসরফ্লো পরিবেশন
  • টেনসরফ্লো লাইট
  • টেনসরফ্লো জেএস
  • টেনসরফ্লো হাব

উপাদান

  • পুশার মডেলটিকে পরিবেশনকারী পরিকাঠামোতে স্থাপন করে।

একজন সম্পাদকে:

  • ~/airflow/ taxi_pipeline.py এ ট্যাক্সি_pipeline.py উভয় ক্ষেত্রেই Step 7 চিহ্নিত লাইনগুলিকে মন্তব্য করা হয়নি
  • আপনি যে কোডটি মন্তব্য করেছেন তা পর্যালোচনা করার জন্য কিছুক্ষণ সময় নিন

একটি ব্রাউজারে:

  • এয়ারফ্লোতে DAGs তালিকা পৃষ্ঠায় ফিরে যান
  • ট্যাক্সি DAG-এর জন্য ডান দিকের রিফ্রেশ বোতামে ক্লিক করুন
    • আপনার দেখতে হবে "DAG [ট্যাক্সি] এখন ডেইজি হিসাবে তাজা"
  • ট্রিগার ট্যাক্সি
  • পাইপলাইন সম্পূর্ণ হওয়ার জন্য অপেক্ষা করুন
    • সব গাঢ় সবুজ
    • ডান পাশে রিফ্রেশ ব্যবহার করুন বা পৃষ্ঠা রিফ্রেশ করুন

উৎপাদনের জন্য প্রস্তুত

পরবর্তী পদক্ষেপ

আপনি এখন আপনার মডেলকে প্রশিক্ষিত এবং যাচাই করেছেন, এবং ~/airflow/saved_models/taxi ডিরেক্টরির অধীনে একটি SavedModel ফাইল রপ্তানি করেছেন৷ আপনার মডেল এখন উত্পাদন জন্য প্রস্তুত. আপনি এখন আপনার মডেলটি যেকোনও টেনসরফ্লো স্থাপনার লক্ষ্যে স্থাপন করতে পারেন, যার মধ্যে রয়েছে:

  • টেনসরফ্লো সার্ভিং , সার্ভার বা সার্ভার ফার্মে আপনার মডেল পরিবেশন করার জন্য এবং REST এবং/অথবা gRPC অনুমান অনুরোধগুলি প্রক্রিয়া করার জন্য।
  • TensorFlow Lite , একটি Android বা iOS নেটিভ মোবাইল অ্যাপ্লিকেশন, বা একটি Raspberry Pi, IoT, বা মাইক্রোকন্ট্রোলার অ্যাপ্লিকেশনে আপনার মডেল অন্তর্ভুক্ত করার জন্য।
  • TensorFlow.js , একটি ওয়েব ব্রাউজার বা Node.JS অ্যাপ্লিকেশনে আপনার মডেল চালানোর জন্য।