ন্যায্যতা সূচক ড্যাশবোর্ডের সাথে মডেলের মূল্যায়ন করা [বিটা]

TensorBoard জন্য ফর্সা সূচক বাইনারি এবং multiclass ক্লাসিফায়ার জন্য সাধারণভাবে-চিহ্নিত সততা মেট্রিক্স সহজ গণনার দেয়। প্লাগইনের সাহায্যে, আপনি আপনার রানের জন্য ন্যায্যতা মূল্যায়ন কল্পনা করতে পারেন এবং সহজেই গ্রুপ জুড়ে কর্মক্ষমতা তুলনা করতে পারেন।

বিশেষ করে, টেনসরবোর্ডের জন্য ন্যায্যতা সূচক আপনাকে ব্যবহারকারীদের সংজ্ঞায়িত গোষ্ঠীতে কাটা মডেলের কর্মক্ষমতা মূল্যায়ন এবং কল্পনা করতে দেয়। একাধিক থ্রেশহোল্ডে আত্মবিশ্বাসের ব্যবধান এবং মূল্যায়ন সহ আপনার ফলাফল সম্পর্কে আত্মবিশ্বাসী বোধ করুন।

ন্যায্যতার উদ্বেগের মূল্যায়নের জন্য বিদ্যমান অনেক সরঞ্জামগুলি বড় আকারের ডেটাসেট এবং মডেলগুলিতে ভাল কাজ করে না। Google-এ, বিলিয়ন-ব্যবহারকারী সিস্টেমে কাজ করতে পারে এমন সরঞ্জাম থাকা আমাদের জন্য গুরুত্বপূর্ণ৷ ফর্সা সূচক আপনি TensorBoard পরিবেশে বা ব্যবহারের মামলার যে কোনো আকারের জুড়ে নির্ণয় করা, অনুমতি দেবে Colab ।

প্রয়োজনীয়তা

টেনসরবোর্ডের জন্য ন্যায্যতা সূচক ইনস্টল করতে, চালান:

python3 -m virtualenv ~/tensorboard_demo
source ~/tensorboard_demo/bin/activate
pip install --upgrade pip
pip install fairness_indicators
pip install tensorboard-plugin-fairness-indicators

ডেমো

আপনি খুঁজে TensorBoard মধ্যে ফর্সা সূচক পরীক্ষা চান, আপনি নমুনা TensorFlow মডেল বিশ্লেষণ মূল্যায়ন ফলাফল (eval_config.json, মেট্রিক্স এবং প্লট ফাইল) এবং একটি বিনামূল্যে ডাউনলোড করতে পারেন demo.py Google ক্লাউড প্ল্যাটফর্ম থেকে ইউটিলিটি, এখানে নিম্নলিখিত কমান্ড ব্যবহার করে।

pip install gsutil
gsutil cp -r gs://tensorboard_plugin_fairness_indicators/ .

ডাউনলোড করা ফাইল ধারণকারী ডিরেক্টরিতে নেভিগেট করুন।

cd tensorboard_plugin_fairness_indicators

এই মূল্যায়নের তথ্য ভিত্তিক সিভিল ডেটা সেটটি কমেন্ট , Tensorflow মডেল বিশ্লেষণ এর ব্যবহার করে হিসাব model_eval_lib গ্রন্থাগার। এটিতে রেফারেন্সের জন্য একটি নমুনা টেনসরবোর্ড সারাংশ ডেটা ফাইল রয়েছে।

demo.py উপযোগ একটি TensorBoard সারসংক্ষেপ ডেটা ফাইল, যা TensorBoard পড়তে হবে ফর্সা সূচক ড্যাশবোর্ড রেন্ডার করতে (দেখুন লিখেছেন TensorBoard টিউটোরিয়াল সারসংক্ষেপ ডেটা ফাইলগুলির সম্পর্কে আরও তথ্যের জন্য)।

পতাকা সঙ্গে ব্যবহার করা demo.py উপযোগিতা:

• --logdir : চিহ্নিত ডিরেক্টরির মধ্যে TensorBoard সারসংক্ষেপ লিখতে হবে
• --eval_result_output_dir : সংগ্রহ TFMA দ্বারা মূল্যায়ন মূল্যায়ন ফলাফল ধারণকারী (শেষ ধাপে ডাউনলোড করা)

চালান demo.py ইউটিলিটি লগ ডিরেক্টরির মধ্যে সারসংক্ষেপ ফলাফল লিখতে:

python demo.py --logdir=. --eval_result_output_dir=.

টেনসরবোর্ড চালান:

tensorboard --logdir=.

এটি একটি স্থানীয় উদাহরণ শুরু করবে। স্থানীয় উদাহরণ শুরু হওয়ার পরে, টার্মিনালে একটি লিঙ্ক প্রদর্শিত হবে। ফেয়ারনেস ইন্ডিকেটর ড্যাশবোর্ড দেখতে আপনার ব্রাউজারে লিঙ্কটি খুলুন।

ডেমো কোলাব

Fairness_Indicators_TensorBoard_Plugin_Example_Colab.ipynb ট্রেন শেষ-টু-এন্ড ডেমো রয়েছে এবং TensorBoard একটি মডেল এবং ঠাহর সততা মূল্যায়ন ফলাফল নির্ণয় করা।

ব্যবহার

আপনার নিজস্ব ডেটা এবং মূল্যায়ন সহ ন্যায্যতা সূচকগুলি ব্যবহার করতে:

1. একটি নতুন মডেল ট্রেন ও ব্যবহার মূল্যায়ন tensorflow_model_analysis.run_model_analysis বা tensorflow_model_analysis.ExtractEvaluateAndWriteResult উপরে API model_eval_lib । এই কিভাবে করতে হবে কোডটি স্নিপেট জন্য, ফর্সা সূচক colab দেখতে এখানে ।

2. লিখুন ব্যবহার ফর্সা সূচক সারাংশ tensorboard_plugin_fairness_indicators.summary_v2 API- টি।

   writer = tf.summary.create_file_writer(<logdir>)
   with writer.as_default():
       summary_v2.FairnessIndicators(<eval_result_dir>, step=1)
   writer.close()
   

3. টেনসরবোর্ড চালান

   • tensorboard --logdir=<logdir>
   • ফলাফলগুলি কল্পনা করতে ড্যাশবোর্ডের বাম দিকে ড্রপ-ডাউন ব্যবহার করে চালানো নতুন মূল্যায়ন নির্বাচন করুন।