ন্যায্যতা সূচক ড্যাশবোর্ডের সাথে মডেলের মূল্যায়ন করা [বিটা]

টেনসরবোর্ডের জন্য ন্যায্যতা সূচকগুলি বাইনারি এবং মাল্টিক্লাস শ্রেণীবিভাগের জন্য সাধারণভাবে চিহ্নিত ন্যায্যতা মেট্রিক্সের সহজ গণনা সক্ষম করে। প্লাগইন দিয়ে, আপনি আপনার রানের জন্য ন্যায্যতা মূল্যায়ন কল্পনা করতে পারেন এবং সহজেই গ্রুপ জুড়ে পারফরম্যান্সের তুলনা করতে পারেন।

বিশেষ করে, টেনসরবোর্ডের জন্য ন্যায্যতা সূচক আপনাকে ব্যবহারকারীদের সংজ্ঞায়িত গোষ্ঠীতে কাটা মডেলের কর্মক্ষমতা মূল্যায়ন এবং কল্পনা করতে দেয়। একাধিক থ্রেশহোল্ডে আত্মবিশ্বাসের ব্যবধান এবং মূল্যায়ন সহ আপনার ফলাফল সম্পর্কে আত্মবিশ্বাসী বোধ করুন।

ন্যায্যতা উদ্বেগ মূল্যায়নের জন্য বিদ্যমান অনেক সরঞ্জাম বড় আকারের ডেটাসেট এবং মডেলগুলিতে ভাল কাজ করে না। Google-এ, বিলিয়ন-ব্যবহারকারী সিস্টেমে কাজ করতে পারে এমন সরঞ্জাম থাকা আমাদের জন্য গুরুত্বপূর্ণ। ফেয়ারনেস ইন্ডিকেটর আপনাকে টেনসরবোর্ড পরিবেশে বা Colab- এ যেকোনো আকারের ব্যবহারের ক্ষেত্রে মূল্যায়ন করার অনুমতি দেবে।

প্রয়োজনীয়তা

টেনসরবোর্ডের জন্য ন্যায্যতা সূচক ইনস্টল করতে, চালান:

python3 -m virtualenv ~/tensorboard_demo
source ~/tensorboard_demo/bin/activate
pip install --upgrade pip
pip install fairness_indicators
pip install tensorboard-plugin-fairness-indicators

ডেমো

আপনি যদি TensorBoard-এ ন্যায্যতা সূচকগুলি পরীক্ষা করতে চান, আপনি এখানে নিম্নলিখিত কমান্ড ব্যবহার করে, Google Cloud Platform থেকে নমুনা TensorFlow মডেল বিশ্লেষণ মূল্যায়ন ফলাফল (eval_config.json, মেট্রিক্স এবং প্লট ফাইল) এবং একটি demo.py ইউটিলিটি ডাউনলোড করতে পারেন।

pip install gsutil
gsutil cp -r gs://tensorboard_plugin_fairness_indicators/ .

ডাউনলোড করা ফাইল ধারণকারী ডিরেক্টরিতে নেভিগেট করুন।

cd tensorboard_plugin_fairness_indicators

এই মূল্যায়নের ডেটা সিভিল কমেন্ট ডেটাসেটের উপর ভিত্তি করে তৈরি করা হয়েছে, টেনসরফ্লো মডেল অ্যানালাইসিসের মডেল_ইভাল_লিব লাইব্রেরি ব্যবহার করে গণনা করা হয়েছে। এটিতে রেফারেন্সের জন্য একটি নমুনা টেনসরবোর্ড সারাংশ ডেটা ফাইল রয়েছে।

demo.py ইউটিলিটি একটি TensorBoard সারাংশ ডেটা ফাইল লেখে, যা ফেয়ারনেস ইন্ডিকেটর ড্যাশবোর্ড রেন্ডার করার জন্য TensorBoard দ্বারা পড়া হবে (সারাংশ ডেটা ফাইল সম্পর্কে আরও তথ্যের জন্য TensorBoard টিউটোরিয়াল দেখুন)।

demo.py ইউটিলিটির সাথে ব্যবহার করা পতাকা:

• --logdir : ডিরেক্টরি যেখানে TensorBoard সারাংশ লিখবে
• --eval_result_output_dir : TFMA দ্বারা মূল্যায়ন করা মূল্যায়ন ফলাফল ধারণকারী ডিরেক্টরি (শেষ ধাপে ডাউনলোড করা হয়েছে)

লগ ডিরেক্টরিতে সারাংশ ফলাফল লিখতে demo.py ইউটিলিটি চালান:

python demo.py --logdir=. --eval_result_output_dir=.

টেনসরবোর্ড চালান:

tensorboard --logdir=.

এটি একটি স্থানীয় উদাহরণ শুরু করবে। স্থানীয় উদাহরণ শুরু হওয়ার পরে, টার্মিনালে একটি লিঙ্ক প্রদর্শিত হবে। ফেয়ারনেস ইন্ডিকেটর ড্যাশবোর্ড দেখতে আপনার ব্রাউজারে লিঙ্কটি খুলুন।

ডেমো কোলাব

Fairness_Indicators_TensorBoard_Plugin_Example_Colab.ipynb- এ একটি মডেলকে প্রশিক্ষণ ও মূল্যায়ন করার জন্য এবং TensorBoard-এ ন্যায্যতা মূল্যায়ন ফলাফল কল্পনা করার জন্য একটি এন্ড-টু-এন্ড ডেমো রয়েছে।

ব্যবহার

আপনার নিজস্ব ডেটা এবং মূল্যায়ন সহ ন্যায্যতা সূচকগুলি ব্যবহার করতে:

1. মডেল_ eval_lib- এ tensorflow_model_analysis.run_model_analysis বা tensorflow_model_analysis.ExtractEvaluateAndWriteResult API ব্যবহার করে একটি নতুন মডেলকে প্রশিক্ষণ দিন এবং মূল্যায়ন করুন। এটি কীভাবে করবেন তার কোড স্নিপেটগুলির জন্য, এখানে ফেয়ারনেস ইন্ডিকেটর কোলাব দেখুন।

2. tensorboard_plugin_fairness_indicators.summary_v2 API ব্যবহার করে ফেয়ারনেস ইন্ডিকেটর সারাংশ লিখুন।

   writer = tf.summary.create_file_writer(<logdir>)
   with writer.as_default():
       summary_v2.FairnessIndicators(<eval_result_dir>, step=1)
   writer.close()
   

3. টেনসরবোর্ড চালান

   • tensorboard --logdir=<logdir>
   • ফলাফলগুলি কল্পনা করতে ড্যাশবোর্ডের বাম দিকে ড্রপ-ডাউন ব্যবহার করে চালানো নতুন মূল্যায়ন নির্বাচন করুন।