निष्पक्षता संकेतक डैशबोर्ड के साथ मॉडल का मूल्यांकन [बीटा]

TensorBoard के लिए फेयरनेस संकेतक द्विआधारी और multiclass classifiers के लिए सामान्य रूप से पहचान निष्पक्षता मैट्रिक्स की आसान गणना सक्षम बनाता है। प्लगइन के साथ, आप अपने रनों के लिए निष्पक्षता मूल्यांकन की कल्पना कर सकते हैं और आसानी से समूहों में प्रदर्शन की तुलना कर सकते हैं।

विशेष रूप से, TensorBoard के लिए निष्पक्षता संकेतक आपको उपयोगकर्ताओं के परिभाषित समूहों में विभाजित मॉडल प्रदर्शन का मूल्यांकन और कल्पना करने की अनुमति देता है। अपने परिणामों के बारे में आत्मविश्वास के अंतराल और कई थ्रेसहोल्ड पर मूल्यांकन के साथ आत्मविश्वास महसूस करें।

निष्पक्षता की चिंताओं के मूल्यांकन के लिए कई मौजूदा उपकरण बड़े पैमाने के डेटासेट और मॉडल पर अच्छी तरह से काम नहीं करते हैं। Google में, हमारे लिए ऐसे टूल होना ज़रूरी है जो अरबों-उपयोगकर्ताओं के सिस्टम पर काम कर सकें। निष्पक्षता संकेतक आप TensorBoard वातावरण में या में उपयोग के मामले के किसी भी आकार के पार मूल्यांकन करने के लिए, की अनुमति देगा Colab ।

आवश्यकताएं

TensorBoard के लिए निष्पक्षता संकेतक स्थापित करने के लिए, चलाएँ:

python3 -m virtualenv ~/tensorboard_demo
source ~/tensorboard_demo/bin/activate
pip install --upgrade pip
pip install fairness_indicators
pip install tensorboard-plugin-fairness-indicators

डेमो

तुम बाहर TensorBoard में निष्पक्षता संकेतक परीक्षण करना चाहते हैं, तो आप नमूना TensorFlow मॉडल विश्लेषण मूल्यांकन परिणाम (eval_config.json, मैट्रिक्स और भूखंडों फ़ाइलें) और एक डाउनलोड कर सकते हैं demo.py Google मेघ प्लेटफ़ॉर्म से उपयोगिता, यहां निम्न आदेश का उपयोग कर।

pip install gsutil
gsutil cp -r gs://tensorboard_plugin_fairness_indicators/ .

डाउनलोड की गई फ़ाइलों वाली निर्देशिका पर नेविगेट करें।

cd tensorboard_plugin_fairness_indicators

यह मूल्यांकन आंकड़ों पर आधारित है सिविल डाटासेट टिप्पणियाँ , Tensorflow मॉडल विश्लेषण के सहायता से की जाती model_eval_lib पुस्तकालय। इसमें संदर्भ के लिए एक नमूना TensorBoard सारांश डेटा फ़ाइल भी है।

demo.py उपयोगिता एक TensorBoard सारांश डेटा फ़ाइल है, जो TensorBoard द्वारा पढ़ा जाएगा निष्पक्षता संकेतक डैशबोर्ड प्रस्तुत करना (देखें लिखते TensorBoard ट्यूटोरियल सारांश डेटा फ़ाइलों बारे में अधिक जानकारी के लिए)।

झंडे के साथ प्रयोग की जाने वाली demo.py उपयोगिता:

• --logdir : निर्देशिका जहां TensorBoard सारांश लिखेंगे
• --eval_result_output_dir : निर्देशिका TFMA द्वारा मूल्यांकन मूल्यांकन परिणाम रखने वाले (अंतिम चरण में डाउनलोड)

भागो demo.py उपयोगिता लॉग निर्देशिका में सारांश परिणाम लिखने के लिए:

python demo.py --logdir=. --eval_result_output_dir=.

टेंसरबोर्ड चलाएँ:

tensorboard --logdir=.

यह एक स्थानीय उदाहरण शुरू करेगा। स्थानीय इंस्टेंस शुरू होने के बाद, टर्मिनल के लिए एक लिंक प्रदर्शित किया जाएगा। फेयरनेस इंडिकेटर डैशबोर्ड देखने के लिए अपने ब्राउज़र में लिंक खोलें।

डेमो कोलाब

Fairness_Indicators_TensorBoard_Plugin_Example_Colab.ipynb प्रशिक्षित करने के लिए एंड-टू-एंड डेमो होता है और TensorBoard में एक मॉडल और कल्पना निष्पक्षता मूल्यांकन परिणामों का मूल्यांकन।

प्रयोग

अपने स्वयं के डेटा और मूल्यांकन के साथ निष्पक्षता संकेतकों का उपयोग करने के लिए:

1. एक नए मॉडल को प्रशिक्षित करने और का उपयोग कर मूल्यांकन tensorflow_model_analysis.run_model_analysis या tensorflow_model_analysis.ExtractEvaluateAndWriteResult में एपीआई model_eval_lib । ऐसा करने के तरीके पर कोड के टुकड़े के लिए, निष्पक्षता संकेतक colab देखने के लिए यहाँ ।

2. लिखें का उपयोग कर निष्पक्षता संकेतक सारांश tensorboard_plugin_fairness_indicators.summary_v2 एपीआई।

   writer = tf.summary.create_file_writer(<logdir>)
   with writer.as_default():
       summary_v2.FairnessIndicators(<eval_result_dir>, step=1)
   writer.close()
   

3. टेंसरबोर्ड चलाएं

   • tensorboard --logdir=<logdir>
   • परिणामों की कल्पना करने के लिए डैशबोर्ड के बाईं ओर ड्रॉप-डाउन का उपयोग करके नए मूल्यांकन रन का चयन करें।