Valutazione dei modelli con il dashboard degli indicatori di correttezza [Beta]

Fairness Indicatori per TensorBoard permette una semplice calcolo delle metriche equità comunemente definite per classificatori binari e multiclasse. Con il plug-in, puoi visualizzare le valutazioni di equità per le tue esecuzioni e confrontare facilmente le prestazioni tra i gruppi.

In particolare, Fairness Indicators per TensorBoard consente di valutare e visualizzare le prestazioni del modello, suddivise in gruppi definiti di utenti. Sentiti sicuro dei tuoi risultati con intervalli di confidenza e valutazioni a più soglie.

Molti strumenti esistenti per valutare i problemi di equità non funzionano bene su set di dati e modelli su larga scala. Per noi di Google è importante disporre di strumenti in grado di funzionare su sistemi da miliardi di utenti. Equità Indicatori vi permetterà di valutare attraverso qualsiasi dimensione di caso d'uso, in ambiente TensorBoard o in Colab .

Requisiti

Per installare gli indicatori di correttezza per TensorBoard, eseguire:

python3 -m virtualenv ~/tensorboard_demo
source ~/tensorboard_demo/bin/activate
pip install --upgrade pip
pip install fairness_indicators
pip install tensorboard-plugin-fairness-indicators

Dimostrazione

Se si desidera testare le Fairness Indicatori in TensorBoard, è possibile scaricare i risultati della valutazione dei campioni di analisi tensorflow Modello (eval_config.json, metriche e file trame) e un demo.py utility da Google Cloud Platform, qui usando seguente comando.

pip install gsutil
gsutil cp -r gs://tensorboard_plugin_fairness_indicators/ .

Passa alla directory contenente i file scaricati.

cd tensorboard_plugin_fairness_indicators

Questi dati di valutazione si basa sulla Civile Commenti dataset , calcolato utilizzando di tensorflow modello di analisi model_eval_lib biblioteca. Contiene anche un file di dati di riepilogo TensorBoard di esempio per riferimento.

Il demo.py utility scrive un file di sintesi TensorBoard di dati, che sarà letto da TensorBoard per rendere il cruscotto Fairness indicatori (Vedere la TensorBoard esercitazione per ulteriori informazioni sui file di dati di sintesi).

Bandiere per essere utilizzati con il demo.py utility:

• --logdir : Directory in cui TensorBoard scriverà il riassunto
• --eval_result_output_dir : Directory contenente i risultati della valutazione valutati da TFMA (scaricato in ultima fase)

Eseguire l' demo.py utilità per scrivere i risultati di sintesi nella directory di registro:

python demo.py --logdir=. --eval_result_output_dir=.

Esegui TensorBoard:

tensorboard --logdir=.

Verrà avviata un'istanza locale. Dopo l'avvio dell'istanza locale, verrà visualizzato un collegamento al terminale. Apri il link nel tuo browser per visualizzare la dashboard degli indicatori di correttezza.

Demo Colab

Fairness_Indicators_TensorBoard_Plugin_Example_Colab.ipynb contiene una demo end-to-end per il treno e valutare un modello e visualizzare i risultati della valutazione di equità in TensorBoard.

utilizzo

Per utilizzare gli indicatori di equità con i propri dati e valutazioni:

1. Addestrare un nuovo modello e valutare con tensorflow_model_analysis.run_model_analysis o tensorflow_model_analysis.ExtractEvaluateAndWriteResult API model_eval_lib . Per frammenti di codice su come fare questo, vedere gli indicatori di congruità CoLab qui .

2. Scrivi Fairness Sintesi Indicatori utilizzando tensorboard_plugin_fairness_indicators.summary_v2 API.

   writer = tf.summary.create_file_writer(<logdir>)
   with writer.as_default():
       summary_v2.FairnessIndicators(<eval_result_dir>, step=1)
   writer.close()
   

3. Esegui TensorBoard

   • tensorboard --logdir=<logdir>
   • Seleziona la nuova esecuzione di valutazione utilizzando il menu a discesa sul lato sinistro della dashboard per visualizzare i risultati.