Compréhension du modèle avec le tableau de bord de l'outil What-If

Outil de simulation

L'outil What-If (WIT) fournit une interface facile à utiliser pour élargir la compréhension des modèles de classification en boîte noire et de régression ML. Avec le plugin, vous pouvez effectuer des inférences sur un grand nombre d'exemples et visualiser immédiatement les résultats de diverses manières. De plus, les exemples peuvent être modifiés manuellement ou par programmation et réexécutés dans le modèle afin de voir les résultats des modifications. Il contient des outils pour étudier les performances et l'équité du modèle sur des sous-ensembles d'un ensemble de données.

L'objectif de l'outil est de donner aux utilisateurs un moyen simple, intuitif et puissant d'explorer et d'étudier des modèles de ML entraînés via une interface visuelle sans aucun code requis.

L'outil est accessible via TensorBoard ou directement dans un notebook Jupyter ou Colab. Pour de plus amples détails approfondis, des démos, soluces et spécifique de l' information à l' aide de WIT en mode bloc - notes, consultez le What-If web Tool .

Exigences

Pour utiliser WIT dans TensorBoard, deux choses sont nécessaires :

  • Le modèle (s) que vous souhaitez explorer doit être servi en utilisant tensorflow service à l' aide du Classifier, régressent ou prédire API.
  • L'ensemble de données à déduire par les modèles doit être dans un fichier TFRecord accessible par le serveur Web TensorBoard.

Usage

Lors de l'ouverture du tableau de bord What-If Tool dans TensorBoard, vous verrez un écran de configuration dans lequel vous fournissez l'hôte et le port du serveur de modèles, le nom du modèle servi, le type de modèle et le chemin d'accès au fichier TFRecords à charger. Après avoir rempli ces informations et cliqué sur "Accepter", WIT chargera l'ensemble de données et exécutera l'inférence avec le modèle, affichant les résultats.

Pour plus de détails sur les différentes caractéristiques de WIT et comment ils peuvent aider à la compréhension du modèle et des enquêtes d'équité, voir la procédure pas à pas sur le What-If web Tool .

Modèle de démonstration et jeu de données

Si vous voulez tester WIT dans TensorBoard avec un modèle de pré-formation, vous pouvez télécharger et décompresser un modèle pré-formé et ensemble de données https://storage.googleapis.com/what-if-tool-resources/uci-census -demo / uci-census-demo.zip le modèle est un modèle de classification binaire qui utilise le recensement UCI ensemble de données pour prédire si une personne gagne plus de 50 kA $ l' année. Cet ensemble de données et cette tâche de prédiction sont souvent utilisés dans la modélisation de l'apprentissage automatique et la recherche sur l'équité.

Définissez la variable d'environnement MODEL_PATH sur l'emplacement du répertoire du modèle résultant sur votre machine.

Installer docker et tensorflow service suite à la documentation officielle .

Servir le modèle à l' aide docker par l' docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving . Notez que vous devrez peut - être exécuter la commande avec sudo en fonction de la configuration de votre docker.

Lancez maintenant tensorboard et utilisez le menu déroulant du tableau de bord pour accéder à l'outil What-If.

Sur l'écran de configuration, définissez la adddress d'inférence à « localhost: 8500 », le nom du modèle à « uci_income » et le chemin d'exemples pour le chemin complet vers le fichier téléchargé adult.tfrecord fichier, puis appuyez sur « Accepter ».

Écran de configuration pour la démo

Certaines choses à essayer avec l'outil What-If sur cette démo incluent :

  • Modifier un seul point de données et voir le changement résultant de l'inférence.
  • Exploration de la relation entre les caractéristiques individuelles de l'ensemble de données et les résultats d'inférence du modèle via des tracés de dépendance partielle.
  • Découper l'ensemble de données en sous-ensembles et comparer les performances entre les tranches.

Pour un regard en profondeur sur les caractéristiques de l' outil, consultez le What-If procédure pas à pas l' outil .

Notez que la caractéristique de vérité terrain dans l'ensemble de données que ce modèle essaie de prédire est nommée "Cible", donc lorsque vous utilisez l'onglet "Performance et équité", "Cible" est ce que vous voudrez spécifier dans la liste déroulante de la caractéristique de vérité terrain.