Cette page a été traduite par l'API Cloud Translation.
Switch to English

Compréhension du modèle avec le tableau de bord de l'outil What-If

Outil What-If

L'outil What-If (WIT) fournit une interface facile à utiliser pour élargir la compréhension de la classification en boîte noire et des modèles ML de régression. Avec le plugin, vous pouvez effectuer des inférences sur un grand nombre d'exemples et visualiser immédiatement les résultats de différentes manières. En outre, les exemples peuvent être modifiés manuellement ou par programme et réexécutés dans le modèle afin de voir les résultats des modifications. Il contient des outils permettant d'étudier les performances et l'équité du modèle sur des sous-ensembles d'un ensemble de données.

Le but de l'outil est de donner aux gens un moyen simple, intuitif et puissant d'explorer et d'étudier des modèles d'apprentissage automatique formés via une interface visuelle sans aucun code requis.

L'outil est accessible via TensorBoard ou directement dans un notebook Jupyter ou Colab. Pour plus de détails, des démonstrations, des procédures pas à pas et des informations spécifiques à l'utilisation de WIT en mode bloc-notes, consultez le site Web What-If Tool .

Exigences

Pour utiliser WIT dans TensorBoard, deux choses sont nécessaires:

  • Le ou les modèles que vous souhaitez explorer doivent être diffusés à l' aide de TensorFlow Serving à l'aide de l'API classify, regress ou predict.
  • L'ensemble de données à inférer par les modèles doit être dans un fichier TFRecord accessible par le serveur Web TensorBoard.

Usage

Lorsque vous ouvrez le tableau de bord What-If Tool dans TensorBoard, vous verrez un écran de configuration dans lequel vous indiquez l'hôte et le port du serveur de modèles, le nom du modèle servi, le type de modèle et le chemin d'accès au fichier TFRecords à charge. Après avoir rempli ces informations et cliqué sur «Accepter», WIT chargera le jeu de données et exécutera l'inférence avec le modèle, affichant les résultats.

Pour plus de détails sur les différentes fonctionnalités de WIT et sur la manière dont elles peuvent contribuer à la compréhension des modèles et aux enquêtes d'équité, consultez la procédure pas à pas sur le site Web What-If Tool .

Modèle de démonstration et jeu de données

Si vous souhaitez tester WIT dans TensorBoard avec un modèle pré-entraîné, vous pouvez télécharger et décompresser un modèle et un ensemble de données pré-formés à partir de https://storage.googleapis.com/what-if-tool-resources/uci-census -demo / uci-census-demo.zip Le modèle est un modèle de classification binaire qui utilise l'ensemble de données du recensement UCI pour prédire si une personne gagne plus de 50 000 $ par an. Cet ensemble de données et cette tâche de prédiction sont souvent utilisés dans la modélisation de l'apprentissage automatique et la recherche sur l'équité.

Définissez la variable d'environnement MODEL_PATH sur l'emplacement du répertoire de modèle résultant sur votre machine.

Installez docker et TensorFlow Serving en suivant la documentation officielle .

Servir le modèle à l'aide de docker via docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving . Notez que vous devrez peut-être exécuter la commande avec sudo fonction de la configuration de votre docker.

Lancez maintenant tensorboard et utilisez la liste déroulante du tableau de bord pour accéder à l'outil What-If.

Sur l'écran de configuration, définissez l'adresse d'inférence sur "localhost: 8500", le nom du modèle sur "uci_income" et le chemin d'accès aux exemples vers le chemin complet du fichier adult.tfrecord téléchargé, puis appuyez sur "Accepter".

Écran de configuration pour la démonstration

Certaines choses à essayer avec l'outil What-If sur cette démo incluent:

  • Modifier un seul point de données et voir le changement résultant de l'inférence.
  • L'exploration de la relation entre les entités individuelles du jeu de données et les résultats d'inférence du modèle via des graphiques de dépendance partielle.
  • Découpage de l'ensemble de données en sous-ensembles et comparaison des performances entre les tranches.

Pour un aperçu détaillé des fonctionnalités de l'outil, consultez la procédure pas à pas de l'outil What-If .

Notez que l'entité de vérité terrain dans le jeu de données que ce modèle tente de prédire est nommée «Cible». Ainsi, lorsque vous utilisez l'onglet «Performances et équité», «Cible» est ce que vous voudrez spécifier dans la liste déroulante des entités de vérité terrain.