Diese Seite wurde von der Cloud Translation API übersetzt.
Switch to English

Modellverständnis mit dem Was-wäre-wenn-Tool-Dashboard

Was-wäre-wenn-Tool

Das What-If-Tool (WIT) bietet eine benutzerfreundliche Oberfläche für ein besseres Verständnis der Black-Box-Klassifizierungs- und Regressions-ML-Modelle. Mit dem Plugin können Sie Rückschlüsse auf eine Vielzahl von Beispielen ziehen und die Ergebnisse sofort auf verschiedene Arten visualisieren. Darüber hinaus können Beispiele manuell oder programmgesteuert bearbeitet und erneut durch das Modell ausgeführt werden, um die Ergebnisse der Änderungen anzuzeigen. Es enthält Tools zur Untersuchung der Modellleistung und -gerechtigkeit über Teilmengen eines Datensatzes.

Der Zweck des Tools besteht darin, Menschen eine einfache, intuitive und leistungsstarke Möglichkeit zu bieten, trainierte ML-Modelle über eine visuelle Oberfläche zu erkunden und zu untersuchen, ohne dass Code erforderlich ist.

Auf das Tool kann über TensorBoard oder direkt in einem Jupyter- oder Colab-Notizbuch zugegriffen werden. Weitere Informationen, Demos, exemplarische Vorgehensweisen und Informationen zur Verwendung von WIT im Notebook-Modus finden Sie auf der Website des Was-wäre-wenn-Tools .

Bedarf

Um WIT in TensorBoard verwenden zu können, sind zwei Dinge erforderlich:

  • Die Modelle, die Sie untersuchen möchten, müssen mithilfe von TensorFlow Serving mithilfe der Klassifizierungs-, Regress- oder Vorhersage-API bereitgestellt werden.
  • Der von den Modellen abzuleitende Datensatz muss sich in einer TFRecord-Datei befinden, auf die der TensorBoard-Webserver zugreifen kann.

Verwendung

Wenn Sie das Dashboard "Was-wäre-wenn-Tool" in TensorBoard öffnen, wird ein Setup-Bildschirm angezeigt, in dem Sie den Host und den Port des Modellservers, den Namen des zu versorgenden Modells, den Modelltyp und den Pfad zur TFRecords-Datei angeben Belastung. Nachdem Sie diese Informationen ausgefüllt und auf "Akzeptieren" geklickt haben, lädt WIT den Datensatz und führt eine Inferenz mit dem Modell durch, wobei die Ergebnisse angezeigt werden.

Ausführliche Informationen zu den verschiedenen Funktionen von WIT und wie sie zum Verständnis des Modells und zu Fairness-Untersuchungen beitragen können, finden Sie in der exemplarischen Vorgehensweise auf der What-If-Tool-Website .

Demomodell und Datensatz

Wenn Sie WIT in TensorBoard mit einem vorab trainierten Modell testen möchten, können Sie ein vorab trainiertes Modell und einen Datensatz unter https://storage.googleapis.com/what-if-tool-resources/uci-census herunterladen und entpacken -demo / uci-census-demo.zip Das Modell ist ein binäres Klassifizierungsmodell, das anhand des UCI-Volkszählungsdatensatzes vorhersagt, ob eine Person mehr als 50 USD pro Jahr verdient. Diese Datensatz- und Vorhersageaufgabe wird häufig in der Modellierung des maschinellen Lernens und in der Fairness-Forschung verwendet.

Setzen Sie die Umgebungsvariable MODEL_PATH auf den Speicherort des resultierenden Modellverzeichnisses auf Ihrem Computer.

Installieren Sie Docker und TensorFlow Serving gemäß der offiziellen Dokumentation .

Servieren Sie das Modell mit Docker über den docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving . Beachten Sie, dass Sie den Befehl je nach Docker-Setup möglicherweise mit sudo ausführen müssen.

Starten Sie nun das Tensorboard und navigieren Sie über das Dropdown-Menü des Dashboards zum Was-wäre-wenn-Tool.

Setzen Sie auf dem Setup-Bildschirm die Inferenzadresse auf "localhost: 8500", den Modellnamen auf "uci_income" und den Pfad zu Beispielen zum vollständigen Pfad zur heruntergeladenen Datei adult.tfrecord und adult.tfrecord dann auf "Akzeptieren".

Setup-Bildschirm für die Demo

Einige Dinge, die Sie mit dem Was-wäre-wenn-Tool in dieser Demo versuchen sollten, sind:

  • Bearbeiten eines einzelnen Datenpunkts und Anzeigen der daraus resultierenden Änderung der Inferenz.
  • Die Untersuchung der Beziehung zwischen einzelnen Merkmalen im Datensatz und den Inferenzergebnissen des Modells erfolgt durch partielle Abhängigkeitsdiagramme.
  • Aufteilen des Datensatzes in Teilmengen und Vergleichen der Leistung zwischen Slices.

Weitere Informationen zu den Funktionen des Tools finden Sie in der exemplarischen Vorgehensweise zum Was-wäre-wenn-Tool .

Beachten Sie, dass das Grundwahrheitsmerkmal in dem Datensatz, den dieses Modell vorhersagen möchte, den Namen "Ziel" trägt. Wenn Sie also die Registerkarte "Leistung und Fairness" verwenden, möchten Sie "Ziel" in der Dropdown-Liste "Grundwahrheitsmerkmal" angeben.