A Ferramenta What-If (WIT) fornece uma interface fácil de usar para expandir a compreensão dos modelos ML de classificação e regressão de caixa preta. Com o plug-in, você pode realizar inferência em um grande conjunto de exemplos e visualizar imediatamente os resultados de várias maneiras. Além disso, os exemplos podem ser editados manual ou programaticamente e executar novamente o modelo para ver os resultados das alterações. Ele contém ferramentas para investigar o desempenho e a justiça do modelo sobre subconjuntos de um conjunto de dados.
O objetivo da ferramenta é oferecer às pessoas uma maneira simples, intuitiva e poderosa de explorar e investigar modelos de ML treinados por meio de uma interface visual com absolutamente nenhum código necessário.
A ferramenta pode ser acessada através do TensorBoard ou diretamente em um notebook Jupyter ou Colab. Para obter detalhes mais detalhados, demonstrações, orientações e informações específicas sobre o uso do WIT no modo notebook, consulte o site da ferramenta What-If Tool .
Exigências
Para usar o WIT no TensorBoard, duas coisas são necessárias:
- O (s) modelo (s) que você deseja explorar devem ser exibidos usando o TensorFlow Serving usando a API de classificação, regressão ou previsão.
- O conjunto de dados a ser inferido pelos modelos deve estar em um arquivo TFRecord acessível pelo servidor da web TensorBoard.
Uso
Ao abrir o painel What-If Tool no TensorBoard, você verá uma tela de configuração na qual fornece o host e a porta do servidor de modelo, o nome do modelo que está sendo servido, o tipo de modelo e o caminho para o arquivo TFRecords para carga. Depois de preencher essas informações e clicar em "Aceitar", o WIT carregará o conjunto de dados e executará inferência com o modelo, exibindo os resultados.
Para obter detalhes sobre os diferentes recursos do WIT e como eles podem ajudar na compreensão de modelos e investigações de justiça, consulte o passo a passo no site What-If Tool .
Modelo de demonstração e conjunto de dados
Se você quiser testar o WIT no TensorBoard com um modelo pré-treinado, poderá baixar e descompactar um modelo e conjunto de dados pré-treinado em https://storage.googleapis.com/what-if-tool-resources/uci-census -demo / uci-census-demo.zip O modelo é um modelo de classificação binária que usa o conjunto de dados do Censo da UCI para prever se uma pessoa ganha mais de US $ 50ka por ano. Essa tarefa de conjunto de dados e previsão é frequentemente usada na modelagem de aprendizado de máquina e na pesquisa de justiça.
Defina a variável de ambiente MODEL_PATH para o local do diretório de modelo resultante em sua máquina.
Instale a janela de encaixe e o TensorFlow Serving seguindo a documentação oficial .
Sirva o modelo usando o docker através da docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving . Observe que pode ser necessário executar o comando com sudo dependendo da configuração da janela de encaixe.
Agora inicie o tensorboard e use o menu suspenso do painel para navegar para a ferramenta What-If.
Na tela de configuração, defina o endereço de inferência como "localhost: 8500", o nome do modelo como "uci_income" e o caminho dos exemplos para o caminho completo do arquivo adult.tfrecord baixado e pressione "Aceitar".
Algumas coisas a experimentar com a ferramenta What-If nesta demonstração incluem:
- Editando um único ponto de dados e vendo a mudança resultante na inferência.
- Explorando o relacionamento entre recursos individuais no conjunto de dados e os resultados de inferência do modelo por meio de gráficos de dependência parcial.
- Fatiar o conjunto de dados em subconjuntos e comparar o desempenho entre as fatias.
Para uma análise detalhada dos recursos da ferramenta, consulte o passo a passo da ferramenta What-If .
Observe que o recurso de verdade do solo no conjunto de dados que este modelo está tentando prever é chamado de "Alvo"; portanto, ao usar a guia "Desempenho e justiça", "Alvo" é o que você deseja especificar no menu suspenso do recurso de verdade do solo.