A ferramenta What-If (WIT) oferece uma interface fácil de usar para expandir a compreensão da classificação caixa preta e dos modelos de regressão de ML. Com o plug-in, você pode realizar inferências em um grande conjunto de exemplos e visualizar imediatamente os resultados de várias maneiras. Além disso, os exemplos podem ser editados manualmente ou programaticamente e executados novamente no modelo para ver os resultados das alterações. Ele contém ferramentas para investigar o desempenho e a imparcialidade do modelo em subconjuntos de um conjunto de dados.
O objetivo da ferramenta é fornecer às pessoas uma maneira simples, intuitiva e poderosa de explorar e investigar modelos de ML treinados por meio de uma interface visual sem absolutamente nenhum código necessário.
A ferramenta pode ser acessada por meio do TensorBoard ou diretamente em um notebook Jupyter ou Colab. Para mais em profundidade detalhes, demos, passo a passo, e informações específicas ao uso de WIT no modo notebook, consulte o site What-se a ferramenta .
Requisitos
Para usar o WIT no TensorBoard, duas coisas são necessárias:
- Modelo (s) você deseja explorar deve ser servido usando TensorFlow Servindo usando a classificar, regressão, ou prever API.
- O conjunto de dados a ser inferido pelos modelos deve estar em um arquivo TFRecord acessível pelo servidor da web TensorBoard.
Uso
Ao abrir o painel da ferramenta What-If no TensorBoard, você verá uma tela de configuração onde fornece o host e a porta do servidor do modelo, o nome do modelo que está sendo servido, o tipo de modelo e o caminho para o arquivo TFRecords para carga. Após preencher essas informações e clicar em "Aceitar", o WIT irá carregar o conjunto de dados e executar a inferência com o modelo, exibindo os resultados.
Para mais detalhes sobre os diferentes recursos de inteligência e como eles podem ajudar no modelo de compreensão e investigações justiça, veja o passo a passo no site What-se a ferramenta .
Modelo de demonstração e conjunto de dados
Se você quiser testar WIT em TensorBoard com um modelo pré-treinado, você pode baixar e descompactar um modelo pré-treinados e conjunto de dados do https://storage.googleapis.com/what-if-tool-resources/uci-census -Demo / uci-census-demo.zip o modelo é um modelo de classificação binária que usa a UCI Census conjunto de dados para prever se uma pessoa ganha mais de US $ 50kA ano. Este conjunto de dados e tarefa de previsão é frequentemente usado em modelagem de aprendizado de máquina e pesquisa de justiça.
Defina a variável de ambiente MODEL_PATH para o local do diretório de modelo resultante em sua máquina.
Instale janela de encaixe e TensorFlow Servindo seguindo a documentação oficial .
Sirva o modelo usando janela de encaixe através de docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving . Note que você pode precisar executar o comando com sudo dependendo da configuração do estivador.
Agora inicie o tensorboard e use a lista suspensa do painel para navegar até a ferramenta What-If.
Na tela de configuração, defina o adddress inferência para "localhost: 8500", o nome do modelo de "uci_income" eo caminho para exemplos para o caminho completo para o baixado adult.tfrecord arquivo, em seguida, pressione "Aceitar".
Algumas coisas para tentar com a ferramenta de variações hipotéticas nesta demonstração incluem:
- Editar um único ponto de dados e ver a mudança resultante na inferência.
- Explorar a relação entre recursos individuais no conjunto de dados e os resultados de inferência do modelo por meio de gráficos de dependência parcial.
- Dividir o conjunto de dados em subconjuntos e comparar o desempenho entre as fatias.
Para um olhar em profundidade características da ferramenta, confira o What-se a ferramenta passo a passo .
Observe que o recurso de verdade no conjunto de dados que este modelo está tentando prever é denominado "Alvo", portanto, ao usar a guia "Desempenho e Justiça", "Alvo" é o que você deseja especificar na lista suspensa do recurso de verdade.