What-If 도구 대시 보드를 사용한 모델 이해

What-If 도구

What-If 도구 (WIT)는 블랙 박스 분류 및 회귀 ML 모델에 대한 이해를 확장 할 수있는 사용하기 쉬운 인터페이스를 제공합니다. 플러그인을 사용하면 많은 예제에 대한 추론을 수행하고 다양한 방법으로 결과를 즉시 시각화 할 수 있습니다. 또한 예제를 수동 또는 프로그래밍 방식으로 편집하고 변경 결과를 확인하기 위해 모델을 다시 실행할 수 있습니다. 여기에는 데이터 세트의 하위 집합에 대한 모델 성능 및 공정성을 조사하기위한 도구가 포함되어 있습니다.

이 도구의 목적은 사람들에게 코드가 전혀 필요하지 않은 시각적 인터페이스를 통해 훈련 된 ML 모델을 탐색하고 조사 할 수있는 간단하고 직관적이며 강력한 방법을 제공하는 것입니다.

이 도구는 TensorBoard를 통해 또는 Jupyter 또는 Colab 노트북에서 직접 액세스 할 수 있습니다. 노트북 모드에서 WIT를 사용하는 것과 관련된 자세한 내용, 데모, 연습 및 정보는 What-If Tool 웹 사이트를 참조하십시오.

요구 사항

TensorBoard에서 WIT를 사용하려면 두 가지가 필요합니다.

  • 탐색하려는 모델은 분류, 회귀 또는 예측 API를 사용하여 TensorFlow Serving을 사용하여 제공되어야합니다.
  • 모델에서 추론 할 데이터 세트는 TensorBoard 웹 서버에서 액세스 할 수있는 TFRecord 파일에 있어야합니다.

용법

TensorBoard에서 What-If Tool 대시 보드를 열면 모델 서버의 호스트 및 포트, 제공되는 모델 이름, 모델 유형 및 TFRecords 파일 경로를 제공하는 설정 화면이 표시됩니다. 하중. 이 정보를 입력하고 "수락"을 클릭하면 WIT는 데이터 세트를로드하고 모델에 대한 추론을 실행하여 결과를 표시합니다.

WIT의 다양한 기능과 모델 이해 및 공정성 조사에 도움이되는 방법에 대한 자세한 내용은 What-If Tool 웹 사이트 의 연습을 참조하십시오.

데모 모델 및 데이터 세트

당신은 사전에 훈련 된 모델 TensorBoard에서 WIT을 테스트하려는 경우, 당신은 다운로드에서 사전 교육을받은 모델과 데이터 셋 압축을 해제 할 수 있습니다https://storage.googleapis.com/what-if-tool-resources/uci-census을 -demo / uci-census-demo.zip 이 모델은 UCI Census 데이터 세트를 사용하여 개인의 연간 수입이 $ 50ka 이상인지 예측하는 이진 분류 모델입니다. 이 데이터 세트 및 예측 작업은 기계 학습 모델링 및 공정성 연구에 자주 사용됩니다.

환경 변수 MODEL_PATH를 머신의 결과 모델 디렉토리 위치로 설정합니다.

공식 문서에 따라 docker 및 TensorFlow Serving을 설치합니다.

docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving 통해 docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving 사용하여 모델을 docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving 합니다. Docker 설정에 따라 sudo 명령을 실행해야 할 수도 있습니다.

이제 텐서 보드를 시작하고 대시 보드 드롭 다운을 사용하여 What-If 도구로 이동합니다.

설정 화면에서 추론 주소를 "localhost : 8500"으로, 모델 이름을 "uci_income"으로, 예제 경로를 다운로드 된 adult.tfrecord 파일의 전체 경로로 설정 한 다음 "Accept"를 누릅니다.

데모 설정 화면

이 데모에서 What-If 도구로 시도 할 수있는 몇 가지 사항은 다음과 같습니다.

  • 단일 데이터 포인트를 편집하고 추론의 결과 변경 확인.
  • 부분 종속성 플롯을 통해 데이터 세트의 개별 기능과 모델의 추론 결과 간의 관계를 탐색합니다.
  • 데이터 세트를 하위 집합으로 분할하고 조각 간의 성능을 비교합니다.

도구의 기능에 대한 자세한 내용은 What-If 도구 연습을 확인하십시오.

이 모델이 예측하려는 데이터 세트의 Ground Truth 기능은 "Target"이라는 이름을 사용하므로 "Performance & Fairness"탭을 사용할 때 "Target"은 Ground Truth 기능 드롭 다운에서 지정하려는 항목입니다.