이 페이지는 Cloud Translation API를 통해 번역되었습니다.
Switch to English

What-If 도구 대시 보드를 사용한 모델 이해

가상 도구

WIT (What-If Tool)는 블랙 박스 분류 및 회귀 ML 모델에 대한 이해를 넓히기 위해 사용하기 쉬운 인터페이스를 제공합니다. 플러그인을 사용하면 많은 예제 세트에서 추론을 수행하고 다양한 방법으로 결과를 즉시 시각화 할 수 있습니다. 또한 예제를 수동 또는 프로그래밍 방식으로 편집하고 모델을 통해 다시 실행하여 변경 결과를 볼 수 있습니다. 여기에는 데이터 집합의 하위 집합에 대한 모델 성능 및 공정성을 조사하기위한 도구가 포함되어 있습니다.

이 도구의 목적은 코드가 전혀 필요하지 않은 시각적 인터페이스를 통해 훈련 된 ML 모델을 탐색하고 조사 할 수있는 단순하고 직관적이며 강력한 방법을 사람들에게 제공하는 것입니다.

이 도구는 TensorBoard를 통해 또는 Jupyter 또는 Colab 노트북에서 직접 액세스 할 수 있습니다. 노트북 모드에서 WIT 사용에 대한 자세한 내용, 데모, 연습 및 정보는 What-If Tool 웹 사이트를 참조하십시오.

요구 사항

TensorBoard에서 WIT를 사용하려면 두 가지가 필요합니다.

  • 탐색하려는 모델은 분류, 회귀 또는 예측 API를 사용하여 TensorFlow Serving을 사용하여 제공되어야합니다.
  • 모델에서 유추 할 데이터 세트는 TensorBoard 웹 서버가 액세스 할 수있는 TFRecord 파일에 있어야합니다.

용법

TensorBoard에서 What-If Tool 대시 보드를 열면 모델 서버의 호스트 및 포트, 제공되는 모델 이름, 모델 유형 및 TFRecords 파일 경로를 제공하는 설정 화면이 표시됩니다. 하중. 이 정보를 작성하고 "수락"을 클릭하면 WIT는 데이터 세트를로드하고 모델과의 추론을 실행하여 결과를 표시합니다.

WIT의 다양한 기능과 모델 이해 및 공정성 조사에 도움이되는 방법에 대한 자세한 내용은 What-If Tool 웹 사이트 의 연습을 참조하십시오.

데모 모델 및 데이터 세트

사전 훈련 된 모델로 TensorBoard에서 WIT를 테스트하려는 경우 https://storage.googleapis.com/what-if-tool-resources/uci-census 에서 사전 훈련 된 모델 및 데이터 세트를 다운로드하여 압축을 풀 수 있습니다. -demo / uci-census-demo.zip 이 모델은 UCI 인구 조사 데이터 세트를 사용하여 개인이 $ 50ka 연도 이상을 벌고 있는지 여부를 예측하는 이진 분류 모델입니다. 이 데이터 세트 및 예측 작업은 종종 기계 학습 모델링 및 공정성 연구에 사용됩니다.

환경 변수 MODEL_PATH를 머신의 결과 모델 디렉토리 위치로 설정하십시오.

공식 문서에 따라 도커와 TensorFlow Serving을 설치하십시오.

docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving 통해 docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving 사용하여 모델을 docker run -p 8500:8500 --mount type=bind,source=${MODEL_PATH},target=/models/uci_income -e MODEL_NAME=uci_income -t tensorflow/serving . 도커 설정에 따라 sudo 하여 명령을 실행해야 할 수도 있습니다.

이제 tensorboard를 시작하고 대시 보드 드롭 다운을 사용하여 What-If 도구로 이동하십시오.

설정 화면에서 추론 주소를 "localhost : 8500"으로, 모델 이름을 "uci_income"으로, 예제 경로를 다운로드 한 adult.tfrecord 파일의 전체 경로로 설정 한 다음 "Accept"를 누릅니다.

데모 설정 화면

이 데모에서 What-If 도구로 시도해 볼 사항은 다음과 같습니다.

  • 단일 데이터 포인트 편집 및 결과 추론 변경 확인
  • 부분 의존도를 통해 데이터 세트의 개별 피처와 모델의 추론 결과 간의 관계를 탐색합니다.
  • 데이터 세트를 서브 세트로 분할하고 슬라이스 간 성능을 비교합니다.

도구의 기능을 자세히 살펴 보려면 What-If Tool 연습을 확인하십시오.

이 모델에서 예측하려는 데이터 집합의 기본 진리 기능은 "대상"으로 명명되므로 "성능 및 공정성"탭을 사용할 때 "대상"은 기본 진실 기능 드롭 다운에서 지정하려는 것입니다.