Ta strona została przetłumaczona przez Cloud Translation API.
Switch to English

Poprawa jakości modelu dzięki analizie modelu TensorFlow

Wprowadzenie

Podczas modyfikowania modelu w trakcie opracowywania należy sprawdzić, czy zmiany poprawiają model. Samo sprawdzenie dokładności może nie wystarczyć. Na przykład, jeśli masz klasyfikator dla problemu, w którym 95% twoich wystąpień jest pozytywnych, możesz poprawić dokładność, po prostu zawsze przewidując pozytywny, ale nie będziesz miał bardzo solidnego klasyfikatora.

Przegląd

Celem analizy modelu TensorFlow jest zapewnienie mechanizmu oceny modelu w TFX. Analiza modelu TensorFlow umożliwia przeprowadzanie ocen modeli w potoku TFX i wyświetlanie wynikowych metryk i wykresów w notatniku Jupyter. W szczególności może zapewnić:

  • metryki obliczone dla całego zbioru danych dotyczących szkolenia i wstrzymania, a także ocen z następnego dnia
  • śledzenie wskaźników w czasie
  • wydajność jakości modelu na różnych wycinkach cech

Eksportowanie EvalSavedModel z modelu

Aby skonfigurować analizę modelu TensorFlow w potoku TFX, podczas szkolenia należy wyeksportować model EvalSavedModel, który jest specjalnym modelem SavedModel zawierającym adnotacje do metryk, funkcji, etykiet i tak dalej w modelu. Analiza modelu TensorFlow wykorzystuje ten model EvalSavedModel do obliczania metryk.

W ramach tego będziesz musiał dostarczyć specjalny eval_input_receiver_fn , analogiczny do serving_input_receiver_fn , który wyodrębni cechy i etykiety z danych wejściowych. Podobnie jak w przypadku serving_input_receiver_fn , mamy w tym pomoc funkcje narzędziowe. W większości przypadków będziesz musiał dodać mniej niż 20 linii kodu.

Wizualizacja w notatniku Jupyter

Wyniki oceny są wizualizowane w notatniku Jupyter.

Zakładka Oceny

Interfejs użytkownika składa się z trzech części:

  • Selektor metryk

    Domyślnie wszystkie obliczone metryki są wyświetlane, a kolumny są sortowane alfabetycznie. Selektor metryk umożliwia użytkownikowi dodawanie / usuwanie / zmianę kolejności metryk. Po prostu zaznacz / odznacz metryki z listy rozwijanej (przytrzymaj Ctrl, aby wybrać wielokrotny) lub wpisz / zmień rozmieszczenie bezpośrednio w polu wprowadzania.

    Selektor metryczny

  • Wykresy szeregów czasowych

    Wykresy szeregów czasowych ułatwiają dostrzeżenie trendów określonych danych w zakresie zakresów danych lub przebiegów modelu. Aby wyrenderować wykres dla danej metryki, po prostu kliknij ją z listy rozwijanej. Aby odrzucić wykres, kliknij X w prawym górnym rogu.

    Przykładowy wykres szeregów czasowych

    Najechanie kursorem na dowolny punkt danych na wykresie powoduje wyświetlenie podpowiedzi wskazującej przebieg modelu, zakres danych i wartość metryki.

  • Tabela metryk

    Tabela danych zawiera podsumowanie wyników dla wszystkich danych wybranych w selektorze danych. Można je sortować, klikając nazwę metryki.

Karta Metryki wycinania

Karta metryki wycinania pokazuje, jak działają różne wycinki określonego przebiegu oceny. Wybierz żądaną konfigurację (eval, funkcja itp.) I kliknij przycisk odśwież.

Adres URL jest aktualizowany po odświeżeniu i zawiera precyzyjny link, który koduje wybraną konfigurację. Można to udostępniać.

Interfejs użytkownika składa się z trzech części:

  • Selektor metryk

    Patrz wyżej.

  • Wizualizacja metryczna

    Wizualizacja metryczna ma na celu zapewnienie intuicji dotyczącej wycinków w wybranej funkcji. Dostępne jest szybkie filtrowanie w celu odfiltrowania plasterków o małej ważonej liczbie próbek.

    Przykładowy filtrowany widok

    Obsługiwane są dwa typy wizualizacji:

    1. Omówienie plasterków

      W tym widoku wartość wybranej metryki jest renderowana dla każdego wycinka, a wycinki można sortować według nazwy wycinka lub wartości innej metryki.

      Przegląd próbnego wycinka

      Gdy liczba plasterków jest mała, jest to widok domyślny.

    2. Metryki Histogram

      W tym widoku wycinki są podzielone na segmenty na podstawie ich wartości metrycznych. Wartością (wartościami) wyświetlanymi w każdym segmencie może być liczba wycinków w wiadrze lub łączna zważona liczba próbek dla wszystkich wycinków w wiadrze lub jedno i drugie.

      Przykładowy histogram metryk

      Liczbę segmentów można zmienić i zastosować skalę logarytmiczną w menu ustawień, klikając ikonę koła zębatego.

      Zmiana ustawień histogramu metryk

      Możliwe jest również odfiltrowanie wartości odstających w widoku histogramu. Po prostu przeciągnij żądany zakres na histogramie, jak pokazano na zrzucie ekranu poniżej.

      Histogram metryk filtrowanych

      Jeśli liczba plasterków jest duża, jest to widok domyślny.

  • Tabela metryk

    Renderowane będą tylko wycinki, które nie zostały odfiltrowane. Można go sortować, klikając nagłówek kolumny.