Questa pagina è stata tradotta dall'API Cloud Translation.
Switch to English

Miglioramento della qualità del modello con l'analisi del modello TensorFlow

introduzione

Man mano che modifichi il tuo modello durante lo sviluppo, devi verificare se le modifiche migliorano il tuo modello. Il solo controllo dell'accuratezza potrebbe non essere sufficiente. Ad esempio, se si dispone di un classificatore per un problema in cui il 95% delle istanze è positivo, è possibile migliorare l'accuratezza semplicemente prevedendo sempre positivo, ma non si avrà un classificatore molto robusto.

Panoramica

L'obiettivo dell'analisi del modello TensorFlow è fornire un meccanismo per la valutazione del modello in TFX. TensorFlow Model Analysis consente di eseguire valutazioni del modello nella pipeline TFX e visualizzare metriche e grafici risultanti in un notebook Jupyter. In particolare, può fornire:

  • metriche calcolate su tutto il set di dati di training e holdout, nonché sulle valutazioni del giorno successivo
  • monitoraggio delle metriche nel tempo
  • prestazioni di qualità del modello su diverse sezioni di funzionalità

Esportazione di EvalSavedModel dal modello

Per impostare l'analisi del modello TensorFlow in una pipeline TFX, è necessario esportare un modello EvalSaved durante l'addestramento, che è un modello Saved speciale contenente annotazioni per le metriche, le caratteristiche, le etichette e così via nel modello. TensorFlow Model Analysis utilizza questo EvalSavedModel per calcolare le metriche.

Come parte di questo, dovrai fornire un eval_input_receiver_fn speciale, analogo al serving_input_receiver_fn , che estrarrà le caratteristiche e le etichette dai dati di input. Come con serving_input_receiver_fn , abbiamo funzioni di utilità per aiutarti. Nella maggior parte dei casi, dovrai aggiungere meno di 20 righe di codice.

Visualizzazione in un notebook Jupyter

I risultati della valutazione sono visualizzati in un taccuino Jupyter.

Scheda Valutazioni

L'interfaccia utente è composta da tre parti:

  • Selettore metriche

    Per impostazione predefinita, vengono visualizzate tutte le metriche calcolate e le colonne sono ordinate in ordine alfabetico. Il selettore metriche consente all'utente di aggiungere / rimuovere / riordinare le metriche. Basta selezionare / deselezionare le metriche dal menu a discesa (tenere premuto Ctrl per la selezione multipla) o digitare / riorganizzarle direttamente nella casella di input.

    Selettore metrico

  • Grafici di serie storiche

    I grafici delle serie temporali semplificano l'individuazione delle tendenze di una metrica specifica su intervalli di dati o esecuzioni di modelli. Per eseguire il rendering del grafico per la metrica interessata, è sufficiente fare clic su di esso dall'elenco a discesa. Per chiudere un grafico, fai clic sulla X nell'angolo in alto a destra.

    Grafico delle serie temporali di esempio

    Passa il mouse su qualsiasi punto dati nel grafico per visualizzare una descrizione comandi che indica l'esecuzione del modello, l'intervallo di dati e il valore della metrica.

  • Tabella metriche

    La tabella delle metriche riepiloga i risultati per tutte le metriche scelte nel selettore delle metriche. Può essere ordinato facendo clic sul nome della metrica.

Scheda Metriche di affettatura

La scheda Metriche di suddivisione mostra le diverse sezioni di una determinata esecuzione di valutazione. Scegli la configurazione desiderata (valutazione, funzionalità, ecc.) E fai clic su Aggiorna.

L'URL viene aggiornato al momento dell'aggiornamento e contiene un collegamento diretto che codifica la configurazione scelta. Può essere condiviso

L'interfaccia utente è composta da tre parti:

  • Selettore metriche

    Vedi sopra.

  • Visualizzazione metrica

    La visualizzazione metrica mira a fornire intuizione sulle sezioni nella funzione scelta. È disponibile un filtro rapido per filtrare le sezioni con un piccolo conteggio ponderato del campione.

    Vista filtrata di esempio

    Sono supportati due tipi di visualizzazioni:

    1. Panoramica delle sezioni

      In questa vista, il valore per la metrica scelta viene visualizzato per ogni sezione e le sezioni possono essere ordinate in base al nome della sezione o al valore di un'altra metrica.

      Panoramica della sezione di esempio

      Quando il numero di sezioni è piccolo, questa è la vista predefinita.

    2. Istogramma delle metriche

      In questa vista, le sezioni sono suddivise in secchi in base ai loro valori metrici. I valori visualizzati in ciascun bucket possono essere il numero di sezioni nel bucket o il conteggio totale ponderato del campione per tutte le sezioni nel bucket o entrambe.

      Istogramma delle metriche di esempio

      Il numero di secchi può essere modificato e la scala logaritmica può essere applicata nel menu delle impostazioni facendo clic sull'icona a forma di ingranaggio.

      Modifica delle impostazioni dell'istogramma delle metriche

      È anche possibile filtrare i valori anomali nella vista dell'istogramma. Trascina semplicemente l'intervallo desiderato nell'istogramma come mostrato nello screenshot qui sotto.

      Istogramma delle metriche filtrate

      Quando il numero di sezioni è elevato, questa è la vista predefinita.

  • Tabella delle metriche

    Verranno visualizzate solo le sezioni non filtrate. Può essere ordinato facendo clic sull'intestazione di una colonna.