Guida all'elaborazione del testo TensorFlow

La guida all'elaborazione del testo TensorFlow documenta librerie e flussi di lavoro per l'elaborazione del linguaggio naturale (NLP) e introduce concetti importanti per lavorare con il testo.

KerasNLP

KerasNLP è una libreria di elaborazione del linguaggio naturale (NLP) di alto livello che include tutti gli ultimi modelli basati su Transformer e utilità di tokenizzazione di livello inferiore. È la soluzione consigliata per la maggior parte dei casi d'uso della PNL.

• Guida introduttiva a KerasNLP : impara KerasNLP eseguendo l'analisi dei sentimenti a livelli progressivi di complessità, dall'utilizzo di un modello pre-addestrato alla creazione del tuo Transformer da zero.

tf.strings

Il modulo tf.strings fornisce operazioni per lavorare con tensori di stringhe.

• Stringhe Unicode : rappresenta le stringhe Unicode in TensorFlow e le manipola utilizzando gli equivalenti Unicode delle operazioni di stringa standard.

Testo TensorFlow

Se hai bisogno di accedere a strumenti di elaborazione del testo di livello inferiore, puoi utilizzare TensorFlow Text. TensorFlow Text fornisce una raccolta di operazioni e librerie per aiutarti a lavorare con l'input in forma di testo come stringhe di testo non elaborate o documenti.

• Introduzione a TensorFlow Text : scopri come installare TensorFlow Text o crearlo dal sorgente.
• Conversione degli operatori TensorFlow Text in TensorFlow Lite : Converti un modello TensorFlow Text in TensorFlow Lite per la distribuzione su dispositivi mobili, integrati e IoT.

Pre-elaborazione

• Preelaborazione BERT con testo TF : utilizza le operazioni di preelaborazione del testo TensorFlow per trasformare i dati di testo in input per BERT.
• Tokenizzazione con TF Text : comprendi le opzioni di tokenizzazione fornite da TensorFlow Text. Scopri quando potresti voler utilizzare un'opzione piuttosto che un'altra e come questi tokenizer vengono chiamati dall'interno del tuo modello.
• Tokenizer di sottoparole : genera un vocabolario di sottoparole da un set di dati e utilizzalo per creare un text.BertTokenizer dal vocabolario.

Modelli TensorFlow – PNL

La libreria TensorFlow Models - NLP fornisce primitive Keras che possono essere assemblate in modelli basati su Transformer e classi scaffold che consentono una facile sperimentazione con nuove architetture.

• Introduzione alla libreria TensorFlow Models NLP : crea modelli basati su Transformer per attività NLP comuni, tra cui pre-addestramento, etichettatura di span e classificazione utilizzando elementi costitutivi della libreria di modellazione NLP .
• Personalizzazione di un codificatore Transformer : personalizzare tfm.nlp.networks.EncoderScaffold , un'impalcatura di rete codificatore bidirezionale basata su Transformer, per utilizzare nuove architetture di rete.