KerasNLP
Najłatwiejszym sposobem rozpoczęcia przetwarzania tekstu w TensorFlow jest użycie KerasNLP, biblioteki przetwarzania języka naturalnego, która zapewnia modułowe komponenty z najnowocześniejszymi wstępnie ustawionymi wagami i architekturami. Możesz użyć gotowych komponentów KerasNLP lub dostosować je do potrzeb. KerasNLP kładzie nacisk na obliczenia w grafie dla wszystkich przepływów pracy, więc możesz oczekiwać łatwej produkcji przy użyciu ekosystemu TensorFlow.
Aby zainstalować KerasNLP, zobacz Instalacja .
Tekst TensorFlow
Pakiet tensorflow_text zawiera zbiór klas i operacji powiązanych z tekstem, gotowych do użycia z TensorFlow. Biblioteka może regularnie przeprowadzać wstępne przetwarzanie wymagane przez modele tekstowe i zawiera inne funkcje przydatne do modelowania sekwencji, których nie zapewnia podstawowy TensorFlow.
Aby uzyskać szczegółowe informacje dotyczące instalacji, zapoznaj się z instrukcją
Modele TensorFlow — NLP
Repozytorium TensorFlow Models udostępnia implementacje najnowocześniejszych modeli (SOTA). Pakiet pip tensorflow-models-official zawiera wiele funkcji i klas wysokiego poziomu do budowania modeli SOTA NLP, w tym nlp.layers , nlp.losses , nlp.models i nlp.tasks .
Możesz zainstalować pakiet za pomocą pip :
$ pip install tensorflow-models-official # For the latest release
$ #or
$ pip install tf-models-nightly # For the nightly build
Funkcjonalność NLP jest dostępna w submodule tfm.nlp .
import tensorflow_models as tfm
tfm.nlp