Dokumentacja API dla bibliotek tekstowych i NLP.

KerasNLP

Odniesienie do interfejsu API

Najłatwiejszym sposobem rozpoczęcia przetwarzania tekstu w TensorFlow jest użycie KerasNLP, biblioteki przetwarzania języka naturalnego, która zapewnia modułowe komponenty z najnowocześniejszymi wstępnie ustawionymi wagami i architekturami. Możesz użyć gotowych komponentów KerasNLP lub dostosować je do potrzeb. KerasNLP kładzie nacisk na obliczenia w grafie dla wszystkich przepływów pracy, więc możesz oczekiwać łatwej produkcji przy użyciu ekosystemu TensorFlow.

Aby zainstalować KerasNLP, zobacz Instalacja .

Tekst TensorFlow

Odniesienie do interfejsu API

Pakiet tensorflow_text zawiera zbiór klas i operacji powiązanych z tekstem, gotowych do użycia z TensorFlow. Biblioteka może regularnie przeprowadzać wstępne przetwarzanie wymagane przez modele tekstowe i zawiera inne funkcje przydatne do modelowania sekwencji, których nie zapewnia podstawowy TensorFlow.

Aby uzyskać szczegółowe informacje dotyczące instalacji, zapoznaj się z instrukcją

Modele TensorFlow — NLP

Odniesienie do interfejsu API

Repozytorium TensorFlow Models udostępnia implementacje najnowocześniejszych modeli (SOTA). Pakiet pip tensorflow-models-official zawiera wiele funkcji i klas wysokiego poziomu do budowania modeli SOTA NLP, w tym nlp.layers , nlp.losses , nlp.models i nlp.tasks .

Możesz zainstalować pakiet za pomocą pip :

$ pip install tensorflow-models-official  # For the latest release
$ #or
$ pip install tf-models-nightly # For the nightly build

Funkcjonalność NLP jest dostępna w submodule tfm.nlp .

import tensorflow_models as tfm
tfm.nlp