Wprowadzenie do tekstu TensorFlow

TensorFlow Text udostępnia zbiór klas i operacji związanych z tekstem, gotowych do użycia w TensorFlow 2.0. Biblioteka może przeprowadzać przetwarzanie wstępne wymagane regularnie w modelach tekstowych i zawiera inne funkcje przydatne do modelowania sekwencji, których nie zapewnia podstawowy TensorFlow.

Zaletą korzystania z tych operacji we wstępnym przetwarzaniu tekstu jest to, że są one wykonywane na wykresie TensorFlow. Nie musisz się martwić, że tokenizacja podczas szkolenia będzie inna niż tokenizacja przy wnioskowaniu lub zarządzaniu skryptami przetwarzania wstępnego.

Zainstaluj tekst TensorFlow

Zainstaluj za pomocą pip

Podczas instalowania TF Text za pomocą pip install zwróć uwagę na wersję TensorFlow, z której korzystasz, ponieważ powinieneś określić odpowiednią wersję TF Text.

pip install -U tensorflow-text==<version>

Kompiluj ze źródła

Tekst TensorFlow musi być zbudowany w tym samym środowisku co TensorFlow. Dlatego też, jeśli ręcznie tworzysz tekst TF, zdecydowanie zaleca się zbudowanie również TensorFlow.

Jeśli budujesz na MacOS, musisz mieć zainstalowany coreutils. Prawdopodobnie najłatwiej jest to zrobić w Homebrew. Najpierw zbuduj TensorFlow ze źródła .

Sklonuj repozytorium TF Text.

git clone  https://github.com/tensorflow/text.git

Na koniec uruchom skrypt kompilacji, aby utworzyć pakiet pip.

./oss_scripts/run_build.sh