TensorFlow Text zapewnia zbiór klas i operacji powiązanych z tekstem, gotowych do użycia z TensorFlow 2.0. Biblioteka może wykonywać wstępne przetwarzanie regularnie wymagane przez modele tekstowe i zawiera inne funkcje przydatne do modelowania sekwencji, których nie zapewnia rdzeń TensorFlow.
Zaletą korzystania z tych operacji we wstępnym przetwarzaniu tekstu jest to, że są one wykonywane na wykresie TensorFlow. Nie musisz się martwić, że tokenizacja w szkoleniu będzie inna niż tokenizacja podczas wnioskowania lub zarządzanie skryptami przetwarzania wstępnego.
Zainstaluj tekst TensorFlow
Zainstaluj za pomocą pip
Podczas instalowania TF Text za pomocą pip install, zwróć uwagę na wersję TensorFlow, której używasz, ponieważ powinieneś określić odpowiednią wersję TF Text.
pip install -U tensorflow-text==<version>
Zbuduj ze źródła
TensorFlow Text musi być zbudowany w tym samym środowisku, co TensorFlow. Tak więc, jeśli ręcznie budujesz TF Text, wysoce zalecane jest, abyś również zbudował TensorFlow.
Jeśli tworzysz na MacOS, musisz mieć zainstalowane coreutils. Prawdopodobnie najłatwiej to zrobić z Homebrew. Po pierwsze, budowa TensorFlow od źródła .
Sklonuj repozytorium tekstu TF.
git clone https://github.com/tensorflow/text.git
Na koniec uruchom skrypt budowania, aby utworzyć pakiet pip.
./oss_scripts/run_build.sh