Weź udział w sympozjum Women in ML 7 grudnia Zarejestruj się teraz

Wprowadzenie do tekstu TensorFlow

Zadbaj o dobrą organizację dzięki kolekcji Zapisuj i kategoryzuj treści zgodnie ze swoimi preferencjami.

TensorFlow Text zapewnia zbiór klas i operacji powiązanych z tekstem, gotowych do użycia z TensorFlow 2.0. Biblioteka może wykonywać wstępne przetwarzanie regularnie wymagane przez modele tekstowe i zawiera inne funkcje przydatne do modelowania sekwencji, których nie zapewnia rdzeń TensorFlow.

Zaletą korzystania z tych operacji we wstępnym przetwarzaniu tekstu jest to, że są one wykonywane na wykresie TensorFlow. Nie musisz się martwić, że tokenizacja w szkoleniu będzie inna niż tokenizacja podczas wnioskowania lub zarządzanie skryptami przetwarzania wstępnego.

Zainstaluj tekst TensorFlow

Zainstaluj za pomocą pip

Podczas instalowania TF Text za pomocą pip install, zwróć uwagę na wersję TensorFlow, której używasz, ponieważ powinieneś określić odpowiednią wersję TF Text.

pip install -U tensorflow-text==<version>

Zbuduj ze źródła

TensorFlow Text musi być zbudowany w tym samym środowisku, co TensorFlow. Tak więc, jeśli ręcznie budujesz TF Text, wysoce zalecane jest, abyś również zbudował TensorFlow.

Jeśli tworzysz na MacOS, musisz mieć zainstalowane coreutils. Prawdopodobnie najłatwiej to zrobić z Homebrew. Po pierwsze, budowa TensorFlow od źródła .

Sklonuj repozytorium tekstu TF.

git clone  https://github.com/tensorflow/text.git

Na koniec uruchom skrypt budowania, aby utworzyć pakiet pip.

./oss_scripts/run_build.sh