Weź udział w sympozjum Women in ML 7 grudnia Zarejestruj się teraz

Klasyfikacja tekstu

Zadbaj o dobrą organizację dzięki kolekcji Zapisuj i kategoryzuj treści zgodnie ze swoimi preferencjami.

Użyj modelu TensorFlow Lite, aby podzielić akapit na predefiniowane grupy.

Zaczynaj

Jeśli jesteś nowy w TensorFlow Lite i pracujesz z systemem Android, zalecamy zapoznanie się z przewodnikiem po bibliotece zadań TensorFLow Lite, aby zintegrować modele klasyfikacji tekstu w zaledwie kilku wierszach kodu. Model można również zintegrować za pomocą interfejsu API TensorFlow Lite Interpreter Java .

Poniższy przykład systemu Android ilustruje implementację obu metod jako odpowiednio lib_task_api i lib_interpreter .

Przykład Androida

Jeśli korzystasz z platformy innej niż Android lub znasz już interfejsy API TensorFlow Lite, możesz pobrać nasz początkowy model klasyfikacji tekstu.

Pobierz model startowy

Jak to działa

Klasyfikacja tekstu kategoryzuje akapit na predefiniowane grupy na podstawie jego zawartości.

Ten wstępnie nauczony model przewiduje, czy sentyment akapitu jest pozytywny czy negatywny. Został przeszkolony w oparciu o zestaw danych Large Movie Review Dataset v1.0 od Mass et al, który składa się z recenzji filmów IMDB oznaczonych jako pozytywne lub negatywne.

Oto kroki, aby sklasyfikować akapit z modelem:

  1. Tokenize akapit i przekonwertować go na listę identyfikatorów słów przy użyciu predefiniowanego słownictwa.
  2. Prześlij listę do modelu TensorFlow Lite.
  3. Uzyskaj prawdopodobieństwo, że akapit będzie dodatni lub ujemny z wyników modelu.

Notatka

  • Obsługiwany jest tylko język angielski.
  • Ten model został wytrenowany na zbiorze danych recenzji filmów, więc możesz mieć mniejszą dokładność podczas klasyfikowania tekstu w innych domenach.

Testy wydajności

Liczby testów wydajności są generowane za pomocą narzędzia opisanego tutaj .

Nazwa modelu Rozmiar modelu Urządzenie procesor
Klasyfikacja tekstu 0,6 Mb Piksel 3 (Android 10) 0,05ms*
Piksel 4 (Android 10) 0,05ms*
iPhone XS (iOS 12.4.1) 0,025ms**

* 4 wątki użyte.

** 2 wątki używane na iPhonie w celu uzyskania najlepszej wydajności.

Przykładowe wyjście

Tekst Negatywne (0) Pozytywny (1)
To najlepszy film, jaki widziałem w ostatnich latach. Gorąco polecam! 25,3% 74,7%
Co za strata czasu. 72,5% 27,5%

Użyj swojego zestawu danych treningowych

Postępuj zgodnie z tym samouczkiem , aby zastosować tę samą technikę, która została tutaj użyta, do trenowania modelu klasyfikacji tekstu przy użyciu własnych zestawów danych. Mając odpowiedni zestaw danych, możesz stworzyć model dla przypadków użycia, takich jak kategoryzacja dokumentów lub wykrywanie toksycznych komentarzy.

Przeczytaj więcej o klasyfikacji tekstu