Użyj modelu TensorFlow Lite, aby podzielić akapit na predefiniowane grupy.
Zaczynaj
Jeśli jesteś nowy w TensorFlow Lite i pracujesz z systemem Android, zalecamy zapoznanie się z przewodnikiem po bibliotece zadań TensorFLow Lite, aby zintegrować modele klasyfikacji tekstu w zaledwie kilku wierszach kodu. Model można również zintegrować za pomocą interfejsu API TensorFlow Lite Interpreter Java .
Poniższy przykład systemu Android ilustruje implementację obu metod jako odpowiednio lib_task_api i lib_interpreter .
Jeśli korzystasz z platformy innej niż Android lub znasz już interfejsy API TensorFlow Lite, możesz pobrać nasz początkowy model klasyfikacji tekstu.
Jak to działa
Klasyfikacja tekstu kategoryzuje akapit na predefiniowane grupy na podstawie jego zawartości.
Ten wstępnie nauczony model przewiduje, czy sentyment akapitu jest pozytywny czy negatywny. Został przeszkolony w oparciu o zestaw danych Large Movie Review Dataset v1.0 od Mass et al, który składa się z recenzji filmów IMDB oznaczonych jako pozytywne lub negatywne.
Oto kroki, aby sklasyfikować akapit z modelem:
- Tokenize akapit i przekonwertować go na listę identyfikatorów słów przy użyciu predefiniowanego słownictwa.
- Prześlij listę do modelu TensorFlow Lite.
- Uzyskaj prawdopodobieństwo, że akapit będzie dodatni lub ujemny z wyników modelu.
Notatka
- Obsługiwany jest tylko język angielski.
- Ten model został wytrenowany na zbiorze danych recenzji filmów, więc możesz mieć mniejszą dokładność podczas klasyfikowania tekstu w innych domenach.
Testy wydajności
Liczby testów wydajności są generowane za pomocą narzędzia opisanego tutaj .
| Nazwa modelu | Rozmiar modelu | Urządzenie | procesor |
|---|---|---|---|
| Klasyfikacja tekstu | 0,6 Mb | Piksel 3 (Android 10) | 0,05ms* |
| Piksel 4 (Android 10) | 0,05ms* | ||
| iPhone XS (iOS 12.4.1) | 0,025ms** |
* 4 wątki użyte.
** 2 wątki używane na iPhonie w celu uzyskania najlepszej wydajności.
Przykładowe wyjście
| Tekst | Negatywne (0) | Pozytywny (1) |
|---|---|---|
| To najlepszy film, jaki widziałem w ostatnich latach. Gorąco polecam! | 25,3% | 74,7% |
| Co za strata czasu. | 72,5% | 27,5% |
Użyj swojego zestawu danych treningowych
Postępuj zgodnie z tym samouczkiem , aby zastosować tę samą technikę, która została tutaj użyta, do trenowania modelu klasyfikacji tekstu przy użyciu własnych zestawów danych. Mając odpowiedni zestaw danych, możesz stworzyć model dla przypadków użycia, takich jak kategoryzacja dokumentów lub wykrywanie toksycznych komentarzy.