Weź udział w sympozjum Women in ML 7 grudnia Zarejestruj się teraz

Zintegruj klasyfikator języka naturalnego BERT

Zadbaj o dobrą organizację dzięki kolekcji Zapisuj i kategoryzuj treści zgodnie ze swoimi preferencjami.

Interfejs API BertNLClassifier biblioteki zadań jest bardzo podobny do NLClassifier , który klasyfikuje tekst wejściowy do różnych kategorii, z wyjątkiem tego, że ten interfejs API jest specjalnie dostosowany do modeli związanych z Bert, które wymagają tokenizacji Wordpiece i Sentencepiece poza modelem TFLite.

Kluczowe cechy interfejsu API BertNLClassifier

  • Pobiera pojedynczy ciąg jako dane wejściowe, dokonuje klasyfikacji za pomocą ciągu i wyjść pary jako wyniki klasyfikacji.

  • Wykonuje tokenizacje Wordpiece lub Sentencepiece poza wykresem w tekście wejściowym.

Obsługiwane modele BertNLClassifier

Następujące modele są kompatybilne z API BertNLClassifier .

Uruchom wnioskowanie w Javie

Krok 1: Importuj zależność Gradle i inne ustawienia

Skopiuj plik modelu .tflite do katalogu asset modułu Android, w którym będzie uruchamiany model. Określ, że plik nie powinien być skompresowany, i dodaj bibliotekę TensorFlow Lite do pliku build.gradle modułu:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }

}

dependencies {
    // Other dependencies

    // Import the Task Text Library dependency (NNAPI is included)
    implementation 'org.tensorflow:tensorflow-lite-task-text:0.3.0'
}

Krok 2: Uruchom wnioskowanie za pomocą interfejsu API

// Initialization
BertNLClassifierOptions options =
    BertNLClassifierOptions.builder()
        .setBaseOptions(BaseOptions.builder().setNumThreads(4).build())
        .build();
BertNLClassifier classifier =
    BertNLClassifier.createFromFileAndOptions(context, modelFile, options);

// Run inference
List<Category> results = classifier.classify(input);

Więcej szczegółów znajdziesz w kodzie źródłowym .

Uruchom wnioskowanie w Swift

Krok 1: Importuj CocoaPods

Dodaj tensorFlowLiteTaskText pod w pliku Podfile

target 'MySwiftAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskText', '~> 0.2.0'
end

Krok 2: Uruchom wnioskowanie za pomocą interfejsu API

// Initialization
let bertNLClassifier = TFLBertNLClassifier.bertNLClassifier(
      modelPath: bertModelPath)

// Run inference
let categories = bertNLClassifier.classify(text: input)

Więcej szczegółów znajdziesz w kodzie źródłowym .

Uruchom wnioskowanie w C++

// Initialization
BertNLClassifierOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<BertNLClassifier> classifier = BertNLClassifier::CreateFromOptions(options).value();

// Run inference with your input, `input_text`.
std::vector<core::Category> categories = classifier->Classify(input_text);

Więcej szczegółów znajdziesz w kodzie źródłowym .

Uruchom wnioskowanie w Pythonie

Krok 1: Zainstaluj pakiet pip

pip install tflite-support

Krok 2: Korzystanie z modelu

# Imports
from tflite_support.task import text

# Initialization
classifier = text.BertNLClassifier.create_from_file(model_path)

# Run inference
text_classification_result = classifier.classify(text)

Zobacz kod źródłowy, aby uzyskać więcej opcji konfiguracji BertNLClassifier .

Przykładowe wyniki

Oto przykład wyników klasyfikacji recenzji filmów przy użyciu modelu MobileBert firmy Model Maker.

Wejście: „to urocza i często wpływająca na podróż”

Wyjście:

category[0]: 'negative' : '0.00006'
category[1]: 'positive' : '0.99994'

Wypróbuj proste narzędzie demonstracyjne CLI dla BertNLClassifier z własnym modelem i danymi testowymi.

Wymagania dotyczące zgodności modelu

Interfejs API BetNLClassifier oczekuje modelu TFLite z obowiązkowymi metadanymi modelu TFLite .

Metadane powinny spełniać następujące wymagania:

  • input_process_units dla tokenizera Wordpiece/Sentencepiece

  • 3 wejściowe tensory o nazwach „ids”, „mask” i „segment_ids” dla wyjścia tokenizera

  • 1 tensor wyjściowy typu float32 z opcjonalnie dołączonym plikiem etykiety. Jeśli dołączony jest plik z etykietą, plik powinien być zwykłym plikiem tekstowym z jedną etykietą w wierszu, a liczba etykiet powinna odpowiadać liczbie kategorii w danych wyjściowych modelu.