Интегрируйте классификатор естественного языка BERT

API библиотеки задач BertNLClassifier очень похож на NLClassifier , который классифицирует входной текст по различным категориям, за исключением того, что этот API специально адаптирован для моделей, связанных с Bert, которые требуют токенизации Wordpiece и Sentencepiece вне модели TFLite.

Ключевые особенности API BertNLClassifier

• Принимает одну строку в качестве входных данных, выполняет классификацию строки и выводит пары как результаты классификации.

• Выполняет внеграфическую токенизацию Wordpiece или Sentencepiece для входного текста.

Поддерживаемые модели BertNLClassifier

Следующие модели совместимы с API BertNLClassifier .

• Модели Берта, созданные TensorFlow Lite Model Maker для классификации текста .

• Пользовательские модели, соответствующие требованиям совместимости моделей .

Запустить вывод в Java

Шаг 1. Импортируйте зависимости Gradle и другие настройки.

Скопируйте файл модели .tflite в каталог ресурсов модуля Android, где будет запускаться модель. Укажите, что файл не должен быть сжат, и добавьте библиотеку TensorFlow Lite в файл build.gradle модуля:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }

}

dependencies {
    // Other dependencies

    // Import the Task Text Library dependency (NNAPI is included)
    implementation 'org.tensorflow:tensorflow-lite-task-text:0.4.4'
}

Шаг 2. Запустите логический вывод с помощью API

// Initialization
BertNLClassifierOptions options =
    BertNLClassifierOptions.builder()
        .setBaseOptions(BaseOptions.builder().setNumThreads(4).build())
        .build();
BertNLClassifier classifier =
    BertNLClassifier.createFromFileAndOptions(context, modelFile, options);

// Run inference
List<Category> results = classifier.classify(input);

Более подробную информацию смотрите в исходном коде .

Запустить вывод в Swift

Шаг 1. Импортируйте CocoaPods

Добавьте модуль TensorFlowLiteTaskText в Podfile.

target 'MySwiftAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskText', '~> 0.4.4'
end

Шаг 2. Запустите логический вывод с помощью API

// Initialization
let bertNLClassifier = TFLBertNLClassifier.bertNLClassifier(
      modelPath: bertModelPath)

// Run inference
let categories = bertNLClassifier.classify(text: input)

Более подробную информацию смотрите в исходном коде .

Запустить вывод на C++

// Initialization
BertNLClassifierOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<BertNLClassifier> classifier = BertNLClassifier::CreateFromOptions(options).value();

// Run inference with your input, `input_text`.
std::vector<core::Category> categories = classifier->Classify(input_text);

Более подробную информацию смотрите в исходном коде .

Запустить вывод в Python

Шаг 1. Установите пакет pip

pip install tflite-support

Шаг 2: Использование модели

# Imports
from tflite_support.task import text

# Initialization
classifier = text.BertNLClassifier.create_from_file(model_path)

# Run inference
text_classification_result = classifier.classify(text)

Дополнительные параметры настройки BertNLClassifier см. в исходном коде .

Примеры результатов

Вот пример результатов классификации обзоров фильмов с использованием модели MobileBert от Model Maker.

Ввод: «это очаровательное и зачастую впечатляющее путешествие».

Выход:

category[0]: 'negative' : '0.00006'
category[1]: 'positive' : '0.99994'

Попробуйте простой демонстрационный инструмент CLI для BertNLClassifier с собственной моделью и тестовыми данными.

Требования совместимости моделей

API BetNLClassifier ожидает модель TFLite с обязательными метаданными модели TFLite .

Метаданные должны отвечать следующим требованиям:

• input_process_units для токенизатора Wordpiece/Sentencepiece

• 3 входных тензора с именами «ids», «mask» и «segment_ids» для вывода токенизатора.

• 1 выходной тензор типа float32 с опционально прикрепленным файлом метки. Если файл метки прикреплен, он должен представлять собой обычный текстовый файл с одной меткой в ​​строке, а количество меток должно соответствовать количеству категорий, отображаемых в выходных данных модели.