Интегрировать классификатор естественного языка

API-интерфейс NLClassifier библиотеки задач классифицирует входной текст по различным категориям и представляет собой универсальный и настраиваемый API-интерфейс, который может работать с большинством моделей классификации текста.

Основные возможности API NLClassifier

• Принимает одну строку в качестве входных данных, выполняет классификацию со строкой и выводит пары в качестве результатов классификации.

• Для вводимого текста доступна необязательная токенизация регулярных выражений.

• Настраивается для адаптации различных моделей классификации.

Поддерживаемые модели NLClassifier

Следующие модели гарантированно совместимы с NLClassifier API.

• Модель классификации настроений рецензий на фильмы .

• Модели со спецификацией average_word_vec , созданные TensorFlow Lite Model Maker для текстовой классификации .

• Пользовательские модели, отвечающие требованиям совместимости моделей .

Выполнить вывод в Java

См. справочное приложение Text Classification для примера использования NLClassifier в приложении для Android.

Шаг 1: Импорт зависимости Gradle и других настроек

Скопируйте файл модели .tflite в каталог активов модуля Android, где будет запускаться модель. Укажите, что файл не должен быть сжат, и добавьте библиотеку TensorFlow Lite в файл build.gradle модуля:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }

}

dependencies {
    // Other dependencies

    // Import the Task Vision Library dependency (NNAPI is included)
    implementation 'org.tensorflow:tensorflow-lite-task-text:0.4.4'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin:0.4.4'
}

Шаг 2. Выполните вывод с помощью API

// Initialization, use NLClassifierOptions to configure input and output tensors
NLClassifierOptions options =
    NLClassifierOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setInputTensorName(INPUT_TENSOR_NAME)
        .setOutputScoreTensorName(OUTPUT_SCORE_TENSOR_NAME)
        .build();
NLClassifier classifier =
    NLClassifier.createFromFileAndOptions(context, modelFile, options);

// Run inference
List<Category> results = classifier.classify(input);

Дополнительные параметры для настройки NLClassifier см. в исходном коде .

Запустить вывод в Swift

Шаг 1: Импортируйте CocoaPods

Добавьте модуль TensorFlowLiteTaskText в файл Podfile.

target 'MySwiftAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskText', '~> 0.4.4'
end

Шаг 2. Выполните вывод с помощью API

// Initialization
var modelOptions:TFLNLClassifierOptions = TFLNLClassifierOptions()
modelOptions.inputTensorName = inputTensorName
modelOptions.outputScoreTensorName = outputScoreTensorName
let nlClassifier = TFLNLClassifier.nlClassifier(
      modelPath: modelPath,
      options: modelOptions)

// Run inference
let categories = nlClassifier.classify(text: input)

См. исходный код для более подробной информации.

Запустить вывод на C++

// Initialization
NLClassifierOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<NLClassifier> classifier = NLClassifier::CreateFromOptions(options).value();

// Run inference with your input, `input_text`.
std::vector<core::Category> categories = classifier->Classify(input_text);

См. исходный код для более подробной информации.

Запустить вывод в Python

Шаг 1: Установите пакет pip

pip install tflite-support

Шаг 2: Использование модели

# Imports
from tflite_support.task import text

# Initialization
classifier = text.NLClassifier.create_from_file(model_path)

# Run inference
text_classification_result = classifier.classify(text)

Дополнительные параметры для настройки NLClassifier см. в исходном коде .

Пример результатов

Вот пример результатов классификации модели обзора фильмов .

Ввод: «Какая пустая трата моего времени».

Выход:

category[0]: 'Negative' : '0.81313'
category[1]: 'Positive' : '0.18687'

Попробуйте простой демонстрационный инструмент CLI для NLClassifier с собственной моделью и тестовыми данными.

Требования к совместимости моделей

В зависимости от варианта использования NLClassifier API может загружать модель TFLite с метаданными модели TFLite или без них . См. примеры создания метаданных для классификаторов естественного языка с помощью API записи метаданных TensorFlow Lite .

Совместимые модели должны соответствовать следующим требованиям:

• Входной тензор: (kTfLiteString/kTfLiteInt32)

  • Входными данными модели должны быть либо необработанная входная строка тензора kTfLiteString, либо тензор kTfLiteInt32 для токенизированных индексов регулярного выражения необработанной входной строки.
  • Если тип ввода — kTfLiteString, метаданные для модели не требуются.
  • Если тип ввода — kTfLiteInt32, необходимо RegexTokenizer в метаданных входного тензора.

• Тензор выходных баллов: (kTfLiteUInt8/kTfLiteInt8/kTfLiteInt16/kTfLiteFloat32/kTfLiteFloat64)

  • Обязательный выходной тензор для оценки каждой классифицированной категории.

  • Если тип является одним из типов Int, деквантуйте его, чтобы удвоить/плавать по соответствующим платформам.

  • Может иметь необязательный связанный файл в соответствующих метаданных выходного тензора для меток категорий, файл должен быть обычным текстовым файлом с одной меткой в ​​строке, а количество меток должно соответствовать количеству категорий, выводимых моделью. См. пример файла этикетки .

• Тензор выходных меток: (kTfLiteString/kTfLiteInt32)

  • Необязательный выходной тензор для метки для каждой категории должен иметь ту же длину, что и выходной тензор оценки. Если этот тензор отсутствует, API использует индексы оценок в качестве имен классов.

  • Будет игнорироваться, если связанный файл метки присутствует в метаданных тензора выходных оценок.