Помогают защитить Большой Барьерный Риф с TensorFlow на Kaggle Присоединяйтесь вызов

Интегрировать классификатор естественного языка

Целевая библиотека NLClassifier API классифицирует ввод текст в различные категории, и является универсальным и конфигурируемым API , который может работать с большинством моделей текста классификации.

Ключевые особенности API NLClassifier

  • Принимает одну строку в качестве ввода, выполняет классификацию со строкой и выводит пары как результаты классификации.

  • Для вводимого текста доступна необязательная токенизация регулярных выражений.

  • Настраивается для адаптации различных моделей классификации.

Поддерживаемые модели NLClassifier

Следующие модели гарантированно будут совместимы с NLClassifier API.

Выполнить вывод в Java

См классификация текста ссылочного приложения для примера того , как использовать NLClassifier в Android приложении.

Шаг 1. Импортируйте зависимость Gradle и другие настройки

Скопируйте .tflite файл модели в каталоге ресурсов в Android модуля , в котором будет запущена модель. Указывает , что файл не должен быть сжат, и добавить библиотеку TensorFlow Lite для модуля build.gradle файла:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }

}

dependencies {
    // Other dependencies

    // Import the Task Vision Library dependency (NNAPI is included)
    implementation 'org.tensorflow:tensorflow-lite-task-text:0.3.0'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin:0.3.0'
}

Шаг 2. Выполните вывод с помощью API

// Initialization, use NLClassifierOptions to configure input and output tensors
NLClassifierOptions options =
    NLClassifierOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setInputTensorName(INPUT_TENSOR_NAME)
        .setOutputScoreTensorName(OUTPUT_SCORE_TENSOR_NAME)
        .build();
NLClassifier classifier =
    NLClassifier.createFromFileAndOptions(context, modelFile, options);

// Run inference
List<Category> results = classifier.classify(input);

Смотрите исходный код для более опций для настройки NLClassifier .

Выполнить вывод в Swift

Шаг 1. Импортируйте CocoaPods

Добавьте модуль TensorFlowLiteTaskText в Podfile

target 'MySwiftAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskText', '~> 0.2.0'
end

Шаг 2. Выполните вывод с помощью API

// Initialization
var modelOptions:TFLNLClassifierOptions = TFLNLClassifierOptions()
modelOptions.inputTensorName = inputTensorName
modelOptions.outputScoreTensorName = outputScoreTensorName
let nlClassifier = TFLNLClassifier.nlClassifier(
      modelPath: modelPath,
      options: modelOptions)

// Run inference
let categories = nlClassifier.classify(text: input)

Смотрите исходный код для более подробной информации.

Выполнить вывод в C ++

// Initialization
NLClassifierOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_file);
std::unique_ptr<NLClassifier> classifier = NLClassifier::CreateFromOptions(options).value();

// Run inference
std::vector<core::Category> categories = classifier->Classify(kInput);

Смотрите исходный код для более подробной информации.

Примеры результатов

Ниже приведен пример результатов классификации модели обзора фильма .

Исходный материал: «Какая трата моего времени».

Выход:

category[0]: 'Negative' : '0.81313'
category[1]: 'Positive' : '0.18687'

Попробуйте простой CLI демонстрационного инструмента для NLClassifier с вашими собственными моделью и тестовыми данными.

Требования к совместимости моделей

В зависимости от случая использования, то NLClassifier API может загрузить модель TFLite с или без TFLite модели метаданных . Смотрите примеры создания метаданных для естественных классификаторов языка с использованием Writer API TensorFlow Lite метаданных .

Совместимые модели должны соответствовать следующим требованиям:

  • Входной тензор: (kTfLiteString / kTfLiteInt32)

    • Вход модели должен быть либо исходной входной строкой тензора kTfLiteString, либо тензором kTfLiteInt32 для токенизированных индексов необработанной входной строки регулярного выражения.
    • Если тип ввода является kTfLiteString, нет метаданных не требуется для модели.
    • Если тип ввода является kTfLiteInt32, RegexTokenizer должен быть установлен в Тензор входного по метаданным .
  • Тензор результатов вывода: (kTfLiteUInt8 / kTfLiteInt8 / kTfLiteInt16 / kTfLiteFloat32 / kTfLiteFloat64)

    • Обязательный выходной тензор для оценки каждой классифицированной категории.

    • Если тип является одним из типов Int, деквантовать его до удвоения / плавания для соответствующих платформ.

    • Могу иметь дополнительный связанный с ним файл в выходном Тензоре это соответствующие метаданные для меток категорий, файл должен быть простым текстовым файлом с одной меткой на линию, а количество меток должно соответствовать числу категорий , как модели выходов. Смотрите файл exmaple этикетки .

  • Тензор метки вывода: (kTfLiteString / kTfLiteInt32)

    • Необязательный выходной тензор для метки для каждой категории должен иметь ту же длину, что и выходной тензор оценок. Если этот тензор отсутствует, API использует индексы оценки в качестве имен классов.

    • Будет игнорироваться, если связанный файл метки присутствует в метаданных тензора выходных оценок.