Помогают защитить Большой Барьерный Риф с TensorFlow на Kaggle Присоединяйтесь вызов

Интегрировать классификатор естественного языка BERT

Целевая библиотека BertNLClassifier API очень похож на NLClassifier , что классифицирует ввод текст в различные категории, за исключением того, что этот API специально адаптирован для родственных моделей Bert , которые требуют Wordpiece и Sentencepiece tokenizations вне модели TFLite.

Ключевые особенности API BertNLClassifier

  • Принимает одну строку в качестве ввода, выполняет классификацию со строкой и выводит пары как результаты классификации.

  • Выполняет из собственного графа Wordpiece или Sentencepiece tokenizations на входном тексте.

Поддерживаемые модели BertNLClassifier

Следующие модели совместимы с BertNLClassifier API.

Выполнить вывод в Java

Шаг 1. Импортируйте зависимость Gradle и другие настройки

Скопируйте .tflite файл модели в каталоге ресурсов в Android модуля , в котором будет запущена модель. Указывает , что файл не должен быть сжат, и добавить библиотеку TensorFlow Lite для модуля build.gradle файла:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }

}

dependencies {
    // Other dependencies

    // Import the Task Text Library dependency (NNAPI is included)
    implementation 'org.tensorflow:tensorflow-lite-task-text:0.3.0'
}

Шаг 2. Выполните вывод с помощью API

// Initialization
BertNLClassifierOptions options =
    BertNLClassifierOptions.builder()
        .setBaseOptions(BaseOptions.builder().setNumThreads(4).build())
        .build();
BertNLClassifier classifier =
    BertNLClassifier.createFromFileAndOptions(context, modelFile, options);

// Run inference
List<Category> results = classifier.classify(input);

Смотрите исходный код для более подробной информации.

Выполнить вывод в Swift

Шаг 1. Импортируйте CocoaPods

Добавьте модуль TensorFlowLiteTaskText в Podfile

target 'MySwiftAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskText', '~> 0.2.0'
end

Шаг 2. Выполните вывод с помощью API

// Initialization
let bertNLClassifier = TFLBertNLClassifier.bertNLClassifier(
      modelPath: bertModelPath)

// Run inference
let categories = bertNLClassifier.classify(text: input)

Смотрите исходный код для более подробной информации.

Выполнить вывод в C ++

// Initialization
BertNLClassifierOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_file);
std::unique_ptr<BertNLClassifier> classifier = BertNLClassifier::CreateFromOptions(options).value();

// Run inference
std::vector<core::Category> categories = classifier->Classify(kInput);

Смотрите исходный код для более подробной информации.

Примеры результатов

Ниже приведен пример результатов классификации обзоров фильмов с использованием MobileBert модели от модели Maker.

Исходные данные: «Это очаровательное и часто волнующее путешествие».

Выход:

category[0]: 'negative' : '0.00006'
category[1]: 'positive' : '0.99994'

Попробуйте простой CLI демонстрационного инструмента для BertNLClassifier с вашими собственными моделью и тестовыми данными.

Требования к совместимости моделей

BetNLClassifier API ожидает , что модель TFLite с обязательным TFLite модели метаданных .

Метаданные должны соответствовать следующим требованиям:

  • input_process_units для токенизатора Wordpiece / Sentencepiece

  • 3 входных тензора с именами «id», «mask» и «segment_ids» для вывода токенизатора

  • 1 выходной тензор типа float32 с необязательно прикрепленным файлом меток. Если прикреплен файл меток, файл должен быть простым текстовым файлом с одной меткой в ​​строке, а количество меток должно соответствовать количеству категорий, полученных на выходе модели.