Google I/O — это обертка! Наверстать упущенное в сеансах TensorFlow Просмотреть сеансы

Обработка входных и выходных данных с помощью библиотеки поддержки TensorFlow Lite.

Разработчики мобильных приложений обычно взаимодействуют с типизированными объектами, такими как растровые изображения, или примитивами, такими как целые числа. Однако API-интерфейс интерпретатора TensorFlow Lite, который запускает модель машинного обучения на устройстве, использует тензоры в форме ByteBuffer, отлаживать и манипулировать которыми может быть сложно. Библиотека поддержки TensorFlow Lite для Android помогает обрабатывать ввод и вывод моделей TensorFlow Lite и упрощает использование интерпретатора TensorFlow Lite.

Начиная

Импорт зависимости Gradle и других настроек

Скопируйте файл модели .tflite в каталог активов модуля Android, где будет запускаться модель. Укажите, что файл не должен быть сжат, и добавьте библиотеку TensorFlow Lite в файл build.gradle модуля:

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }

}

dependencies {
    // Other dependencies

    // Import tflite dependencies
    implementation 'org.tensorflow:tensorflow-lite:0.0.0-nightly-SNAPSHOT'
    // The GPU delegate library is optional. Depend on it as needed.
    implementation 'org.tensorflow:tensorflow-lite-gpu:0.0.0-nightly-SNAPSHOT'
    implementation 'org.tensorflow:tensorflow-lite-support:0.0.0-nightly-SNAPSHOT'
}

Изучите AAR библиотеки поддержки TensorFlow Lite, размещенной на MavenCentral, чтобы узнать о различных версиях библиотеки поддержки.

Основные операции с изображениями и преобразование

В библиотеке поддержки TensorFlow Lite есть набор основных методов обработки изображений, таких как обрезка и изменение размера. Чтобы использовать его, создайте ImagePreprocessor и добавьте необходимые операции. Чтобы преобразовать изображение в тензорный формат, требуемый интерпретатором TensorFlow Lite, создайте TensorImage , который будет использоваться в качестве входных данных:

import org.tensorflow.lite.DataType;
import org.tensorflow.lite.support.image.ImageProcessor;
import org.tensorflow.lite.support.image.TensorImage;
import org.tensorflow.lite.support.image.ops.ResizeOp;

// Initialization code
// Create an ImageProcessor with all ops required. For more ops, please
// refer to the ImageProcessor Architecture section in this README.
ImageProcessor imageProcessor =
    new ImageProcessor.Builder()
        .add(new ResizeOp(224, 224, ResizeOp.ResizeMethod.BILINEAR))
        .build();

// Create a TensorImage object. This creates the tensor of the corresponding
// tensor type (uint8 in this case) that the TensorFlow Lite interpreter needs.
TensorImage tensorImage = new TensorImage(DataType.UINT8);

// Analysis code for every frame
// Preprocess the image
tensorImage.load(bitmap);
tensorImage = imageProcessor.process(tensorImage);

DataType данных тензора можно прочитать с помощью библиотеки извлечения метаданных, а также другую информацию о модели.

Базовая обработка аудиоданных

Библиотека поддержки TensorFlow Lite также определяет класс TensorAudio , обертывающий некоторые основные методы обработки аудиоданных. Он в основном используется вместе с AudioRecord и записывает аудиосэмплы в кольцевой буфер.

import android.media.AudioRecord;
import org.tensorflow.lite.support.audio.TensorAudio;

// Create an `AudioRecord` instance.
AudioRecord record = AudioRecord(...)

// Create a `TensorAudio` object from Android AudioFormat.
TensorAudio tensorAudio = new TensorAudio(record.getFormat(), size)

// Load all audio samples available in the AudioRecord without blocking.
tensorAudio.load(record)

// Get the `TensorBuffer` for inference.
TensorBuffer buffer = tensorAudio.getTensorBuffer()

Создайте выходные объекты и запустите модель

Перед запуском модели нам нужно создать объекты-контейнеры, в которых будет храниться результат:

import org.tensorflow.lite.DataType;
import org.tensorflow.lite.support.tensorbuffer.TensorBuffer;

// Create a container for the result and specify that this is a quantized model.
// Hence, the 'DataType' is defined as UINT8 (8-bit unsigned integer)
TensorBuffer probabilityBuffer =
    TensorBuffer.createFixedSize(new int[]{1, 1001}, DataType.UINT8);

Загрузка модели и запуск вывода:

import java.nio.MappedByteBuffer;
import org.tensorflow.lite.InterpreterFactory;
import org.tensorflow.lite.InterpreterApi;

// Initialise the model
try{
    MappedByteBuffer tfliteModel
        = FileUtil.loadMappedFile(activity,
            "mobilenet_v1_1.0_224_quant.tflite");
    InterpreterApi tflite = new InterpreterFactory().create(
        tfliteModel, new InterpreterApi.Options());
} catch (IOException e){
    Log.e("tfliteSupport", "Error reading model", e);
}

// Running inference
if(null != tflite) {
    tflite.run(tImage.getBuffer(), probabilityBuffer.getBuffer());
}

Доступ к результату

Разработчики могут получить доступ к выходным данным напрямую через probabilityBuffer.getFloatArray() . Если модель производит квантованный вывод, не забудьте преобразовать результат. Для квантованной модели MobileNet разработчику необходимо разделить каждое выходное значение на 255, чтобы получить вероятность в диапазоне от 0 (наименее вероятная) до 1 (наиболее вероятная) для каждой категории.

Необязательно: Сопоставление результатов с метками

Разработчики также могут дополнительно сопоставлять результаты с метками. Сначала скопируйте текстовый файл, содержащий метки, в каталог ресурсов модуля. Затем загрузите файл этикетки, используя следующий код:

import org.tensorflow.lite.support.common.FileUtil;

final String ASSOCIATED_AXIS_LABELS = "labels.txt";
List<String> associatedAxisLabels = null;

try {
    associatedAxisLabels = FileUtil.loadLabels(this, ASSOCIATED_AXIS_LABELS);
} catch (IOException e) {
    Log.e("tfliteSupport", "Error reading label file", e);
}

В следующем фрагменте показано, как связать вероятности с метками категорий:

import java.util.Map;
import org.tensorflow.lite.support.common.TensorProcessor;
import org.tensorflow.lite.support.common.ops.NormalizeOp;
import org.tensorflow.lite.support.label.TensorLabel;

// Post-processor which dequantize the result
TensorProcessor probabilityProcessor =
    new TensorProcessor.Builder().add(new NormalizeOp(0, 255)).build();

if (null != associatedAxisLabels) {
    // Map of labels and their corresponding probability
    TensorLabel labels = new TensorLabel(associatedAxisLabels,
        probabilityProcessor.process(probabilityBuffer));

    // Create a map to access the result based on label
    Map<String, Float> floatMap = labels.getMapWithFloatValue();
}

Текущее покрытие вариантов использования

Текущая версия библиотеки поддержки TensorFlow Lite охватывает:

  • общие типы данных (float, uint8, изображения, аудио и массив этих объектов) в качестве входных и выходных данных моделей tflite.
  • основные операции с изображениями (обрезка изображения, изменение размера и поворот).
  • нормализация и квантование
  • файловые утилиты

В будущих версиях будет улучшена поддержка текстовых приложений.

Архитектура процессора изображений

Конструкция ImageProcessor позволяла заранее определять операции обработки изображений и оптимизировать их в процессе сборки. В настоящее время ImageProcessor поддерживает три основные операции предварительной обработки, как описано в трех комментариях во фрагменте кода ниже:

import org.tensorflow.lite.support.common.ops.NormalizeOp;
import org.tensorflow.lite.support.common.ops.QuantizeOp;
import org.tensorflow.lite.support.image.ops.ResizeOp;
import org.tensorflow.lite.support.image.ops.ResizeWithCropOrPadOp;
import org.tensorflow.lite.support.image.ops.Rot90Op;

int width = bitmap.getWidth();
int height = bitmap.getHeight();

int size = height > width ? width : height;

ImageProcessor imageProcessor =
    new ImageProcessor.Builder()
        // Center crop the image to the largest square possible
        .add(new ResizeWithCropOrPadOp(size, size))
        // Resize using Bilinear or Nearest neighbour
        .add(new ResizeOp(224, 224, ResizeOp.ResizeMethod.BILINEAR));
        // Rotation counter-clockwise in 90 degree increments
        .add(new Rot90Op(rotateDegrees / 90))
        .add(new NormalizeOp(127.5, 127.5))
        .add(new QuantizeOp(128.0, 1/128.0))
        .build();

Подробнее о нормализации и квантовании см. здесь .

Конечной целью библиотеки поддержки является поддержка всех преобразований tf.image . Это означает, что преобразование будет таким же, как у TensorFlow, а реализация не будет зависеть от операционной системы.

Разработчики также могут создавать собственные процессоры. В этих случаях важно, чтобы они были согласованы с процессом обучения, т. е. одна и та же предварительная обработка должна применяться как к обучению, так и к выводу для повышения воспроизводимости.

Квантование

При запуске объектов ввода или вывода, таких как TensorImage или TensorBuffer , вам необходимо указать их типы как DataType.UINT8 или DataType.FLOAT32 .

TensorImage tensorImage = new TensorImage(DataType.UINT8);
TensorBuffer probabilityBuffer =
    TensorBuffer.createFixedSize(new int[]{1, 1001}, DataType.UINT8);

TensorProcessor можно использовать для квантования входных тензоров или деквантования выходных тензоров. Например, при обработке квантованного вывода TensorBuffer разработчик может использовать DequantizeOp для деквантования результата до вероятности с плавающей запятой от 0 до 1:

import org.tensorflow.lite.support.common.TensorProcessor;

// Post-processor which dequantize the result
TensorProcessor probabilityProcessor =
    new TensorProcessor.Builder().add(new DequantizeOp(0, 1/255.0)).build();
TensorBuffer dequantizedBuffer = probabilityProcessor.process(probabilityBuffer);

Параметры квантования тензора можно прочитать через библиотеку экстрактора метаданных .