TensorFlow Lite в API C сервисов Google Play (бета-версия)

TensorFlow Lite в среде выполнения сервисов Google Play позволяет запускать модели машинного обучения (ML) без статического объединения библиотек TensorFlow Lite в ваше приложение. В этом руководстве представлены инструкции по использованию API C для сервисов Google Play.

Прежде чем работать с TensorFlow Lite в API C сервисов Google Play, убедитесь, что у вас установлен инструмент сборки CMake .

Обновите конфигурацию сборки

Добавьте следующие зависимости в код проекта вашего приложения, чтобы получить доступ к API сервисов Play для TensorFlow Lite:

implementation "com.google.android.gms:play-services-tflite-java:16.2.0-beta02"

Затем включите функцию Prefab для доступа к C API из вашего сценария CMake, обновив блок Android файла build.gradle вашего модуля:

buildFeatures {
  prefab = true
}

Наконец, вам нужно добавить пакет tensorflowlite_jni_gms_client , импортированный из AAR, в качестве зависимости в ваш скрипт CMake:

find_package(tensorflowlite_jni_gms_client REQUIRED CONFIG)

target_link_libraries(tflite-jni # your JNI lib target
        tensorflowlite_jni_gms_client::tensorflowlite_jni_gms_client
        android # other deps for your target
        log)

# Also add -DTFLITE_IN_GMSCORE -DTFLITE_WITH_STABLE_ABI
# to the C/C++ compiler flags.

add_compile_definitions(TFLITE_IN_GMSCORE)
add_compile_definitions(TFLITE_WITH_STABLE_ABI)

Инициализируйте среду выполнения TensorFlow Lite.

Прежде чем вызывать TensorFlow Lite Native API, вы должны инициализировать среду выполнения TfLiteNative в своем коде Java/Kotlin.

Task tfLiteInitializeTask = TfLiteNative.initialize(context);
      

val tfLiteInitializeTask: Task = TfLiteNative.initialize(context)
        

Используя API задач служб Google Play, TfLiteNative.initialize асинхронно загружает среду выполнения TFLite из служб Google Play в процесс выполнения вашего приложения. Используйте addOnSuccessListener() , чтобы убедиться, что задача TfLite.initialize() завершена, прежде чем выполнять код, который обращается к API-интерфейсам TensorFlow Lite. После успешного завершения задачи вы можете вызвать все доступные собственные API TFLite.

Реализация собственного кода

Чтобы использовать TensorFlow Lite в сервисах Google Play с вашим собственным кодом, вы можете выполнить одно из следующих действий:

• объявите новые функции JNI для вызова собственных функций из вашего кода Java.
• Вызовите собственный API TensorFlow Lite из существующего собственного кода C.

JNI-функции:

Вы можете объявить новую функцию JNI, чтобы сделать среду выполнения TensorFlow Lite, объявленную на Java/Kotlin, доступной для вашего собственного кода, следующим образом:

package com.google.samples.gms.tflite.c;

public class TfLiteJni {
  static {
    System.loadLibrary("tflite-jni");
  }
  public TfLiteJni() { /**/ };
  public native void loadModel(AssetManager assetManager, String assetName);
  public native float[] runInference(float[] input);
}
      

package com.google.samples.gms.tflite.c

class TfLiteJni() {
  companion object {
    init {
      System.loadLibrary("tflite-jni")
    }
  }
  external fun loadModel(assetManager: AssetManager, assetName: String)
  external fun runInference(input: FloatArray): FloatArray
}
        

Соответствие следующим собственным функциям loadModel и runInference :

#ifdef __cplusplus
extern "C" {
#endif

void Java_com_google_samples_gms_tflite_c_loadModel(
  JNIEnv *env, jobject tflite_jni, jobject asset_manager, jstring asset_name){}
  //...
}

jfloatArray Java_com_google_samples_gms_tflite_c_TfLiteJni_runInference(
  JNIEnv* env, jobject tfliteJni, jfloatArray input) {
  //...
}

#ifdef __cplusplus
}  // extern "C".
#endif

Затем вы можете вызвать функции C из кода Java/Kotlin:

tfLiteHandleTask.onSuccessTask(unused -> {
    TfLiteJni jni = new TfLiteJni();
    jni.loadModel(getAssets(), "add.bin");
    //...
});
    

tfLiteHandleTask.onSuccessTask {
    val jni = TfLiteJni()
    jni.loadModel(assets, "add.bin")
    // ...
}
      

TensorFlow Lite в коде C

Включите соответствующий файл заголовка API, чтобы включить TfLite в API сервисов Google Play:

#include "tensorflow/lite/c/c_api.h"

Затем вы можете использовать обычный API TensorFlow Lite C:

auto model = TfLiteModelCreate(model_asset, model_asset_length);
// ...
auto options = TfLiteInterpreterOptionsCreate();
// ...
auto interpreter = TfLiteInterpreterCreate(model, options);

TensorFlow Lite с заголовками Native API сервисов Google Play предоставляет тот же API, что и обычный C API TensorFlow Lite , за исключением функций, которые являются устаревшими или экспериментальными. На данный момент доступны функции и типы из заголовков c_api.h , c_api_types.h и common.h . Обратите внимание, что функции из заголовка c_api_experimental.h не поддерживаются. Документацию можно найти в Интернете .

Вы можете использовать функции, специфичные для TensorFlow Lite, с сервисами Google Play, включив tflite.h .