Помогают защитить Большой Барьерный Риф с TensorFlow на Kaggle Присоединяйтесь вызов

Создайте собственный API для задач

TensorFlow Lite Задача Библиотека предоставляет прекомпилированное родной / Android / IOS API , на вершине одной и той же инфраструктуры , которая абстрагируется TensorFlow. Вы можете расширить инфраструктуру API задач для создания настраиваемых API, если ваша модель не поддерживается существующими библиотеками задач.

Обзор

Инфраструктура API задач имеет двухуровневую структуру: нижний уровень C ++ инкапсулирует собственную среду выполнения TFLite и верхний уровень Java / ObjC, который взаимодействует со слоем C ++ через JNI или собственную оболочку.

Реализация всей логики TensorFlow только на C ++ минимизирует затраты, максимизирует производительность вывода и упрощает общий рабочий процесс на разных платформах.

Чтобы создать класс задач, расширить BaseTaskApi обеспечить логику преобразования между моделью интерфейсом TFLite и интерфейсом API Task, а затем использовать Java / ObjC утилиту для создания соответствующего API. Когда все детали TensorFlow скрыты, вы можете развернуть модель TFLite в своих приложениях без каких-либо знаний в области машинного обучения.

TensorFlow Lite предоставляет некоторые готовые интерфейсы для большинства популярных задач видения и НЛП . Вы можете создавать собственные API-интерфейсы для других задач, используя инфраструктуру API-интерфейсов задач.

prebuilt_task_apis
Рис. 1. готовые API-интерфейсы задач

Создайте свой собственный API с помощью Task API Infra

C ++ API

Все детали TFLite реализованы в собственном API. Создайте объект API, используя одну из фабричных функций, и получите результаты модели, вызвав функции, определенные в интерфейсе.

Пример использования

Ниже приведен пример использования C ++ BertQuestionAnswerer для MobileBert .

  char kBertModelPath[] = "path/to/model.tflite";
  // Create the API from a model file
  std::unique_ptr<BertQuestionAnswerer> question_answerer =
      BertQuestionAnswerer::CreateFromFile(kBertModelPath);

  char kContext[] = ...; // context of a question to be answered
  char kQuestion[] = ...; // question to be answered
  // ask a question
  std::vector<QaAnswer> answers = question_answerer.Answer(kContext, kQuestion);
  // answers[0].text is the best answer

Создание API

native_task_api
Рисунок 2. Native Task API

Чтобы создать объект API, вы должны предоставить следующую информацию путем расширения BaseTaskApi

  • Определение API ввода / вывода - Ваш API должен выставить подобный ввод / вывод на различных платформах. например BertQuestionAnswerer занимает две строки (std::string& context, std::string& question) в качестве входных данных и выводит вектор возможного ответа и вероятностей как std::vector<QaAnswer> . Это делается путем указания соответствующих типов в BaseTaskApi «s параметра шаблона . С указаны параметры шаблона, то BaseTaskApi::Infer функция будет иметь правильные типы ввода / вывода. Эта функция может быть непосредственно вызывается клиентами API, но это хорошая практика , чтобы обернуть ее внутри функции конкретной модели, в этом случае, BertQuestionAnswerer::Answer .

    class BertQuestionAnswerer : public BaseTaskApi<
                                  std::vector<QaAnswer>, // OutputType
                                  const std::string&, const std::string& // InputTypes
                                  > {
      // Model specific function delegating calls to BaseTaskApi::Infer
      std::vector<QaAnswer> Answer(const std::string& context, const std::string& question) {
        return Infer(context, question).value();
      }
    }
    
  • Предоставлять логику преобразования между API вводом / выводом и вводом / выводом тензором модели - с входными и выходными типами , определенными, подклассы должны также выполнять функции типизированного BaseTaskApi::Preprocess и BaseTaskApi::Postprocess . Эти две функции обеспечивают входы и выходы из TFLite FlatBuffer . Подкласс отвечает за присвоение значений из ввода-вывода API тензорам ввода-вывода. Смотрите полный пример реализации в BertQuestionAnswerer .

    class BertQuestionAnswerer : public BaseTaskApi<
                                  std::vector<QaAnswer>, // OutputType
                                  const std::string&, const std::string& // InputTypes
                                  > {
      // Convert API input into tensors
      absl::Status BertQuestionAnswerer::Preprocess(
        const std::vector<TfLiteTensor*>& input_tensors, // input tensors of the model
        const std::string& context, const std::string& query // InputType of the API
      ) {
        // Perform tokenization on input strings
        ...
        // Populate IDs, Masks and SegmentIDs to corresponding input tensors
        PopulateTensor(input_ids, input_tensors[0]);
        PopulateTensor(input_mask, input_tensors[1]);
        PopulateTensor(segment_ids, input_tensors[2]);
        return absl::OkStatus();
      }
    
      // Convert output tensors into API output
      StatusOr<std::vector<QaAnswer>> // OutputType
      BertQuestionAnswerer::Postprocess(
        const std::vector<const TfLiteTensor*>& output_tensors, // output tensors of the model
      ) {
        // Get start/end logits of prediction result from output tensors
        std::vector<float> end_logits;
        std::vector<float> start_logits;
        // output_tensors[0]: end_logits FLOAT[1, 384]
        PopulateVector(output_tensors[0], &end_logits);
        // output_tensors[1]: start_logits FLOAT[1, 384]
        PopulateVector(output_tensors[1], &start_logits);
        ...
        std::vector<QaAnswer::Pos> orig_results;
        // Look up the indices from vocabulary file and build results
        ...
        return orig_results;
      }
    }
    
  • Создание фабричных функций API - файл модели А и А OpResolver необходимы для инициализации tflite::Interpreter . TaskAPIFactory предоставляет вспомогательные функции для создания экземпляров BaseTaskApi.

    Вы также должны предоставить все файлы, связанные с моделью. например, BertQuestionAnswerer может также иметь дополнительный файл словаря своего Tokenizer в.

    class BertQuestionAnswerer : public BaseTaskApi<
                                  std::vector<QaAnswer>, // OutputType
                                  const std::string&, const std::string& // InputTypes
                                  > {
      // Factory function to create the API instance
      StatusOr<std::unique_ptr<QuestionAnswerer>>
      BertQuestionAnswerer::CreateBertQuestionAnswerer(
          const std::string& path_to_model, // model to passed to TaskApiFactory
          const std::string& path_to_vocab  // additional model specific files
      ) {
        // Creates an API object by calling one of the utils from TaskAPIFactory
        std::unique_ptr<BertQuestionAnswerer> api_to_init;
        ASSIGN_OR_RETURN(
            api_to_init,
            core::TaskAPIFactory::CreateFromFile<BertQuestionAnswerer>(
                path_to_model,
                absl::make_unique<tflite::ops::builtin::BuiltinOpResolver>(),
                kNumLiteThreads));
    
        // Perform additional model specific initializations
        // In this case building a vocabulary vector from the vocab file.
        api_to_init->InitializeVocab(path_to_vocab);
        return api_to_init;
      }
    }
    

Android API

Создавайте Android API, определяя интерфейс Java / Kotlin и делегируя логику слою C ++ через JNI. Android API требует, чтобы сначала был создан собственный API.

Пример использования

Ниже приведен пример использования Java BertQuestionAnswerer для MobileBert .

  String BERT_MODEL_FILE = "path/to/model.tflite";
  String VOCAB_FILE = "path/to/vocab.txt";
  // Create the API from a model file and vocabulary file
    BertQuestionAnswerer bertQuestionAnswerer =
        BertQuestionAnswerer.createBertQuestionAnswerer(
            ApplicationProvider.getApplicationContext(), BERT_MODEL_FILE, VOCAB_FILE);

  String CONTEXT = ...; // context of a question to be answered
  String QUESTION = ...; // question to be answered
  // ask a question
  List<QaAnswer> answers = bertQuestionAnswerer.answer(CONTEXT, QUESTION);
  // answers.get(0).text is the best answer

Создание API

android_task_api
Рисунок 3. Android Task API

Подобно Native API , для построения объекта API, потребности клиента предоставить следующую информацию путем расширения BaseTaskApi , которая обеспечивает JNI для всех расправы Task API , Java.

  • Определение API ввода / вывода - это обычно зеркала нативные интерфейсы. например BertQuestionAnswerer принимает (String context, String question) в качестве входных данных и выводит List<QaAnswer> . Реализация требует собственной родную функции с подобной подписью, за исключением того, что имеет дополнительный параметр long nativeHandle , который является указателем , возвращаемым из C ++.

    class BertQuestionAnswerer extends BaseTaskApi {
      public List<QaAnswer> answer(String context, String question) {
        return answerNative(getNativeHandle(), context, question);
      }
    
      private static native List<QaAnswer> answerNative(
                                            long nativeHandle, // C++ pointer
                                            String context, String question // API I/O
                                           );
    
    }
    
  • Создание фабричных функций API - это также зеркала родных заводских функций, за исключением заводских функции Android также должны принимать Context для доступа к файлам. Реализация называет один из утилит в TaskJniUtils построить соответствующий объект C ++ API и передавать свой указатель на BaseTaskApi конструктор.

      class BertQuestionAnswerer extends BaseTaskApi {
        private static final String BERT_QUESTION_ANSWERER_NATIVE_LIBNAME =
                                                  "bert_question_answerer_jni";
    
        // Extending super constructor by providing the
        // native handle(pointer of corresponding C++ API object)
        private BertQuestionAnswerer(long nativeHandle) {
          super(nativeHandle);
        }
    
        public static BertQuestionAnswerer createBertQuestionAnswerer(
                                            Context context, // Accessing Android files
                                            String pathToModel, String pathToVocab) {
          return new BertQuestionAnswerer(
              // The util first try loads the JNI module with name
              // BERT_QUESTION_ANSWERER_NATIVE_LIBNAME, then opens two files,
              // converts them into ByteBuffer, finally ::initJniWithBertByteBuffers
              // is called with the buffer for a C++ API object pointer
              TaskJniUtils.createHandleWithMultipleAssetFilesFromLibrary(
                  context,
                  BertQuestionAnswerer::initJniWithBertByteBuffers,
                  BERT_QUESTION_ANSWERER_NATIVE_LIBNAME,
                  pathToModel,
                  pathToVocab));
        }
    
        // modelBuffers[0] is tflite model file buffer, and modelBuffers[1] is vocab file buffer.
        // returns C++ API object pointer casted to long
        private static native long initJniWithBertByteBuffers(ByteBuffer... modelBuffers);
    
      }
    
  • Реализовать модуль JNI для собственных функций - Все Java нативных методов реализуются путем вызова соответствующей родную функции из модуля JNI. Фабричные функции создадут собственный объект API и вернут его указатель в виде длинного типа в Java. В последующих вызовах Java API указатель длинного типа передается обратно в JNI и приводится к собственному объекту API. Затем результаты собственного API преобразуются обратно в результаты Java.

    Например, это как bert_question_answerer_jni реализуется.

      // Implements BertQuestionAnswerer::initJniWithBertByteBuffers
      extern "C" JNIEXPORT jlong JNICALL
      Java_org_tensorflow_lite_task_text_qa_BertQuestionAnswerer_initJniWithBertByteBuffers(
          JNIEnv* env, jclass thiz, jobjectArray model_buffers) {
        // Convert Java ByteBuffer object into a buffer that can be read by native factory functions
        absl::string_view model =
            GetMappedFileBuffer(env, env->GetObjectArrayElement(model_buffers, 0));
    
        // Creates the native API object
        absl::StatusOr<std::unique_ptr<QuestionAnswerer>> status =
            BertQuestionAnswerer::CreateFromBuffer(
                model.data(), model.size());
        if (status.ok()) {
          // converts the object pointer to jlong and return to Java.
          return reinterpret_cast<jlong>(status->release());
        } else {
          return kInvalidPointer;
        }
      }
    
      // Implements BertQuestionAnswerer::answerNative
      extern "C" JNIEXPORT jobject JNICALL
      Java_org_tensorflow_lite_task_text_qa_BertQuestionAnswerer_answerNative(
      JNIEnv* env, jclass thiz, jlong native_handle, jstring context, jstring question) {
      // Convert long to native API object pointer
      QuestionAnswerer* question_answerer = reinterpret_cast<QuestionAnswerer*>(native_handle);
    
      // Calls the native API
      std::vector<QaAnswer> results = question_answerer->Answer(JStringToString(env, context),
                                             JStringToString(env, question));
    
      // Converts native result(std::vector<QaAnswer>) to Java result(List<QaAnswerer>)
      jclass qa_answer_class =
        env->FindClass("org/tensorflow/lite/task/text/qa/QaAnswer");
      jmethodID qa_answer_ctor =
        env->GetMethodID(qa_answer_class, "<init>", "(Ljava/lang/String;IIF)V");
      return ConvertVectorToArrayList<QaAnswer>(
        env, results,
        [env, qa_answer_class, qa_answer_ctor](const QaAnswer& ans) {
          jstring text = env->NewStringUTF(ans.text.data());
          jobject qa_answer =
              env->NewObject(qa_answer_class, qa_answer_ctor, text, ans.pos.start,
                             ans.pos.end, ans.pos.logit);
          env->DeleteLocalRef(text);
          return qa_answer;
        });
      }
    
      // Implements BaseTaskApi::deinitJni by delete the native object
      extern "C" JNIEXPORT void JNICALL Java_task_core_BaseTaskApi_deinitJni(
          JNIEnv* env, jobject thiz, jlong native_handle) {
        delete reinterpret_cast<QuestionAnswerer*>(native_handle);
      }
    

iOS API

Создайте API iOS, заключив собственный объект API в объект API ObjC. Созданный объект API можно использовать как в ObjC, так и в Swift. iOS API требует, чтобы сначала был создан собственный API.

Пример использования

Ниже приведен пример использования ObjC TFLBertQuestionAnswerer для MobileBert в Swift.

  static let mobileBertModelPath = "path/to/model.tflite";
  // Create the API from a model file and vocabulary file
  let mobileBertAnswerer = TFLBertQuestionAnswerer.mobilebertQuestionAnswerer(
      modelPath: mobileBertModelPath)

  static let context = ...; // context of a question to be answered
  static let question = ...; // question to be answered
  // ask a question
  let answers = mobileBertAnswerer.answer(
      context: TFLBertQuestionAnswererTest.context, question: TFLBertQuestionAnswererTest.question)
  // answers.[0].text is the best answer

Создание API

ios_task_api
Рисунок 4. iOS Task API

iOS API - это простая оболочка ObjC поверх собственного API. Создайте API, выполнив следующие действия:

  • Определение обертки ObjC - Определить класс ObjC и делегировать реализацию на соответствующий объект исходного API. Обратите внимание, что собственные зависимости могут появляться только в файле .mm из-за неспособности Swift взаимодействовать с C ++.

    • .h файл
      @interface TFLBertQuestionAnswerer : NSObject
    
      // Delegate calls to the native BertQuestionAnswerer::CreateBertQuestionAnswerer
      + (instancetype)mobilebertQuestionAnswererWithModelPath:(NSString*)modelPath
                                                    vocabPath:(NSString*)vocabPath
          NS_SWIFT_NAME(mobilebertQuestionAnswerer(modelPath:vocabPath:));
    
      // Delegate calls to the native BertQuestionAnswerer::Answer
      - (NSArray<TFLQAAnswer*>*)answerWithContext:(NSString*)context
                                         question:(NSString*)question
          NS_SWIFT_NAME(answer(context:question:));
    }
    
    • .mm файл
      using BertQuestionAnswererCPP = ::tflite::task::text::BertQuestionAnswerer;
    
      @implementation TFLBertQuestionAnswerer {
        // define an iVar for the native API object
        std::unique_ptr<QuestionAnswererCPP> _bertQuestionAnswerwer;
      }
    
      // Initialize the native API object
      + (instancetype)mobilebertQuestionAnswererWithModelPath:(NSString *)modelPath
                                              vocabPath:(NSString *)vocabPath {
        absl::StatusOr<std::unique_ptr<QuestionAnswererCPP>> cQuestionAnswerer =
            BertQuestionAnswererCPP::CreateBertQuestionAnswerer(MakeString(modelPath),
                                                                MakeString(vocabPath));
        _GTMDevAssert(cQuestionAnswerer.ok(), @"Failed to create BertQuestionAnswerer");
        return [[TFLBertQuestionAnswerer alloc]
            initWithQuestionAnswerer:std::move(cQuestionAnswerer.value())];
      }
    
      // Calls the native API and converts C++ results into ObjC results
      - (NSArray<TFLQAAnswer *> *)answerWithContext:(NSString *)context question:(NSString *)question {
        std::vector<QaAnswerCPP> results =
          _bertQuestionAnswerwer->Answer(MakeString(context), MakeString(question));
        return [self arrayFromVector:results];
      }
    }