В этом документе объясняется, как обучить модель и выполнить вывод с помощью микроконтроллера.
Пример Привет Мир
Пример Hello World предназначен для демонстрации абсолютных основ использования TensorFlow Lite для микроконтроллеров. Мы обучаем и запускаем модель, которая воспроизводит синусоидальную функцию, т. е. принимает одно число в качестве входных данных и выводит значение синуса этого числа. При развертывании в микроконтроллере его прогнозы используются либо для мигания светодиодов, либо для управления анимацией.
Непрерывный рабочий процесс включает в себя следующие этапы:
- Обучение модели (на Python): Блокнот Jupyter для обучения, преобразования и оптимизации модели для использования на устройстве.
- Выполнение логического вывода (в C++ 11): комплексный модульный тест, выполняющий логический вывод модели с использованием библиотеки C++ .
Получить поддерживаемое устройство
Пример приложения, которое мы будем использовать, был протестирован на следующих устройствах:
- Arduino Nano 33 BLE Sense (используя Arduino IDE)
- SparkFun Edge (сборка непосредственно из исходников)
- Комплект обнаружения STM32F746 (с использованием Mbed)
- Adafruit EdgeBadge (используя Arduino IDE)
- Комплект Adafruit TensorFlow Lite для микроконтроллеров (с использованием Arduino IDE)
- Adafruit Circuit Playground Bluefruit (используя Arduino IDE)
- Espressif ESP32-DevKitC (с использованием ESP IDF)
- Эспрессиф ESP-EYE (с использованием ESP IDF)
Узнайте больше о поддерживаемых платформах в TensorFlow Lite для микроконтроллеров .
Обучить модель
Используйте Google Colaboratory для обучения собственной модели . Для получения более подробной информации обратитесь к README.md
:
Привет, Мир Обучение README.md
Запустить вывод
Чтобы запустить модель на вашем устройстве, мы пройдемся по инструкциям в README.md
:
В следующих разделах рассматривается модульный тест hello_world_test.cc
, который демонстрирует, как выполнять вывод с помощью TensorFlow Lite для микроконтроллеров. Он загружает модель и несколько раз выполняет вывод.
1. Включите заголовки библиотеки
Чтобы использовать библиотеку TensorFlow Lite для микроконтроллеров, мы должны включить следующие заголовочные файлы:
#include "tensorflow/lite/micro/all_ops_resolver.h"
#include "tensorflow/lite/micro/micro_error_reporter.h"
#include "tensorflow/lite/micro/micro_interpreter.h"
#include "tensorflow/lite/schema/schema_generated.h"
#include "tensorflow/lite/version.h"
-
all_ops_resolver.h
предоставляет операции, используемые интерпретатором для запуска модели. -
micro_error_reporter.h
выводит отладочную информацию. -
micro_interpreter.h
содержит код для загрузки и запуска моделей. -
schema_generated.h
содержит схему для формата файла модели TensorFlow LiteFlatBuffer
. -
version.h
предоставляет информацию о версиях для схемы TensorFlow Lite.
2. Включите заголовок модели
Интерпретатор TensorFlow Lite для микроконтроллеров ожидает, что модель будет предоставлена в виде массива C++. Модель определяется в model.h
и model.cc
. Заголовок включает следующую строку:
#include "tensorflow/lite/micro/examples/hello_world/model.h"
3. Включите заголовок фреймворка модульного тестирования
Чтобы создать модульный тест, мы включаем среду модульного тестирования TensorFlow Lite для микроконтроллеров, включив следующую строку:
#include "tensorflow/lite/micro/testing/micro_test.h"
Тест определяется с помощью следующих макросов:
TF_LITE_MICRO_TESTS_BEGIN
TF_LITE_MICRO_TEST(LoadModelAndPerformInference) {
. // add code here
.
}
TF_LITE_MICRO_TESTS_END
Теперь мы обсудим код, включенный в макрос выше.
4. Настройте ведение журнала
Для настройки логирования создается указатель tflite::ErrorReporter
с использованием указателя на tflite::MicroErrorReporter
:
tflite::MicroErrorReporter micro_error_reporter;
tflite::ErrorReporter* error_reporter = µ_error_reporter;
Эта переменная будет передана интерпретатору, что позволит ему вести логи. Поскольку микроконтроллеры часто имеют различные механизмы ведения журнала, реализация tflite::MicroErrorReporter
разработана таким образом, чтобы ее можно было настроить для вашего конкретного устройства.
5. Загрузите модель
В следующем коде модель создается с использованием данных из массива char
, g_model
, который объявлен в model.h
. Затем мы проверяем модель, чтобы убедиться, что ее версия схемы совместима с используемой нами версией:
const tflite::Model* model = ::tflite::GetModel(g_model);
if (model->version() != TFLITE_SCHEMA_VERSION) {
TF_LITE_REPORT_ERROR(error_reporter,
"Model provided is schema version %d not equal "
"to supported version %d.\n",
model->version(), TFLITE_SCHEMA_VERSION);
}
6. Создание экземпляра преобразователя операций
Экземпляр AllOpsResolver
объявлен. Это будет использоваться интерпретатором для доступа к операциям, используемым моделью:
tflite::AllOpsResolver resolver;
AllOpsResolver
загружает все операции, доступные в TensorFlow Lite для микроконтроллеров, которые используют много памяти. Поскольку данная модель будет использовать только часть этих операций, рекомендуется, чтобы реальные приложения загружали только те операции, которые необходимы.
Это делается с помощью другого класса, MicroMutableOpResolver
. Вы можете увидеть, как его использовать, в micro_speech_test.cc
примера речи Micro .
7. Выделить память
Нам нужно предварительно выделить определенный объем памяти для ввода, вывода и промежуточных массивов. Это предоставляется в виде массива uint8_t
размера tensor_arena_size
:
const int tensor_arena_size = 2 * 1024;
uint8_t tensor_arena[tensor_arena_size];
Требуемый размер будет зависеть от модели, которую вы используете, и, возможно, его придется определять экспериментальным путем.
8. Создать интерпретатор
Мы создаем экземпляр tflite::MicroInterpreter
, передавая созданные ранее переменные:
tflite::MicroInterpreter interpreter(model, resolver, tensor_arena,
tensor_arena_size, error_reporter);
9. Выделить тензоры
Мы говорим интерпретатору выделить память из tensor_arena
для тензоров модели:
interpreter.AllocateTensors();
10. Подтвердите форму ввода
Экземпляр MicroInterpreter
может предоставить нам указатель на входной тензор модели, вызвав .input(0)
, где 0
представляет первый (и единственный) входной тензор:
// Obtain a pointer to the model's input tensor
TfLiteTensor* input = interpreter.input(0);
Затем мы проверяем этот тензор, чтобы убедиться, что его форма и тип соответствуют нашим ожиданиям:
// Make sure the input has the properties we expect
TF_LITE_MICRO_EXPECT_NE(nullptr, input);
// The property "dims" tells us the tensor's shape. It has one element for
// each dimension. Our input is a 2D tensor containing 1 element, so "dims"
// should have size 2.
TF_LITE_MICRO_EXPECT_EQ(2, input->dims->size);
// The value of each element gives the length of the corresponding tensor.
// We should expect two single element tensors (one is contained within the
// other).
TF_LITE_MICRO_EXPECT_EQ(1, input->dims->data[0]);
TF_LITE_MICRO_EXPECT_EQ(1, input->dims->data[1]);
// The input is a 32 bit floating point value
TF_LITE_MICRO_EXPECT_EQ(kTfLiteFloat32, input->type);
Значение перечисления kTfLiteFloat32
является ссылкой на один из типов данных TensorFlow Lite и определено в common.h
.
11. Укажите входное значение
Чтобы предоставить входные данные для модели, мы устанавливаем содержимое входного тензора следующим образом:
input->data.f[0] = 0.;
В этом случае мы вводим значение с плавающей запятой, представляющее 0
.
12. Запустите модель
Чтобы запустить модель, мы можем вызвать Invoke()
в нашем tflite::MicroInterpreter
:
TfLiteStatus invoke_status = interpreter.Invoke();
if (invoke_status != kTfLiteOk) {
TF_LITE_REPORT_ERROR(error_reporter, "Invoke failed\n");
}
Мы можем проверить возвращаемое значение, TfLiteStatus
, чтобы определить, был ли запуск успешным. Возможными значениями TfLiteStatus
, определенными в common.h
, являются kTfLiteOk
и kTfLiteError
.
В следующем коде утверждается, что значение равно kTfLiteOk
, что означает успешное выполнение логического вывода.
TF_LITE_MICRO_EXPECT_EQ(kTfLiteOk, invoke_status);
13. Получите вывод
Выходной тензор модели можно получить, вызвав output(0)
в tflite::MicroInterpreter
, где 0
представляет первый (и единственный) выходной тензор.
В примере выход модели представляет собой одно значение с плавающей запятой, содержащееся в двумерном тензоре:
TfLiteTensor* output = interpreter.output(0);
TF_LITE_MICRO_EXPECT_EQ(2, output->dims->size);
TF_LITE_MICRO_EXPECT_EQ(1, input->dims->data[0]);
TF_LITE_MICRO_EXPECT_EQ(1, input->dims->data[1]);
TF_LITE_MICRO_EXPECT_EQ(kTfLiteFloat32, output->type);
Мы можем прочитать значение непосредственно из выходного тензора и утверждать, что это то, что мы ожидаем:
// Obtain the output value from the tensor
float value = output->data.f[0];
// Check that the output value is within 0.05 of the expected value
TF_LITE_MICRO_EXPECT_NEAR(0., value, 0.05);
14. Запустите вывод еще раз
Оставшаяся часть кода выполняет вывод еще несколько раз. В каждом случае мы присваиваем значение входному тензору, вызываем интерпретатор и считываем результат из выходного тензора:
input->data.f[0] = 1.;
interpreter.Invoke();
value = output->data.f[0];
TF_LITE_MICRO_EXPECT_NEAR(0.841, value, 0.05);
input->data.f[0] = 3.;
interpreter.Invoke();
value = output->data.f[0];
TF_LITE_MICRO_EXPECT_NEAR(0.141, value, 0.05);
input->data.f[0] = 5.;
interpreter.Invoke();
value = output->data.f[0];
TF_LITE_MICRO_EXPECT_NEAR(-0.959, value, 0.05);
15. Прочтите код приложения
После того, как вы пройдете этот модульный тест, вы сможете понять код приложения примера, расположенный в main_functions.cc
. Он следует аналогичному процессу, но генерирует входное значение на основе того, сколько выводов было выполнено, и вызывает специфичную для устройства функцию, которая отображает выходные данные модели для пользователя.