Импорт моделей на основе TensorFlow GraphDef в TensorFlow.js

Модели на основе TensorFlow GraphDef (обычно создаваемые через Python API) могут быть сохранены в одном из следующих форматов:

  1. TensorFlow SavedModel
  2. Замороженная модель
  3. Модуль Tensorflow Hub

Все вышеперечисленные форматы могут быть преобразованы с помощью преобразователя TensorFlow.js в формат , который может быть загружен непосредственно в TensorFlow.js для логического вывода.

(Примечание: TensorFlow устарел формат пакета сеанса, пожалуйста, перенесите свои модели в формат SavedModel.)

Требования

Для процедуры преобразования требуется среда Python; Вы можете сохранить изолированную один с помощью pipenv или virtualenv . Чтобы установить конвертер, выполните следующую команду:

 pip install tensorflowjs

Импорт модели TensorFlow в TensorFlow.js - это двухэтапный процесс. Сначала преобразуйте существующую модель в веб-формат TensorFlow.js, а затем загрузите ее в TensorFlow.js.

Шаг 1. Преобразование существующей модели TensorFlow в веб-формат TensorFlow.js.

Запустите сценарий конвертера, предоставленный пакетом pip:

Использование: Пример SavedModel:

tensorflowjs_converter \
    --input_format=tf_saved_model \
    --output_node_names='MobilenetV1/Predictions/Reshape_1' \
    --saved_model_tags=serve \
    /mobilenet/saved_model \
    /mobilenet/web_model

Пример замороженной модели:

tensorflowjs_converter \
    --input_format=tf_frozen_model \
    --output_node_names='MobilenetV1/Predictions/Reshape_1' \
    /mobilenet/frozen_model.pb \
    /mobilenet/web_model

Пример модуля Tensorflow Hub:

tensorflowjs_converter \
    --input_format=tf_hub \
    'https://tfhub.dev/google/imagenet/mobilenet_v1_100_224/classification/1' \
    /mobilenet/web_model
Позиционные аргументы Описание
input_path Полный путь к каталогу сохраненной модели, каталог пакета сеанса, файл замороженной модели, дескриптор или путь к модулю TensorFlow Hub.
output_path Путь для всех артефактов вывода.
Опции Описание
--input_format Формат входной модели: tf_saved_model для SavedModel, tf_frozen_model для замороженной модели, tf_session_bundle для пакета сеанса, tf_hub для модуля TensorFlow Hub и keras для Keras HDF5.
--output_node_names Имена выходных узлов, разделенные запятыми.
--saved_model_tags Применимо только к преобразованию SavedModel, тегам MetaGraphDef для загрузки в формате, разделенном запятыми. Значения по умолчанию для serve .
--signature_name Применимо только к преобразованию модуля TensorFlow Hub, подпись для загрузки. Значения по умолчанию для по default . См https://www.tensorflow.org/hub/common_signatures/

Используйте следующую команду, чтобы получить подробное справочное сообщение:

tensorflowjs_converter --help

Конвертер сгенерированных файлов

Приведенный выше сценарий преобразования создает файлы двух типов:

  • model.json (поток данных графа и вес манифеста)
  • group1-shard\*of\* (набор двоичных файлов веса)

Например, вот результат преобразования MobileNet v2:

  output_directory/model.json
  output_directory/group1-shard1of5
  ...
  output_directory/group1-shard5of5

Шаг 2. Загрузка и запуск в браузере

  1. Установите пакет npm tfjs-converter

yarn add @tensorflow/tfjs или npm install @tensorflow/tfjs

  1. Инстанцировать в класс FrozenModel и запустить умозаключение.
import * as tf from '@tensorflow/tfjs';
import {loadGraphModel} from '@tensorflow/tfjs-converter';

const MODEL_URL = 'model_directory/model.json';

const model = await loadGraphModel(MODEL_URL);
const cat = document.getElementById('cat');
model.execute(tf.browser.fromPixels(cat));

Ознакомьтесь с MobileNet демо .

loadGraphModel API принимает дополнительная LoadOptions параметр, который может быть использован для отправки учетных данных или пользовательских заголовков вместе с запросом. Пожалуйста , обратитесь к документации loadGraphModel () для получения более подробной информации.

Поддерживаемые операции

В настоящее время TensorFlow.js поддерживает ограниченный набор операций TensorFlow. Если ваша модель использует неподдерживаемые оп, то tensorflowjs_converter сценарий не удастся , и распечатать список неподдерживаемых опсов в вашей модели. Пожалуйста , подать вопрос для каждого цит , чтобы нам знать , какие опс вам нужна поддержка.

Загрузка только веса

Если вы предпочитаете загружать только веса, вы можете использовать следующий фрагмент кода.

import * as tf from '@tensorflow/tfjs';

const weightManifestUrl = "https://example.org/model/weights_manifest.json";

const manifest = await fetch(weightManifestUrl);
this.weightManifest = await manifest.json();
const weightMap = await tf.io.loadWeights(
        this.weightManifest, "https://example.org/model");