Эта страница переведена с помощью Cloud Translation API.

Поддерживаемые операторы Select TensorFlow

Основные операторы TensorFlow

Ниже приведен исчерпывающий список основных операций TensorFlow, которые поддерживаются средой выполнения TensorFlow Lite с функцией Select TensorFlow Ops.

Операторы TensorFlow Text и SentencePiece

Следующие операторы TensorFlow Text и SentencePiece поддерживаются, если вы используете Python API для преобразования и импортируете эти библиотеки.

Операторы TF.Text:

CaseFoldUTF8
ConstrainedSequence
MaxSpanningTree
NormalizeUTF8
NormalizeUTF8WithOffsetsMap
RegexSplitWithOffsets
RougeL
SentenceFragments
SentencepieceOp
SentencepieceTokenizeOp
SentencepieceTokenizeWithOffsetsOp
SentencepieceDetokenizeOp
SentencepieceVocabSizeOp
SplitMergeTokenizeWithOffsets
UnicodeScriptTokenizeWithOffsets
WhitespaceTokenizeWithOffsets
WordpieceTokenizeWithOffsets

Операторы SentencePiece:

SentencepieceGetPieceSize
SentencepiecePieceToId
SentencepieceIdToPiece
SentencepieceEncodeDense
SentencepieceEncodeSparse
SentencepieceDecode

В следующем фрагменте показано, как преобразовать модели с помощью указанных выше операторов:

import tensorflow as tf
# These imports are required to load operators' definition.
import tensorflow_text as tf_text
import sentencepiece as spm

converter = tf.lite.TFLiteConverter.from_keras_model(your_model)
converter.target_spec.supported_ops = [
  tf.lite.OpsSet.TFLITE_BUILTINS, tf.lite.OpsSet.SELECT_TF_OPS
]
model_data = converter.convert()

На стороне выполнения также необходимо связать библиотеку TensorFlow Text или SentencePiece с окончательным приложением или двоичным файлом.

Определенные пользователем операторы

Если вы создали свои собственные операторы TensorFlow , вы также можете преобразовать модели, содержащие их, в TensorFlow Lite, перечислив необходимые операторы в experimental_select_user_tf_ops следующим образом:

import tensorflow as tf

ops_module = tf.load_op_library('./your_ops_library.so')

converter = tf.lite.TFLiteConverter.from_saved_model(your_model)
converter.target_spec.supported_ops = [
  tf.lite.OpsSet.TFLITE_BUILTINS, tf.lite.OpsSet.SELECT_TF_OPS
]
converter.target_spec.experimental_select_user_tf_ops = [
    'your_op_name1',
    'your_op_name2'
]
model_data = converter.convert()

На стороне выполнения также необходимо связать вашу библиотеку операторов с окончательным приложением или двоичным файлом.

Добавьте основные операторы TensorFlow в список разрешенных.

Если вы столкнулись со случаем, когда основные операторы TensorFlow не входят в приведенный выше список разрешенных, вы можете сообщить о запросе функции здесь с именами основных операторов TensorFlow, не перечисленных в разрешенном списке.

Вы также можете создать собственный запрос на извлечение из исходного кода. Например, если вы хотите добавить операцию raw_ops.StringToNumber в список разрешенных, есть три места для обновления, как этот коммит .

(1) Добавьте исходный код ядра оператора в правило portable_extended_ops_group2 BUILD.

filegroup(
    name = "portable_extended_ops_group2",
    srcs = [
        ...
+       "string_to_number_op.cc",

        ...
    ],
)

Чтобы найти соответствующий исходный файл ядра оператора в каталоге tensorflow/core/kernels , вы можете найти местоположение исходного кода, которое содержит следующее объявление ядра с именем оператора:

REGISTER_KERNEL_BUILDER(Name("StringToNumber")                 \
                            .Device(DEVICE_CPU)                \
                            .TypeConstraint<type>("out_type"), \
                        StringToNumberOp<type>)

Если в каталоге tensorflow/core/kernels есть какие-либо заголовочные файлы, необходимые в исходном коде ядра оператора, вам необходимо добавить заголовочный файл в правило portable_extended_ops_headers BUILD следующим образом:

filegroup(
    name = "portable_extended_ops_headers",
    srcs = [
        ...
+       "string_util.h",

        ...
    ],
)

(2) Добавьте имя оператора в список разрешенных.

Список разрешенных определен в файле tensorflow/lite/delegates/flex/allowlisted_flex_ops.cc . Имя основного оператора TensorFlow необходимо указать, чтобы его можно было разрешить с помощью параметра «Выбрать TF».

static const std::set<std::string>* allowlisted_flex_ops =
    new std::set<std::string>({
        ...
+       "StringToNumber",

        ...
    });

Поскольку приведенный выше список отсортирован в алфавитном порядке, это гарантирует, что имя будет размещено в нужном месте.

(3) Добавьте имя оператора на эту страницу руководства.

Чтобы показать включение оператора другим разработчикам, эта страница руководства также должна быть обновлена. Эта страница находится по адресу tensorflow/lite/g3doc/guide/op_select_allowlist.md .

## TensorFlow core operators

The following is an exhaustive list of TensorFlow core operations that are
supported by TensorFlow Lite runtime with the Select TensorFlow Ops feature.

...
+*   `raw_ops.StringToNumber`
...