tensorflow::ops::StringNGrams

Создает n-граммы из строковых данных с неровными линиями.

Краткое содержание

Эта операция принимает на вход тензор с одним неровным измерением, содержащий только строки, и выдает тензор с одним неровным измерением, содержащий n-граммы этой строки, соединенные вдоль самой внутренней оси.

Аргументы:

• scope: Объект Scope
• data: Тензор значений тензора рваных строк, из которого нужно построить n-граммы. Должен быть одномерным строковым тензором.
• data_splits: Тензор разделения тензора неровной строки для создания n-грамм.
• separator: Строка, которая будет добавлена ​​между элементами токена. Используйте "" для отсутствия разделителя.
• ngram_widths: Размеры создаваемых n-грамм.
• left_pad: Строка, используемая для заполнения левой части последовательности n-грамм. Используется только если pad_width != 0.
• right_pad: Строка, используемая для заполнения правой стороны последовательности n-грамм. Используется только если pad_width != 0.
• pad_width: Количество элементов отступа, добавляемых с каждой стороны каждой последовательности. Обратите внимание, что отступ никогда не будет больше 'ngram_widths'-1 независимо от этого значения. Если pad_width=-1 , то добавить max(ngram_widths)-1 элементов.

Возвращает:

• Output n-граммы: Тензор значений выходных n-грамм (тензор с неровными краями).
• Output ngrams_splits: тензор разбиения выходного тензора ngrams ragged.

Общедоступные атрибуты

::tensorflow::Output ngrams

::tensorflow::Output ngrams_splits

Operation operation

 StringNGrams(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input data,
  ::tensorflow::Input data_splits,
  StringPiece separator,
  const gtl::ArraySlice< int > & ngram_widths,
  StringPiece left_pad,
  StringPiece right_pad,
  int64 pad_width,
  bool preserve_short_sequences
)