tensorflow :: ops :: StringNGrams

Tworzy ngramy z poszarpanych danych ciągów.

streszczenie

Ta operacja akceptuje poszarpany tensor z 1 poszarpanym wymiarem zawierający tylko struny i wyprowadza poszarpany tensor z 1 poszarpanym wymiarem zawierającym ngramy tej struny, połączone wzdłuż najbardziej wewnętrznej osi.

Argumenty:

• zakres: obiekt Scope
• dane: tensor wartości dla tensora postrzępionej struny, z którego ma zostać wyprowadzony ngramy. Musi być tensorem struny 1D.
• data_splits: Tensor rozdzielania tensora postrzępionego łańcucha, z którego wyprowadzane są ngramy.
• separator: ciąg, który ma zostać dołączony między elementami tokenu. Użyj „” bez separatora.
• ngram_widths: rozmiary ngramów do utworzenia.
• left_pad: ciąg znaków używany do wypełnienia lewej strony sekwencji ngram. Używane tylko, jeśli pad_width! = 0.
• right_pad: ciąg znaków używany do wypełnienia prawej strony sekwencji ngram. Używane tylko, jeśli pad_width! = 0.
• pad_width: liczba elementów dopełniających, które należy dodać do każdej strony każdej sekwencji. Zauważ, że wypełnienie nigdy nie będzie większe niż 'ngram_widths'-1, niezależnie od tej wartości. Jeśli pad_width=-1 , dodaj elementy max(ngram_widths)-1 .

Zwroty:

• Output ngrams: Wartość tensora wyjściowego tensora ragged ngrams.
• Output ngrams_splits: Tensor podziału wyjściowego tensora poszarpanego ngrams.

Atrybuty publiczne

::tensorflow::Output ngrams

::tensorflow::Output ngrams_splits

Operation operation

 StringNGrams(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input data,
  ::tensorflow::Input data_splits,
  StringPiece separator,
  const gtl::ArraySlice< int > & ngram_widths,
  StringPiece left_pad,
  StringPiece right_pad,
  int64 pad_width,
  bool preserve_short_sequences
)