tensorflow:: ops:: StringNGrams

Tworzy ngramy z nieregularnych ciągów danych.

Streszczenie

Ta operacja akceptuje poszarpany tensor z 1 poszarpanym wymiarem zawierającym wyłącznie ciągi znaków i zwraca poszarpany tensor z 1 poszarpanym wymiarem zawierającym ngramy tego ciągu znaków, połączone wzdłuż najbardziej wewnętrznej osi.

Argumenty:

• zakres: obiekt zakresu
• Dane: Wartości tensora tensora nierównego ciągu znaków, z którego tworzone są ngramy. Musi to być tensor ciągu znaków 1D.
• data_splits: Tensor podziału tensora nierównego ciągu znaków, z którego tworzone są ngramy.
• Separator: Ciąg znaków do dołączenia między elementami tokenu. Użyj znaku „”, aby nie oddzielać elementów.
• ngram_widths: Rozmiary ngramów do utworzenia.
• left_pad: Ciąg znaków używany do wypełnienia lewej strony sekwencji ngram. Używany tylko wtedy, gdy pad_width nie jest większy niż 0.
• right_pad: Ciąg znaków używany do wypełnienia prawej strony sekwencji ngram. Używany tylko wtedy, gdy pad_width nie jest większy niż 0.
• pad_width: Liczba elementów wypełnienia do dodania po każdej stronie każdej sekwencji. Należy pamiętać, że wypełnienie nigdy nie będzie większe niż 'ngram_widths'-1, niezależnie od tej wartości. Jeśli pad_width=-1 , należy dodać max(ngram_widths)-1 elementów.

Zwroty:

• Ngramy Output : Tensor wartości tensora nierównego ngramów wyjściowych.
• Output ngrams_splits: tensor podziału wyjściowego tensora ragged ngrams.

Atrybuty publiczne

::tensorflow::Output ngrams

::tensorflow::Output ngrams_splits

Operation operation

 StringNGrams(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input data,
  ::tensorflow::Input data_splits,
  StringPiece separator,
  const gtl::ArraySlice< int > & ngram_widths,
  StringPiece left_pad,
  StringPiece right_pad,
  int64 pad_width,
  bool preserve_short_sequences
)