Zadbaj o dobrą organizację dzięki kolekcji Zapisuj i kategoryzuj treści zgodnie ze swoimi preferencjami.

tensorflow :: ops :: StringNGrams

#include <string_ops.h>

Tworzy ngramy z poszarpanych danych ciągów.

streszczenie

Ta operacja akceptuje poszarpany tensor z 1 poszarpanym wymiarem zawierający tylko struny i wyprowadza poszarpany tensor z 1 poszarpanym wymiarem zawierającym ngramy tej struny, połączone wzdłuż najbardziej wewnętrznej osi.

Argumenty:

  • zakres: obiekt Scope
  • dane: tensor wartości dla tensora postrzępionej struny, z którego ma zostać wyprowadzony ngramy. Musi być tensorem struny 1D.
  • data_splits: Tensor rozdzielania tensora postrzępionego łańcucha, z którego wyprowadzane są ngramy.
  • separator: ciąg, który ma zostać dołączony między elementami tokenu. Użyj „” bez separatora.
  • ngram_widths: rozmiary ngramów do utworzenia.
  • left_pad: ciąg znaków używany do wypełnienia lewej strony sekwencji ngram. Używane tylko, jeśli pad_width! = 0.
  • right_pad: ciąg znaków używany do wypełnienia prawej strony sekwencji ngram. Używane tylko, jeśli pad_width! = 0.
  • pad_width: liczba elementów dopełniających, które należy dodać do każdej strony każdej sekwencji. Zauważ, że wypełnienie nigdy nie będzie większe niż 'ngram_widths'-1, niezależnie od tej wartości. Jeśli pad_width=-1 , dodaj elementy max(ngram_widths)-1 .

Zwroty:

  • Output ngrams: Wartość tensora wyjściowego tensora ragged ngrams.
  • Output ngrams_splits: Tensor podziału wyjściowego tensora poszarpanego ngrams.

Konstruktorzy i niszczyciele

StringNGrams (const :: tensorflow::Scope & scope, :: tensorflow::Input data, :: tensorflow::Input data_splits, StringPiece separator, const gtl::ArraySlice< int > & ngram_widths, StringPiece left_pad, StringPiece right_pad, int64 pad_width, bool preserve_short_sequences)

Atrybuty publiczne

ngrams
ngrams_splits
operation

Atrybuty publiczne

ngramy

::tensorflow::Output ngrams

ngrams_splits

::tensorflow::Output ngrams_splits

operacja

Operation operation

Funkcje publiczne

StringNGrams

 StringNGrams(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input data,
  ::tensorflow::Input data_splits,
  StringPiece separator,
  const gtl::ArraySlice< int > & ngram_widths,
  StringPiece left_pad,
  StringPiece right_pad,
  int64 pad_width,
  bool preserve_short_sequences
)