tensoreflusso:: ops:: StringNGrams

#include <string_ops.h>

Crea ngrammi da dati di stringhe irregolari.

Riepilogo

Questa operazione accetta un tensore irregolare con 1 dimensione irregolare contenente solo stringhe e restituisce un tensore irregolare con 1 dimensione irregolare contenente ngrammi di quella stringa, uniti lungo l'asse più interno.

Argomenti:

  • scope: un oggetto Scope
  • dati: il tensore dei valori del tensore della stringa irregolare da cui ricavare gli ngrammi. Deve essere un tensore di stringa 1D.
  • data_splits: il tensore divide il tensore della stringa irregolare da cui ricavare gli ngrammi.
  • separatore: la stringa da aggiungere tra gli elementi del token. Utilizzare "" per nessun separatore.
  • ngram_widths: le dimensioni degli ngram da creare.
  • left_pad: la stringa da utilizzare per riempire il lato sinistro della sequenza ngram. Utilizzato solo se pad_width != 0.
  • right_pad: la stringa da utilizzare per riempire il lato destro della sequenza ngram. Utilizzato solo se pad_width != 0.
  • pad_width: il numero di elementi di riempimento da aggiungere a ciascun lato di ciascuna sequenza. Tieni presente che il riempimento non sarà mai maggiore di 'ngram_widths'-1 indipendentemente da questo valore. Se pad_width=-1 , aggiungi max(ngram_widths)-1 elementi.

Ritorna:

  • Ngrammi Output : il tensore dei valori del tensore irregolare dei ngrammi di output.
  • Output ngrams_splits: il tensore delle divisioni del tensore sfilacciato ngrams di output.

Costruttori e distruttori

StringNGrams (const :: tensorflow::Scope & scope, :: tensorflow::Input data, :: tensorflow::Input data_splits, StringPiece separator, const gtl::ArraySlice< int > & ngram_widths, StringPiece left_pad, StringPiece right_pad, int64 pad_width, bool preserve_short_sequences)

Attributi pubblici

ngrams
ngrams_splits
operation

Attributi pubblici

ngrammi

::tensorflow::Output ngrams

ngrams_splits

::tensorflow::Output ngrams_splits

operazione

Operation operation

Funzioni pubbliche

StringNGrams

 StringNGrams(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input data,
  ::tensorflow::Input data_splits,
  StringPiece separator,
  const gtl::ArraySlice< int > & ngram_widths,
  StringPiece left_pad,
  StringPiece right_pad,
  int64 pad_width,
  bool preserve_short_sequences
)