tensorflow :: ops :: StringNGrams
#include <string_ops.h>
Tworzy ngramy z poszarpanych danych ciągów.
streszczenie
Ta operacja akceptuje poszarpany tensor z 1 poszarpanym wymiarem zawierający tylko struny i wyprowadza poszarpany tensor z 1 poszarpanym wymiarem zawierającym ngramy tej struny, połączone wzdłuż najbardziej wewnętrznej osi.
Argumenty:
- zakres: obiekt Scope
- dane: tensor wartości dla tensora postrzępionej struny, z którego ma zostać wyprowadzony ngramy. Musi być tensorem struny 1D.
- data_splits: Tensor rozdzielania tensora postrzępionego łańcucha, z którego wyprowadzane są ngramy.
- separator: ciąg, który ma zostać dołączony między elementami tokenu. Użyj „” bez separatora.
- ngram_widths: rozmiary ngramów do utworzenia.
- left_pad: ciąg znaków używany do wypełnienia lewej strony sekwencji ngram. Używane tylko, jeśli pad_width! = 0.
- right_pad: ciąg znaków używany do wypełnienia prawej strony sekwencji ngram. Używane tylko, jeśli pad_width! = 0.
- pad_width: liczba elementów dopełniających, które należy dodać do każdej strony każdej sekwencji. Zauważ, że wypełnienie nigdy nie będzie większe niż 'ngram_widths'-1, niezależnie od tej wartości. Jeśli
pad_width=-1
, dodaj elementymax(ngram_widths)-1
.
Zwroty:
-
Output
ngrams: Wartość tensora wyjściowego tensora ragged ngrams. -
Output
ngrams_splits: Tensor podziału wyjściowego tensora poszarpanego ngrams.
Konstruktorzy i niszczyciele | |
---|---|
StringNGrams (const :: tensorflow::Scope & scope, :: tensorflow::Input data, :: tensorflow::Input data_splits, StringPiece separator, const gtl::ArraySlice< int > & ngram_widths, StringPiece left_pad, StringPiece right_pad, int64 pad_width, bool preserve_short_sequences) |
Atrybuty publiczne | |
---|---|
ngrams | |
ngrams_splits | |
operation |
Atrybuty publiczne
ngramy
::tensorflow::Output ngrams
ngrams_splits
::tensorflow::Output ngrams_splits
operacja
Operation operation
Funkcje publiczne
StringNGrams
StringNGrams( const ::tensorflow::Scope & scope, ::tensorflow::Input data, ::tensorflow::Input data_splits, StringPiece separator, const gtl::ArraySlice< int > & ngram_widths, StringPiece left_pad, StringPiece right_pad, int64 pad_width, bool preserve_short_sequences )