StringNGrams

publiczna klasa końcowa StringNGrams

Tworzy ngramy z danych w postaci nierównych ciągów.

Ta operacja akceptuje nierówny tensor z 1 nierównym wymiarem zawierającym tylko ciągi znaków i generuje nierówny tensor z 1 nierównym wymiarem zawierającym ngramy tego ciągu, połączone wzdłuż najbardziej wewnętrznej osi.

Metody publiczne

statyczny <T rozszerza numer> StringNGrams <T>
utwórz ( Zakres zakresu, Operand <String> dane, Operand <T> dataSplits, Separator ciągów, Lista<Long> ngramWidths, String leftPad, String RightPad, Long padWidth, Boolean keepShortSequences)
Metoda fabryczna służąca do tworzenia klasy opakowującej nową operację StringNGrams.
Wyjście <Ciąg>
ngramy ()
Tensor wartości wyjściowych ngramów tensora poszarpanego.
Wyjście <T>
ngramsSplits ()
Tensor podziału wyjściowego ngramowego tensora poszarpanego.

Metody dziedziczone

Metody publiczne

public static StringNGrams <T> create ( Zakres zakresu, Operand <String> dane, Operand <T> dataSplits, Separator ciągów, List<Long> ngramWidths, String leftPad, String RightPad, Long padWidth, Boolean keepShortSequences)

Metoda fabryczna służąca do tworzenia klasy opakowującej nową operację StringNGrams.

Parametry
zakres aktualny zakres
dane Tensor wartości tensora strun nierównych, z którego będą tworzone ngramy. Musi to być tensor struny 1D.
podział danych Tensor podziału tensora strun nierównych, z którego można utworzyć ngramy.
separator Ciąg do dołączenia między elementami tokenu. Użyj „” bez separatora.
ngramSzerokości Rozmiary ngramów do utworzenia.
lewyPad Ciąg używany do dopełnienia lewej strony sekwencji ngram. Używane tylko, jeśli pad_width != 0.
prawy pad Ciąg znaków używany do dopełnienia prawej strony sekwencji ngram. Używane tylko, jeśli pad_width != 0.
Szerokość podkładki Liczba elementów dopełniających, które należy dodać po każdej stronie każdej sekwencji. Należy pamiętać, że dopełnienie nigdy nie będzie większe niż „ngram_widths”-1 niezależnie od tej wartości. Jeśli `pad_width=-1`, dodaj elementy `max(ngram_widths)-1`.
Zwroty
  • nowa instancja StringNGrams

public Output <String> ngrams ()

Tensor wartości wyjściowych ngramów tensora poszarpanego.

publiczne wyjście <T> ngramsSplits ()

Tensor podziału wyjściowego ngramowego tensora poszarpanego.