StringNGrams

StringNGrams della classe finale pubblica

Crea ngrammi da dati di stringhe irregolari.

Questa operazione accetta un tensore irregolare con 1 dimensione irregolare contenente solo stringhe e restituisce un tensore irregolare con 1 dimensione irregolare contenente ngrammi di quella stringa, uniti lungo l'asse più interno.

Metodi pubblici

statico <T estende Numero> StringNGrams <T>
create ( scope scope, operando <String> data, operando <T> dataSplits, separatore di stringhe, List<Long> ngramWidths, String leftPad, String rightPad, Long padWidth, Boolean preserveShortSequences)
Metodo factory per creare una classe che racchiude una nuova operazione StringNGrams.
Uscita <Stringa>
ngrammi ()
Il tensore dei valori dei ngrammi di output è un tensore irregolare.
Uscita <T>
ngrammiSplits ()
Il tensore diviso dei ngrammi di output è un tensore irregolare.

Metodi ereditati

Metodi pubblici

public static StringNGrams <T> create ( Scope scope, Operand <String> data, Operand <T> dataSplits, String separator, List<Long> ngramWidths, String leftPad, String rightPad, Long padWidth, Boolean preserveShortSequences)

Metodo factory per creare una classe che racchiude una nuova operazione StringNGrams.

Parametri
scopo ambito attuale
dati Il tensore dei valori del tensore della stringa irregolare da cui ricavare gli ngrammi. Deve essere un tensore di stringa 1D.
datiSplit Il tensore diviso del tensore della stringa irregolare da cui ricavare gli ngrammi.
separatore La stringa da aggiungere tra gli elementi del token. Utilizzare "" per nessun separatore.
ngramWidths Le dimensioni degli ngrammi da creare.
leftPad La stringa da utilizzare per riempire il lato sinistro della sequenza di ngrammi. Utilizzato solo se pad_width != 0.
RightPad La stringa da utilizzare per riempire il lato destro della sequenza di ngrammi. Utilizzato solo se pad_width != 0.
padWidth Il numero di elementi di riempimento da aggiungere a ciascun lato di ciascuna sequenza. Tieni presente che il riempimento non sarà mai maggiore di 'ngram_widths'-1 indipendentemente da questo valore. Se `pad_width=-1`, aggiungi gli elementi `max(ngram_widths)-1`.
ritorna
  • una nuova istanza di StringNGrams

output pubblico <String> ngrammi ()

Il tensore dei valori dei ngrammi di output è un tensore irregolare.

Output pubblico <T> ngramsSplits ()

Il tensore diviso dei ngrammi di output è un tensore irregolare.