StringNGrams

StringNGrams de clase final pública

Crea ngrams a partir de datos de cadenas irregulares.

Esta operación acepta un tensor irregular con 1 dimensión irregular que contiene solo cadenas y genera un tensor irregular con 1 dimensión irregular que contiene ngrams de esa cadena, unidos a lo largo del eje más interno.

Métodos públicos

estática <T extiende Número> StringNGrams <T>
create ( Scope scope, Operand <String> datos, Operand <T> dataSplits, String separator, List <Long> ngramWidths, String leftPad, String rightPad, Long padWidth, Boolean preserveShortSequences)
Método de fábrica para crear una clase que envuelva una nueva operación StringNGrams.
Salida <String>
ngrams ()
El tensor de valores del tensor irregular de ngrams de salida.
Salida <T>
ngramsSplits ()
El tensor de divisiones del tensor irregular de ngrams de salida.

Métodos heredados

Métodos públicos

public static StringNGrams <T> create ( Scope scope, Operand <String> datos, Operand <T> dataSplits, String separator, List <Long> ngramWidths, String leftPad, String rightPad, Long padWidth, Boolean preserveShortSequences)

Método de fábrica para crear una clase que envuelva una nueva operación StringNGrams.

Parámetros
alcance alcance actual
datos El tensor de valores del tensor de cadena irregular para hacer ngrams. Debe ser un tensor de cuerda 1D.
dataSplits El tensor de divisiones del tensor de cuerda irregular del que se forman ngramas.
separador La cadena que se agregará entre los elementos del token. Utilice "" para ningún separador.
ngramWidths Los tamaños de los ngrams a crear.
leftPad La cadena que se utilizará para rellenar el lado izquierdo de la secuencia ngram. Solo se usa si pad_width! = 0.
rightPad La cadena que se utilizará para rellenar el lado derecho de la secuencia de ngram. Solo se usa si pad_width! = 0.
padWidth El número de elementos de relleno que se agregarán a cada lado de cada secuencia. Tenga en cuenta que el relleno nunca será mayor que 'ngram_widths'-1 independientemente de este valor. Si `pad_width = -1`, entonces agregue los elementos` max (ngram_widths) -1`.
Devoluciones
  • una nueva instancia de StringNGrams

Salida pública <String> ngrams ()

El tensor de valores del tensor irregular de ngrams de salida.

Salida pública <T> ngramsSplits ()

El tensor de divisiones del tensor irregular de ngrams de salida.