StringNGrams

classe finale publique StringNGrams

Crée des ngrammes à partir de données de chaîne irrégulières.

Cette opération accepte un tenseur irrégulier avec 1 dimension irrégulière contenant uniquement des chaînes et génère un tenseur irrégulier avec 1 dimension irrégulière contenant des ngrammes de cette chaîne, joints le long de l'axe le plus intérieur.

Méthodes publiques

statique <T étend le nombre> StringNGrams <T>
créer ( Scope scope, Operand <String> data, Operand <T> dataSplits, String separator, List<Long> ngramWidths, String leftPad, String rightPad, Long padWidth, BooleanpreserveShortSequences)
Méthode d'usine pour créer une classe encapsulant une nouvelle opération StringNGrams.
Sortie <Chaîne>
ngrammes ()
Le tenseur des valeurs du tenseur irrégulier des ngrammes de sortie.
Sortie <T>
ngrammesSplits ()
Le tenseur de division du tenseur irrégulier des ngrammes de sortie.

Méthodes héritées

Méthodes publiques

public static StringNGrams <T> créer ( Scope scope, Operand <String> data, Operand <T> dataSplits, String separator, List<Long> ngramWidths, String leftPad, String rightPad, Long padWidth, BooleanpreserveShortSequences)

Méthode d'usine pour créer une classe encapsulant une nouvelle opération StringNGrams.

Paramètres
portée portée actuelle
données Le tenseur de valeurs du tenseur de chaîne irrégulière à partir duquel créer des ngrammes. Doit être un tenseur de chaîne 1D.
donnéesSplits Le tenseur de division du tenseur de chaîne irrégulière à partir duquel faire des ngrammes.
séparateur La chaîne à ajouter entre les éléments du jeton. Utilisez "" pour aucun séparateur.
ngramLargeurs Les tailles des ngrammes à créer.
Pavé gauche La chaîne à utiliser pour compléter le côté gauche de la séquence ngram. Utilisé uniquement si pad_width != 0.
droitPad La chaîne à utiliser pour compléter le côté droit de la séquence ngram. Utilisé uniquement si pad_width != 0.
largeur du tampon Le nombre d'éléments de remplissage à ajouter de chaque côté de chaque séquence. Notez que le remplissage ne sera jamais supérieur à 'ngram_widths'-1 quelle que soit cette valeur. Si `pad_width=-1`, alors ajoutez les éléments `max(ngram_widths)-1`.
Retour
  • une nouvelle instance de StringNGrams

sortie publique <String> ngrams ()

Le tenseur des valeurs du tenseur irrégulier des ngrammes de sortie.

Sortie publique <T> ngramsSplits ()

Le tenseur de division du tenseur irrégulier des ngrammes de sortie.