flux tensoriel : : opérations : : ChaîneNGrams

#include <string_ops.h>

Crée des ngrammes à partir de données de chaîne irrégulières.

Résumé

Cette opération accepte un tenseur irrégulier avec 1 dimension irrégulière contenant uniquement des chaînes et génère un tenseur irrégulier avec 1 dimension irrégulière contenant des ngrammes de cette chaîne, joints le long de l'axe le plus intérieur.

Arguments:

  • scope : un objet Scope
  • data : Le tenseur des valeurs du tenseur de chaîne irrégulière à partir duquel créer des ngrammes. Doit être un tenseur de chaîne 1D.
  • data_splits : le tenseur de division du tenseur de chaîne irrégulière à partir duquel créer des ngrammes.
  • séparateur : la chaîne à ajouter entre les éléments du jeton. Utilisez "" pour aucun séparateur.
  • ngram_widths : Les tailles des ngrammes à créer.
  • left_pad : La chaîne à utiliser pour compléter le côté gauche de la séquence ngram. Utilisé uniquement si pad_width != 0.
  • right_pad : La chaîne à utiliser pour compléter le côté droit de la séquence ngram. Utilisé uniquement si pad_width != 0.
  • pad_width : le nombre d'éléments de remplissage à ajouter de chaque côté de chaque séquence. Notez que le remplissage ne sera jamais supérieur à 'ngram_widths'-1 quelle que soit cette valeur. Si pad_width=-1 , ajoutez des éléments max(ngram_widths)-1 .

Retour:

  • Ngrammes Output : le tenseur des valeurs du tenseur irrégulier des ngrammes de sortie.
  • Output ngrams_splits : Le tenseur de division du tenseur irrégulier des ngrams de sortie.

Constructeurs et Destructeurs

StringNGrams (const :: tensorflow::Scope & scope, :: tensorflow::Input data, :: tensorflow::Input data_splits, StringPiece separator, const gtl::ArraySlice< int > & ngram_widths, StringPiece left_pad, StringPiece right_pad, int64 pad_width, bool preserve_short_sequences)

Attributs publics

ngrams
ngrams_splits
operation

Attributs publics

ngrammes

::tensorflow::Output ngrams

ngrams_splits

::tensorflow::Output ngrams_splits

opération

Operation operation

Fonctions publiques

ChaîneNGrams

 StringNGrams(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input data,
  ::tensorflow::Input data_splits,
  StringPiece separator,
  const gtl::ArraySlice< int > & ngram_widths,
  StringPiece left_pad,
  StringPiece right_pad,
  int64 pad_width,
  bool preserve_short_sequences
)