tensorflow :: opérations :: StringNGrammes

Crée des ngrams à partir de données de chaîne irrégulières.

Résumé

Cette opération accepte un tenseur irrégulier avec 1 dimension irrégulière contenant uniquement des chaînes et génère un tenseur irrégulier avec 1 dimension irrégulière contenant des ngrammes de cette chaîne, joints le long de l'axe le plus interne.

Arguments:

• scope: un objet Scope
• data: Le tenseur des valeurs du tenseur de chaîne irrégulière à partir duquel faire des ngrammes. Doit être un tenseur de chaîne 1D.
• data_splits: le tenseur de fractionnement du tenseur de chaîne irrégulière à partir duquel créer des ngrammes.
• separator: la chaîne à ajouter entre les éléments du jeton. Utilisez "" pour aucun séparateur.
• ngram_widths: les tailles des ngrams à créer.
• left_pad: La chaîne à utiliser pour remplir le côté gauche de la séquence ngram. Utilisé uniquement si pad_width! = 0.
• right_pad: La chaîne à utiliser pour remplir le côté droit de la séquence ngram. Utilisé uniquement si pad_width! = 0.
• pad_width: le nombre d'éléments de remplissage à ajouter de chaque côté de chaque séquence. Notez que le remplissage ne sera jamais supérieur à 'ngram_widths'-1 quelle que soit cette valeur. Si pad_width=-1 , alors ajoutez max(ngram_widths)-1 éléments.

Retour:

• Ngrams de Output : le tenseur des valeurs du tenseur irrégulier des ngrammes de sortie.
• Output ngrams_splits: Le tenseur de division du tenseur de sortie ngrams irrégulier.

Attributs publics

::tensorflow::Output ngrams

::tensorflow::Output ngrams_splits

Operation operation

 StringNGrams(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input data,
  ::tensorflow::Input data_splits,
  StringPiece separator,
  const gtl::ArraySlice< int > & ngram_widths,
  StringPiece left_pad,
  StringPiece right_pad,
  int64 pad_width,
  bool preserve_short_sequences
)