יום הקהילה ML הוא 9 בנובמבר! הצטרפו אלינו עדכונים מ- TensorFlow, JAX, ועוד למידע נוסף

זרימת טנסור :: אופ :: StringNGrams

#include <string_ops.h>

יוצר ngrams מנתוני מחרוזת מרופטים.

סיכום

אופציה זו מקבלת טנזור מרופט עם מימד מרופט אחד המכיל מחרוזות בלבד ויוצא טנזור מרופט עם מימד מרופט אחד המכיל נגרמים מאותו מחרוזת, המחוברים לאורך הציר הפנימי ביותר.

טענות:

  • היקף: אובייקט Scope
  • נתונים: הערכים טנסור של טנסור המחרוזת המרופט כדי להפיק מהם ngrams. חייב להיות טנסור מחרוזת 1D.
  • data_splits: פיצול הטנזור של טנסור המיתרים המרופט כדי להפוך ngrams.
  • separator: המחרוזת שצריך להוסיף בין אלמנטים של האסימון. השתמש באפשרות "" ללא מפריד.
  • ngram_widths: גדלי ה ngrams ליצור.
  • left_pad: המחרוזת שישמשה לריפוד הצד השמאלי של רצף ה- ngram. משמש רק אם pad_width! = 0.
  • right_pad: המחרוזת שישמשה לריפוד הצד הימני של רצף ה- ngram. משמש רק אם pad_width! = 0.
  • pad_width: מספר רכיבי הריפוד שיש להוסיף לכל צד של כל רצף. שים לב שהריפוד לעולם לא יהיה גדול מ- 'ngram_widths'-1 ללא קשר לערך זה. אם pad_width=-1 , הוסף max(ngram_widths)-1 אלמנטים.

החזרות:

  • Output ngrams: הערכים טנסור של ngrams פלט טנזור מרופט.
  • Output ngrams_splits: טנסור פיצול של פלט ngrams טרטור מרופט.

קונסטרוקטורים ומשחתנים

StringNGrams (const :: tensorflow::Scope & scope, :: tensorflow::Input data, :: tensorflow::Input data_splits, StringPiece separator, const gtl::ArraySlice< int > & ngram_widths, StringPiece left_pad, StringPiece right_pad, int64 pad_width, bool preserve_short_sequences)

תכונות ציבוריות

ngrams
ngrams_splits
operation

תכונות ציבוריות

נגרמים

::tensorflow::Output ngrams

ngrams_splits

::tensorflow::Output ngrams_splits

מבצע

Operation operation

פונקציות ציבוריות

StringNGrams

 StringNGrams(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input data,
  ::tensorflow::Input data_splits,
  StringPiece separator,
  const gtl::ArraySlice< int > & ngram_widths,
  StringPiece left_pad,
  StringPiece right_pad,
  int64 pad_width,
  bool preserve_short_sequences
)