AutoShardDataset

מחלקה סופית ציבורית AutoShardDataset

יוצר מערך נתונים שמרסק את מערך הנתונים של הקלט.

יוצר מערך נתונים שמרסק את מערך הנתונים של הקלט על ידי num_workers, ומחזיר מערך נתונים מפוצל עבור העובד ה-index. פעולה זו מנסה לגזור אוטומטית מערך נתונים על ידי בחינת גרף הנתונים של ערכת הנתונים והכנסת נתח הפעלה לפני הקלטות למערך נתונים של קורא (למשל CSVDataset, TFRecordDataset).

מערך הנתונים הזה יזרוק שגיאת NotFound אם לא נוכל לרסק את מערך הנתונים באופן אוטומטי.

כיתות מקוננות

מעמד AutoShardDataset.Options תכונות אופציונליות עבור AutoShardDataset

קבועים

חוּט OP_NAME השם של המבצע הזה, כפי שידוע על ידי מנוע הליבה של TensorFlow

שיטות ציבוריות

פלט < TType >
asOutput ()
מחזירה את הידית הסמלית של הטנזור.
סטטי AutoShardDataset.Options
autoShardPolicy (Long autoShardPolicy)
סטטי AutoShardDataset
create ( scope scope, Operand <?> inputDataset, Operand < TInt64 > numWorkers, Operand < TInt64 > index, List<Class<? מרחיב את TType >> outputTypes, List< Shape > outputShapes, Options... options)
שיטת מפעל ליצירת מחלקה העוטפת פעולת AutoShardDataset חדשה.
פלט <?>

שיטות בירושה

קבועים

מחרוזת סופית סטטית ציבורית OP_NAME

השם של המבצע הזה, כפי שידוע על ידי מנוע הליבה של TensorFlow

ערך קבוע: "ExperimentalAutoShardDataset"

שיטות ציבוריות

פלט ציבורי < TType > asOutput ()

מחזירה את הידית הסמלית של הטנזור.

כניסות לפעולות TensorFlow הן יציאות של פעולת TensorFlow אחרת. שיטה זו משמשת להשגת ידית סמלית המייצגת את חישוב הקלט.

ציבורי סטטי AutoShardDataset.Options autoShardPolicy (Long autoShardPolicy)

Public static AutoShardDataset create ( Scope scope, Operand <?> inputDataset, Operand < TInt64 > numWorkers, Operand < TInt64 > index, List<Class<? מרחיב את TType >> outputTypes, List< Shape > outputShapes, Options... options)

שיטת מפעל ליצירת מחלקה העוטפת פעולת AutoShardDataset חדשה.

פרמטרים
תְחוּם ההיקף הנוכחי
inputDataset טנזור משתנה המייצג את מערך הנתונים של הקלט.
numWorkers סקלאר המייצג את מספר העובדים להפצת מערך הנתונים הזה.
אינדקס סקלאר המייצג את האינדקס של העובד הנוכחי מתוך num_workers.
אפשרויות נושא ערכי תכונות אופציונליות
החזרות
  • מופע חדש של AutoShardDataset

ידית פלט ציבורית <?> ()