Dataset

מחלקה תקציר ציבורית מערך נתונים
תת-מחלקות ישירות ידועות

מייצג רשימה פוטנציאלית גדולה של אלמנטים עצמאיים (דגימות), ומאפשר לבצע איטרציה וטרנספורמציות על פני אלמנטים אלה.

בונים ציבוריים

מערך נתונים (Ops tf, Variant Operand <?>, List<Class<? מרחיב את TType >> outputTypes, List< Shape > outputShapes)

שיטות ציבוריות

מערך נתונים סופי
אצווה (גודל אצווה ארוך, טיפה בוליאנית LastBatch)
מקבץ רכיבים של מערך נתונים זה לקבוצות.
מערך נתונים סופי
אצווה (גודל אצווה ארוך)
מקבץ רכיבים של מערך נתונים זה לקבוצות.
סט נתונים סטטי
fromTensorSlices (Ops tf, List< Operand <?>> tensors, List<Class<? מרחיב את TType >> outputTypes)
יוצר 'מערך נתונים' בזיכרון שהאלמנטים שלו הם פרוסות של הטנזורים הנתונים.
אופס
רשימה< צורה >
getOutputShapes ()
קבל רשימה של צורות עבור כל רכיב במערך הנתונים הזה.
רשימה<Class<? מרחיב את TType >>
getOutputTypes ()
קבל רשימה של סוגי פלט עבור כל רכיב של מערך נתונים זה.
אופרנד <?>
getVariant ()
קבל את טנזור הגרסה המייצג את מערך הנתונים הזה.
Iterator<List< Operand <?>>>
איטרטור ()
יוצר איטרטור החוזר על כל הקבוצות של מערך הנתונים הזה בצורה נלהבת.
DatasetIterator
makeInitializeableIterator ()
יוצר `DatasetIterator` שניתן להשתמש בו כדי לחזור על אלמנטים של מערך נתונים זה.
DatasetIterator
makeOneShotIterator ()
יוצר `DatasetIterator` שניתן להשתמש בו כדי לחזור על אלמנטים של מערך נתונים זה.
מערך נתונים
מפה (פונקציה<List< Operand <?>>, List< Operand <?>>> ממפה)
מחזירה ערכת נתונים חדשה אשר ממפה פונקציה על פני כל הרכיבים המוחזרים על ידי מערך נתונים זה.
מערך נתונים
mapAllComponents (פונקציה< Operand <?>, Operand <?>> ממפה)
מחזירה ערכת נתונים חדשה שממפה פונקציה על פני כל האלמנטים ממערך הנתונים הזה, על כל הרכיבים של כל אלמנט.
מערך נתונים
mapOneComponent (int index, Function< Operand <?>, Operand <?>> ממפה)
מחזירה ערכת נתונים חדשה שממפה פונקציה על פני כל האלמנטים ממערך הנתונים הזה, על רכיב בודד של כל רכיב.
מערך נתונים סופי
לדלג (ספירה ארוכה)
מחזירה 'מערך נתונים' חדש שמדלג על רכיבים ראשוניים של 'ספירה' ממערך הנתונים הזה
מערך נתונים סופי
לקחת (ספירה ארוכה)
מחזירה 'מערך נתונים' חדש עם רכיבי 'ספירה' הראשונים בלבד ממערך הנתונים הזה.
סט נתונים סטטי
textLineDataset (Ops tf, שם קובץ מחרוזת, String compressionType, long bufferSize)
סט נתונים סטטי
tfRecordDataset (Ops tf, שם קובץ מחרוזת, String compressionType, long bufferSize)
חוּט

שיטות בירושה

בונים ציבוריים

מערך נתונים ציבורי (Ops tf, Variant Operand <?>, List<Class<? מרחיב את TType >> outputTypes, List< Shape > outputShapes)

שיטות ציבוריות

אצווה ערכת נתונים סופית ציבורית (אצווה ארוכה, dropLastBatch בוליאני)

מקבץ רכיבים של מערך נתונים זה לקבוצות.

פרמטרים
גודל אצווה מספר האלמנטים הרצויים בכל אצווה
dropLastBatch האם להשאיר את האצווה הסופית בחוץ אם יש בה פחות מ-'batchSize' אלמנטים.
החזרות
  • מערך נתונים אצווה

אצווה ערכת נתונים סופית ציבורית (גודל אצווה ארוך)

מקבץ רכיבים של מערך נתונים זה לקבוצות. כולל את האצווה האחרונה, גם אם יש בה פחות מ-'batchSize' אלמנטים.

פרמטרים
גודל אצווה מספר האלמנטים הרצויים בכל אצווה
החזרות
  • מערך נתונים אצווה

מערך נתונים סטטי ציבורי מ-TensorSlices (Ops tf, List< Operand <?>> טנסורים, List<Class<? מרחיב את TType >> outputTypes)

יוצר 'מערך נתונים' בזיכרון שהאלמנטים שלו הם פרוסות של הטנזורים הנתונים. כל רכיב במערך נתונים זה יהיה List<Operand<?>> , המייצג פרוסות (למשל אצווה) של הטנזורים שסופקו.

פרמטרים
tf אופס אקסס
טנסורים רשימה של Operand<?> המייצגים רכיבים של מערך נתונים זה (למשל תכונות, תוויות)
outputTypes רשימה של מחלקות מסוג טנסור המייצגות את סוג הנתונים של כל רכיב של מערך נתונים זה.
החזרות
  • 'מערך נתונים' חדש

Public Ops getOpsInstance ()

רשימה ציבורית< Shape > getOutputShapes ()

קבל רשימה של צורות עבור כל רכיב במערך הנתונים הזה.

רשימה ציבורית<Class<? מרחיב את TType >> getOutputTypes ()

קבל רשימה של סוגי פלט עבור כל רכיב של מערך נתונים זה.

Open Operand <?> getVariant ()

קבל את טנזור הגרסה המייצג את מערך הנתונים הזה.

איטרטור ציבורי<List< Operand <?>>> איטרטור ()

יוצר איטרטור החוזר על כל הקבוצות של מערך הנתונים הזה בצורה נלהבת. כל אצווה היא רשימה של רכיבים, המוחזרים כאובייקטי 'פלט'.

שיטה זו מאפשרת עבור כל איטרציה דרך אצווה כאשר היא פועלת במצב להוט. עבור איטרציה של מצב גרף, ראה 'makeOneShotIterator'.

החזרות
  • איטרטור דרך קבוצות של מערך נתונים זה.

ערכת נתונים ציבוריים makeInitializeableIterator ()

יוצר `DatasetIterator` שניתן להשתמש בו כדי לחזור על אלמנטים של מערך נתונים זה.

איטרטור זה יצטרך להיות אתחול בקריאה אל `iterator.makeInitializer(Dataset)` לפני שניתן יהיה לאחזר אלמנטים בלולאה.

החזרות
  • `DatasetIterator` חדש המבוסס על מבנה מערך הנתונים הזה.

Public DatasetIterator makeOneShotIterator ()

יוצר `DatasetIterator` שניתן להשתמש בו כדי לחזור על אלמנטים של מערך נתונים זה. שימוש ב-'makeOneShotIterator' מבטיח שהאיטרטור מאותחל אוטומטית במערך הנתונים הזה. דילוגים במצב גרף, הפעלת האתחול יתווסף לרשימת המאתחלים של הגרף, אותה יש להפעיל באמצעות `tf.init()`:

לדוגמה:

     try (Session session = new Session(graph) {
         // Immediately run initializers
         session.run(tf.init());
     }
 

במצב להוט, האתחול יופעל אוטומטית כתוצאה משיחה זו.

החזרות
  • `DatasetIterator` חדש המבוסס על מבנה מערך הנתונים הזה.

מפת ערכת נתונים ציבורית (פונקציה<List< Operand <?>>, List< Operand <?>>> ממפה)

מחזירה ערכת נתונים חדשה אשר ממפה פונקציה על פני כל הרכיבים המוחזרים על ידי מערך נתונים זה.

לדוגמה, נניח שכל רכיב הוא List<Operand<?>> עם 2 רכיבים: (תכונות, תוויות).

קריאה ל-

dataset.map(components -> {
      Operand<?> features = components.get(0);
      Operand<?> labels   = components.get(1);

      return Arrays.asList(
        tf.math.mul(features, tf.constant(2)),
        tf.math.mul(labels, tf.constant(5))
      );
 );
 }
תמפה את הפונקציה על פני רכיבי ה'תכונות' וה'תוויות', תכפיל את התכונות ב-2 והכפלת התוויות ב-5.

פרמטרים
ממפה הפונקציה שיש להחיל על כל רכיב של איטרטור זה.
החזרות
  • מערך נתונים חדש המחיל 'מאפר' על כל רכיב של איטרטור זה.

map AllComponents של ערכת נתונים ציבורית (פונקציה< Operand <?>, Operand <?>> ממפה)

מחזירה ערכת נתונים חדשה שממפה פונקציה על פני כל האלמנטים ממערך הנתונים הזה, על כל הרכיבים של כל אלמנט.

לדוגמה, נניח שכל רכיב הוא List<Operand<?>> עם 2 רכיבים: (תכונות, תוויות).

קריאה ל- dataset.mapAllComponents(component -> tf.math.mul(component, tf.constant(2))) תמפה את הפונקציה על רכיבי ה-'features' וה-'labels' של כל אלמנט, ותכפיל את כולם ב-2

פרמטרים
ממפה הפונקציה שיש להחיל על כל רכיב
החזרות
  • מערך נתונים חדש המחיל 'מאפר' על כל הרכיבים של כל אלמנט.

mapOneComponent של ערכת נתונים ציבוריים (int index, Function< Operand <?>, Operand <?>> ממפה)

מחזירה ערכת נתונים חדשה שממפה פונקציה על פני כל האלמנטים ממערך הנתונים הזה, על רכיב בודד של כל רכיב.

לדוגמה, נניח שכל רכיב הוא List<Operand<?>> עם 2 רכיבים: (תכונות, תוויות).

קריאה ל- dataset.mapOneComponent(0, features -> tf.math.mul(features, tf.constant(2))) תמפה את הפונקציה על פני רכיב ה-'features' של כל אלמנט, תוך הכפלת כל אחד ב-2.

פרמטרים
אינדקס האינדקס של הרכיב שיש להמיר.
ממפה הפונקציה שיש להחיל על רכיב היעד.
החזרות
  • מערך נתונים חדש המחיל 'מפה' על הרכיב באינדקס הנבחר.

דילוג על ערכת נתונים סופית (ספירה ארוכה)

מחזירה 'מערך נתונים' חדש שמדלג על רכיבים ראשוניים של 'ספירה' ממערך הנתונים הזה

פרמטרים
לספור מספר האלמנטים שיש לדלג עליהם כדי ליצור את מערך הנתונים החדש.
החזרות
  • מערך נתונים חדש עם רכיבי 'count' הוסרו.

צריכת נתונים סופית ציבורית (ספירה ארוכה)

מחזירה 'מערך נתונים' חדש עם רכיבי 'ספירה' הראשונים בלבד ממערך הנתונים הזה.

פרמטרים
לספור מספר האלמנטים שיש "לקחת" ממערך הנתונים הזה.
החזרות
  • ערכת נתונים חדשה המכילה את רכיבי ה-'count' הראשונים ממערך הנתונים הזה.

סטטי סטטי ציבורי textLineDataset ( Ops tf, שם קובץ מחרוזת, String compressionType, long bufferSize)

ערכת נתונים סטטית ציבורית tfRecordDataset (Ops tf, שם קובץ מחרוזת, String compressionType, long bufferSize)

מחרוזת ציבורית למחרוזת ()