מבנים

שרשור של שני רצפים עם אותו סוג אלמנט.

תצוגה מסובבת על אוסף.

ערך נגזרת שנמחק מהסוג.

הסוג AnyDerivative מעביר את הפעולות שלו לערך נגזרת בסיס שרירותי התואם ל- Differentiable ו- AdditiveArithmetic , ומסתיר את הפרטים של הערך הבסיסי.

מערך רב ממדי של אלמנטים שהוא הכללה של וקטורים ומטריצות למימדים בעלי פוטנציאל גבוה יותר.

הפרמטר הגנרי Scalar מתאר את סוג הסקלרים בטנזור (כגון Int32 , Float וכו').

פונקציית נסיגה המבצעת טרנספוזיציה של שידור שני Tensors .

הקשר המאחסן מידע קונטקסטואלי של שרשור מקומי המשמש את ממשקי API של למידה עמוקה כגון שכבות.

השתמש Context.local כדי לאחזר את ההקשר הנוכחי של השרשור המקומי.

דוגמאות:

• הגדר את שלב הלמידה הנוכחי לאימון כך ששכבות כמו BatchNorm יחשבו את הממוצע והשונות כשהן מיושמות על תשומות.

  Context.local.learningPhase = .training

• הגדר את שלב הלמידה הנוכחי להסקת מסקנות כך ששכבות כמו Dropout לא ייפלטו יחידות כאשר יוחלו על קלט.

  Context.local.learningPhase = .inference

שכבת קונבולציה 1-D (למשל פיתול זמני על פני סדרת זמן).

שכבה זו יוצרת מסנן קונבולציה שמתפתל עם קלט השכבה כדי לייצר טנזור של יציאות.

שכבת פיתול דו מימדי (למשל פיתול מרחבי על פני תמונות).

שכבה זו יוצרת מסנן קונבולציה שמתפתל עם קלט השכבה כדי לייצר טנזור של יציאות.

שכבת קונבולציה תלת מימדית עבור פיתול מרחבי/מרחבי-זמני על פני תמונות.

שכבה זו יוצרת מסנן קונבולציה שמתפתל עם קלט השכבה כדי לייצר טנזור של יציאות.

שכבת קונבולציית טרנספוזיציה 1-D (למשל קונבולוציית טרנספוזיציה זמנית על פני תמונות).

שכבה זו יוצרת מסנן קונבולוציה שמסובב-טרנספוזיציה עם קלט השכבה כדי לייצר טנזור של יציאות.

שכבת טרנספוזיציה דו-ממדית (למשל קונבולוציית טרנספוזיה מרחבית על פני תמונות).

שכבה זו יוצרת מסנן קונבולוציה שמסובב-טרנספוזיציה עם קלט השכבה כדי לייצר טנזור של יציאות.

שכבת טרנספוזיציה תלת מימדית (למשל קונבולוציית טרנספוזיציה מרחבית על פני תמונות).

שכבה זו יוצרת מסנן קונבולוציה שמסובב-טרנספוזיציה עם קלט השכבה כדי לייצר טנזור של יציאות.

שכבת פיתול 2-D לעומק.

שכבה זו יוצרת מסנני קונבולציה ניתנים להפרדה שמתפתלים עם קלט השכבה כדי לייצר טנזור של יציאות.

שכבה להוספת ריפוד אפס בממד הזמני.

שכבה להוספת ריפוד אפס במידות המרחביות.

שכבה להוספת ריפוד אפס בממדים המרחביים/מרחבי-זמניים.

שכבת פיתול 1-D הניתנת להפרדה.

שכבה זו מבצעת פיתול עומק הפועל בנפרד על ערוצים ולאחריה פיתול נקודתי המערבב ערוצים.

שכבת פיתול דו מימדי ניתנת להפרדה.

שכבה זו מבצעת פיתול עומק הפועל בנפרד על ערוצים ולאחריה פיתול נקודתי המערבב ערוצים.

שכבה שטוחה.

שכבה שטוחה משטחת את הקלט בעת יישום מבלי להשפיע על גודל האצווה.

שכבת צורה מחדש.

שכבה שכוללת פונקציה הניתנת להבדלה מותאמת אישית.

ערך טיפוס דינמי של TensorFlow שניתן ליצור מסוגים התואמים ל- TensorFlowScalar .

מייצג סט פוטנציאלי גדול של אלמנטים.

ניתן להשתמש Dataset כדי לייצג צינור קלט כאוסף של טנסור אלמנטים.

הסוג המאפשר איטרציה על רכיבי מערך נתונים.

מבנה דמוי 2-טופל התואם ל-TensorGroup המייצג טופלה של 2 סוגים התואמים ל- TensorGroup .

שכבת רשת עצבית מחוברת בצפיפות.

Dense מיישמת את activation(matmul(input, weight) + bias) , כאשר weight הוא מטריצת משקל, bias היא וקטור הטיה, activation היא פונקציית הפעלה נקודתית.

שכבה זו תומכת גם בטנסורי משקל תלת-ממדיים עם מטריצות הטיה דו-ממדיות. במקרה זה, הממד הראשון של שניהם מטופל כגודל האצווה המיושר עם הממד הראשון של input ומשתמשים בגרסה האצווה של פעולת matmul(_:_:) , ובכך משתמשים במשקל והטיה שונים עבור כל אלמנט באצווה קלט.

מכשיר שעליו ניתן להקצות Tensor s.

שכבת נשירה.

נשירה מורכבת מהגדרה אקראית של חלק מיחידות הקלט ל 0 בכל עדכון במהלך זמן האימון, מה שעוזר במניעת התאמת יתר.

GaussianNoise מוסיף רעש שנדגם מהתפלגות נורמלית.

לרעש שנוסף תמיד יש אפס ממוצע, אבל יש לו סטיית תקן הניתנת להגדרה.

GaussianDropout מכפיל את הקלט עם הרעש שנדגם מהתפלגות נורמלית בממוצע 1.0.

מכיוון שמדובר בשכבת רגוליזציה, היא פעילה רק בזמן האימון. במהלך היסק, GaussianDropout עובר דרך הקלט ללא שינוי.

שכבת נשירת אלפא.

Alpha Dropout הוא Dropout ששומר על ממוצע ושונות של כניסות לערכים המקוריים שלהם, על מנת להבטיח את תכונת הנרמול העצמי גם לאחר נשירה זו. Alpha Dropout מתאים היטב ליחידות לינאריות מעריכיות בקנה מידה על ידי הגדרה אקראית של הפעלות לערך הרוויה השלילי.

מקור: Self-Normalizing Neural Networks: https://arxiv.org/abs/1706.02515

שכבת הטבעה.

Embedding היא למעשה טבלת חיפוש הממפה אינדקסים מאוצר מילים קבוע לייצוגי וקטור בגודל קבוע (צפוף), למשל [[0], [3]] -> [[0.25, 0.1], [0.6, -0.2]]

מבנה ריק המייצג TangentVector s ריקים עבור שכבות ללא פרמטרים.

זוג רגעים ראשונים ושניים (כלומר, ממוצע ושונות).

שכבת הרחבה מורפולוגית דו מימדית

שכבה זו מחזירה את ההתרחבות המורפוגית של טנזור הקלט עם המסננים שסופקו

שכבת שחיקה מורפולוגית דו מימדית

שכבה זו מחזירה את השחיקה המורפוגית של טנזור הקלט עם המסננים שסופקו

מבחר עצלן של אלמנטים, בסדר נתון, מאוסף בסיס כלשהו.

אוסף של הפרוסות הרציפות הארוכות ביותר שאינן חופפות מאוסף Base כלשהו, ​​החל מהאלמנט הראשון שלו, ובעלות אורך מקסימלי קבוע כלשהו.

לרכיבים של אוסף זה, מלבד האחרון, לכולם יש count של batchSize , אלא אם כן Base.count % batchSize !=0 , ובמקרה זה count של האצווה האחרונה היא base.count % batchSize.

שכבת נורמליזציה אצווה.

מנרמל את ההפעלה של השכבה הקודמת בכל אצווה, כלומר מחיל טרנספורמציה השומרת על ההפעלה הממוצעת קרובה ל 0 ועל סטיית התקן של ההפעלה קרובה ל 1 .

התייחסות: נורמליזציה של אצווה: האצת אימון רשת עמוק על ידי הפחתת הסטת משתנים פנימית .

שכבה המיישמת נורמליזציה של שכבות על מיני-אצט של כניסות.

הפניה: נורמליזציה של שכבה .

שכבה המיישמת נורמליזציה קבוצתית על מיני-אצט של כניסות.

התייחסות: נורמליזציה קבוצתית .

שכבה המיישמת נורמליזציה של מופעים על מיני-אצט של כניסות.

הפניה: נורמליזציה של מופע: המרכיב החסר לסטייליזציה מהירה .

ציין עבור שלב בודד של משקל בודד בתוך מייעל.

גישה למדינה גלובלית דרך StateAccessor .

[String: Float] אך ניתן לגשת לאלמנטים כאילו היו חברים.

אופטימיזר שעובד על קבוצת פרמטרים בודדת.

עטיפה בטוחה לסוג סביב ערך אינדקס Int עבור ערכים מקומיים למיטוב.

עטיפה בטוחה לסוג סביב ערך אינדקס Int עבור ערכים גלובליים למיטוב.

עטיפה בטוחה לסוג סביב ערך אינדקס Int עבור ערכי מצב אופטימיזציה.

בונה ParameterGroupOptimizer . זה משמש למעשה ברמה של משקל בודד בדגם. מיפוי מקבוצות פרמטרים שנבחרו על ידי ( [Bool] ל-ParameterGroupOptimizer) מגדיר את המייעל הסופי.

שכבת איגום מקסימלית עבור נתונים זמניים.

שכבת איגום מקסימלית לנתונים מרחביים.

שכבת איגום מקסימלית לנתונים מרחביים או מרחביים-זמניים.

שכבת איגום ממוצעת לנתונים זמניים.

שכבת איגום ממוצעת לנתונים מרחביים.

שכבת איגום ממוצעת לנתונים מרחביים או מרחביים-זמניים.

שכבת איגום ממוצעת גלובלית לנתונים זמניים.

שכבת איגום ממוצעת גלובלית לנתונים מרחביים.

שכבת איגום ממוצעת גלובלית לנתונים מרחביים ומרחב-זמניים.

שכבת איסוף מקסימלית גלובלית לנתונים זמניים.

שכבת איסוף מקסימלית גלובלית לנתונים מרחביים.

שכבת איסוף מקסימלית גלובלית לנתונים מרחביים ומרחבי-זמניים.

שכבת איסוף מקסימלית חלקית עבור נתונים מרחביים. הערה: FractionalMaxPool אין מימוש XLA, ולכן עשויות להיות לו השלכות ביצועים.

PythonObject מייצג אובייקט ב- Python ותומך בחיפוש חברים דינמי. כל גישת חבר כמו object.foo תבקש באופן דינמי את זמן הריצה של Python עבור חבר עם השם שצוין באובייקט זה.

PythonObject מועבר ומוחזר מכל קריאות הפונקציה Python והפניות לחברים. הוא תומך בחשבון Python סטנדרטיים ואופרטורים להשוואה.

באופן פנימי, PythonObject מיושם כמצביע שנספר הפניות ל- Python C API PyObject .

מעטפת PythonObject המאפשרת זריקת קריאות למתודה. חריגים המיוצרים על ידי פונקציות Python באים לידי ביטוי כשגיאות Swift ונזרקות.

מעטפת PythonObject המאפשרת גישה לחברים. פעולות גישת חבר מחזירות תוצאה Optional . כאשר הגישה לחבר נכשל, nil מוחזר.

ממשק לפייתון.

PythonInterface מאפשר אינטראקציה עם Python. ניתן להשתמש בו כדי לייבא מודולים ולגשת באופן דינמי לסוגים ולפונקציות המובנות של Python.

מחולל מספרים אקראיים שנמחק על ידי סוג.

הסוג AnyRandomNumberGenerator מעביר פעולות של יצירת מספרים אקראיים למחולל מספרים אקראיים בסיסיים, ומסתיר את הסוג הבסיסי הספציפי שלו.

יישום של SeedableRandomNumberGenerator באמצעות ARC4.

ARC4 הוא צופן זרם שיוצר זרם פסאודו אקראי של בתים. PRNG זה משתמש בזרע כמפתח שלו.

ARC4 מתואר ב-Schneier, B., "Applied Cryptography: Protocols, Algorithms, and Source Code in C", מהדורה 2, 1996.

מחולל בודד אינו בטוח בחוט, אך מחוללים נפרדים אינם חולקים מצב. הנתונים האקראיים שנוצרו הם באיכות גבוהה, אך אינם מתאימים ליישומי הצפנה.

יישום של SeedableRandomNumberGenerator באמצעות Threefry. סלמון וחב'. SC 2011. מספרים אקראיים מקבילים: קלים כמו 1, 2, 3. http://www.thesalmons.org/john/random123/papers/random123sc11.pdf

מבנה זה מיישם 20 סיבובים Threefry2x32 PRNG. זה חייב להיות זרע עם ערך של 64 סיביות.

מחולל בודד אינו בטוח בחוט, אך מחוללים נפרדים אינם חולקים מצב. הנתונים האקראיים שנוצרו הם באיכות גבוהה, אך אינם מתאימים ליישומי הצפנה.

יישום של SeedableRandomNumberGenerator באמצעות Philox. סלמון וחב'. SC 2011. מספרים אקראיים מקבילים: קלים כמו 1, 2, 3. http://www.thesalmons.org/john/random123/papers/random123sc11.pdf

מבנה זה מיישם 10 סיבובים של Philox4x32 PRNG. זה חייב להיות זרע עם ערך של 64 סיביות.

מחולל בודד אינו בטוח בחוט, אך מחוללים נפרדים אינם חולקים מצב. הנתונים האקראיים שנוצרו הם באיכות גבוהה, אך אינם מתאימים ליישומי הצפנה.

קלט לרשת עצבית חוזרת.

פלט לרשת עצבית חוזרת.

תא RNN בסיסי.

תא LSTM.

תא GRU.

שכבה המרכיבה ברצף שתי שכבות אחרות או יותר.

דוגמאות:

• בנה מודל פרספטרון דו-שכבתי פשוט עבור MNIST:

let inputSize = 28 * 28
let hiddenSize = 300
var classifier = Sequential {
     Dense<Float>(inputSize: inputSize, outputSize: hiddenSize, activation: relu)
     Dense<Float>(inputSize: hiddenSize, outputSize: 3, activation: identity)
 }

• בנה מקודד אוטומטי עבור MNIST:

var autoencoder = Sequential {
    // The encoder.
    Dense<Float>(inputSize: 28 * 28, outputSize: 128, activation: relu)
    Dense<Float>(inputSize: 128, outputSize: 64, activation: relu)
    Dense<Float>(inputSize: 64, outputSize: 12, activation: relu)
    Dense<Float>(inputSize: 12, outputSize: 3, activation: relu)
    // The decoder.
    Dense<Float>(inputSize: 3, outputSize: 12, activation: relu)
    Dense<Float>(inputSize: 12, outputSize: 64, activation: relu)
    Dense<Float>(inputSize: 64, outputSize: 128, activation: relu)
    Dense<Float>(inputSize: 128, outputSize: imageHeight * imageWidth, activation: tanh)
}

ShapedArray הוא מערך רב מימדי. יש לו צורה, שיש לה סוג [Int] ומגדירה את ממדי המערך, ומשתמשת ב- TensorBuffer פנימי כאחסון.

פרוסה רציפה של מופע ShapedArray או ShapedArraySlice .

ShapedArraySlice מאפשר פעולות מהירות ויעילות על פרוסות רצופות של מופעי ShapedArray . למופעי ShapedArraySlice אין אחסון משלהם. במקום זאת, הם מספקים מבט על האחסון של ShapedArray הבסיס שלהם. ShapedArraySlice יכול לייצג שני סוגים שונים של פרוסות: מערכי אלמנטים ומערכים משנה.

מערכי אלמנטים הם אלמנטים תת-ממדיים של ShapedArray : הדרגה שלהם היא אחת פחות מזו של הבסיס שלהם. פרוסות מערך אלמנטים מתקבלות על ידי אינדקס של מופע ShapedArray עם אינדקס Int32 יחיד.

לדוגמה:

    var matrix = ShapedArray(shape: [2, 2], scalars: [0, 1, 2, 3])
    // `matrix` represents [[0, 1], [2, 3]].

    let element = matrix[0]
    // `element` is a `ShapedArraySlice` with shape [2]. It is an element
    // array, specifically the first element in `matrix`: [0, 1].

    matrix[1] = ShapedArraySlice(shape: [2], scalars: [4, 8])
    // The second element in `matrix` has been mutated.
    // `matrix` now represents [[0, 1, 4, 8]].

מערכי משנה הם טווח רציף של האלמנטים ב- ShapedArray . הדרגה של תת-מערך זהה לזו של הבסיס שלו, אבל הממד המוביל שלו הוא ספירת טווח הפרוסות. פרוסות תת-מערך מתקבלות על ידי אינדקס של ShapedArray עם Range<Int32> המייצג טווח של אלמנטים (במימד המוביל). שיטות כמו prefix(:) suffix(:) אשר אינדקס פנימית עם טווח מייצרות גם תת-מערך.

לדוגמה:

    let zeros = ShapedArray(repeating: 0, shape: [3, 2])
    var matrix = ShapedArray(shape: [3, 2], scalars: Array(0..<6))
    // `zeros` represents [[0, 0], [0, 0], [0, 0]].
    // `matrix` represents [[0, 1], [2, 3], [4, 5]].

    let subarray = matrix.prefix(2)
    // `subarray` is a `ShapedArraySlice` with shape [2, 2]. It is a slice
    // of the first 2 elements in `matrix` and represents [[0, 1], [2, 3]].

    matrix[0..<2] = zeros.prefix(2)
    // The first 2 elements in `matrix` have been mutated.
    // `matrix` now represents [[0, 0], [0, 0], [4, 5]].

StringTensor הוא מערך רב מימדי שהאלמנטים שלו הם String s.

TensorHandle הוא הסוג המשמש את ops. הוא כולל סוג Scalar , שבו מערכות פנימיות מהדר יכולות להשתמש כדי לקבוע את סוגי הנתונים של פרמטרים כאשר הם מחולצים לתוכנית טנזור.

מבנה המייצג צורה של טנזור.

TensorShape היא עטיפה דקה סביב מערך של מספרים שלמים המייצגים ממדי צורות. כל סוגי הטנסור משתמשים TensorShape כדי לייצג את צורתם.

TensorVisitorPlan מקרוב את [WritableKeyPath<Base, Tensor<Float>] אבל הוא יעיל יותר. זה שימושי לכתיבת מטובי אופטימיזציה גנריים שרוצים למפות את ההדרגות, את המשקלים הקיימים ואינדקס שניתן להשתמש בו כדי למצוא משקלים מאוחסנים בעזרה. זה מעט יותר יעיל (~2x) אבל זה יכול להיות טוב יותר מכיוון שהוא מחליף תקורה מעט יותר גבוהה (הפניית מצביע נוספת) על כך שלא צריך לעשות עבודת O(depth_of_tree) שנדרשת עם רשימה פשוטה כדי לעקוב אחר כל KeyPath בנפרד.

שכבת upsampling עבור כניסות 1-D.

שכבת upsampling עבור כניסות דו-ממדיות.

שכבת upsampling עבור כניסות תלת מימדיות.

אוסף מוני חיזוי נכונים וסיכומי הפסד.