XLA

XLA (Accelerated Linear Algebra) הוא מהדר בקוד פתוח ללמידת מכונה. המהדר XLA משתמש במודלים ממסגרות פופולריות כמו PyTorch, TensorFlow ו-JAX, ומבצע אופטימיזציה של המודלים לביצוע ביצועים טובים בפלטפורמות חומרה שונות, כולל מעבדים גרפיים, מעבדים (CPU) ומאיצים של למידת מכונה (ML). לדוגמה, בשליחת נתונים של BERT MLPerf, שימוש ב-XA עם 8 Volta V100 GPU השיג שיפור של פי 7 בערך ושיפור של גודל האצווה, בהשוואה לאותם יחידות GPU ללא XLA.

כחלק מפרויקט OpenXLA, XLA נבנתה בשיתוף פעולה על ידי חברות חומרה ותוכנה ללמידת מכונה מהמובילות בתעשייה, כולל Alibaba, Amazon Web Services, AMD, Apple, Arm, Google, Intel, Meta ו-NVIDIA.

יתרונות מרכזיים

  • פיתוח בכל מקום: XLA כבר משולב במסגרות מובילות של למידת מכונה כמו TensorFlow, PyTorch ו-JAX.

  • הפעלה בכל מקום: היא תומכת במגוון קצוות עורפיים, כולל יחידות GPU, מעבדים ומאיצים של למידת מכונה (ML), וכוללת תשתית שניתן לחבר כדי להוסיף תמיכה.

  • שיפור הביצועים והתאמתם לעומס: אופטימיזציה של ביצועי המודל באמצעות אישורי אופטימיזציה שנבדקו על ידי ייצור וחלוקה אוטומטית למחיצות (partitioning) כדי ליצור מקביליות של מודלים.

  • הסרת המורכבות: הוא מנצל את העוצמה של MLIR כדי לשלב את היכולות הטובות ביותר בשרשרת כלים אחת של מהדר, כך שלא צריך לנהל מגוון של מהדרים ספציפיים לדומיין.

  • לעתיד: זהו פרויקט קוד פתוח, שנוצר בשיתוף פעולה בין ספקים מובילים של חומרה ותוכנה ללמידת מכונה (ML), ומיועד לפעול בחזית של תעשיית למידת המכונה.

מאמרי עזרה

מידע נוסף על XLA זמין במדריכים שבהמשך. אם אתם מפתחי XLA חדשים, כדאי להתחיל עם ארכיטקטורת XLA ולאחר מכן לקרוא את המאמר ביקורות קוד.