ขนาด XLA

XLA (Accelerated Linear Algebra) เป็นคอมไพเลอร์แบบโอเพนซอร์สสำหรับแมชชีนเลิร์นนิง คอมไพเลอร์ XLA นำโมเดลจากเฟรมเวิร์กยอดนิยม เช่น PyTorch, TensorFlow และ JAX และเพิ่มประสิทธิภาพโมเดลเพื่อการดำเนินการประสิทธิภาพสูงบนแพลตฟอร์มฮาร์ดแวร์ต่างๆ ซึ่งรวมถึง GPU, CPU และตัวเร่งความเร็ว ML เช่น ในการส่ง BERT MLPerf การใช้ XLA กับ GPU 8 Volta V100 จำนวน 8 รายการได้รับประสิทธิภาพที่ดีขึ้นประมาณ 7 เท่าและปรับปรุงประสิทธิภาพแบบกลุ่มได้ประมาณ 5 เท่าเมื่อเทียบกับ GPU เดียวกันที่ไม่ใช้ XLA

XLA เป็นส่วนหนึ่งของโครงการ OpenXLA ที่พัฒนาขึ้นร่วมกันโดยบริษัทด้านฮาร์ดแวร์และซอฟต์แวร์ ML ชั้นแนวหน้าของอุตสาหกรรม ซึ่งรวมถึง Alibaba, Amazon Web Services, AMD, Apple, Arm, Google, Intel, Meta และ NVIDIA

ประโยชน์สำคัญ

  • สร้างได้ทุกที่: XLA ผสานรวมกับเฟรมเวิร์ก ML ชั้นนำแล้ว เช่น TensorFlow, PyTorch และ JAX

  • ทำงานได้ทุกที่: รองรับแบ็กเอนด์ที่หลากหลาย เช่น GPU, CPU และ ML Accelerator และยังมีโครงสร้างพื้นฐานที่เสียบปลั๊กได้เพื่อเพิ่มการสนับสนุน

  • เพิ่มประสิทธิภาพและขยายขนาด: เพิ่มประสิทธิภาพของโมเดลด้วยขั้นตอนการเพิ่มประสิทธิภาพที่ผ่านการทดสอบการใช้งานจริงและการแบ่งพาร์ติชันอัตโนมัติสำหรับการทำงานพร้อมกันของโมเดล

  • กำจัดความซับซ้อน: ใช้ประโยชน์จากความสามารถของ MLIR เพื่อนำความสามารถที่ดีที่สุดมาไว้ใน Toolchain ของคอมไพเลอร์เดียว คุณจึงไม่ต้องจัดการคอมไพเลอร์เฉพาะโดเมนที่มีมากมาย

  • พร้อมสำหรับอนาคต: ในฐานะโครงการโอเพนซอร์สที่สร้างขึ้นผ่านความร่วมมือของผู้จำหน่ายฮาร์ดแวร์และซอฟต์แวร์ ML ชั้นนำ XLA ได้รับการออกแบบมาให้ทำงานที่ล้ำสมัยของอุตสาหกรรม ML

เอกสารประกอบ

หากต้องการดูข้อมูลเพิ่มเติมเกี่ยวกับ XLA โปรดดูคำแนะนำด้านล่าง หากคุณเป็นนักพัฒนาซอฟต์แวร์ XLA รายใหม่ คุณอาจต้องเริ่มต้นด้วยสถาปัตยกรรม XLA แล้วอ่านรีวิวโค้ด