XLA

XLA (Accelerated Linear Algebra) ist ein Open-Source-Compiler für maschinelles Lernen. Der XLA-Compiler übernimmt Modelle aus gängigen Frameworks wie PyTorch, TensorFlow und JAX und optimiert die Modelle für eine leistungsstarke Ausführung auf verschiedenen Hardwareplattformen, einschließlich GPUs, CPUs und ML-Beschleunigern. In einer BERT-MLPerf-Einreichung wurde durch die Verwendung von XLA mit 8 Volta V100-GPUs eine etwa 7-fache Leistungsverbesserung und eine etwa 5-fache Verbesserung der Batchgröße im Vergleich zu denselben GPUs ohne XLA erzielt.

XLA wird im Rahmen des OpenXLA-Projekts gemeinsam von branchenführenden ML-Hardware- und -Softwareunternehmen wie Alibaba, Amazon Web Services, AMD, Apple, Arm, Google, Intel, Meta und NVIDIA entwickelt.

Hauptvorteile

  • Build überall: XLA ist bereits in führende ML-Frameworks wie TensorFlow, PyTorch und JAX eingebunden.

  • Überall ausführen: Der Dienst unterstützt verschiedene Back-Ends, einschließlich GPUs, CPUs und ML-Beschleunigern, und enthält eine modulare Infrastruktur, um weitere Back-Ends zu unterstützen.

  • Maximieren und skalieren Sie die Leistung: Es optimiert die Leistung eines Modells durch in der Produktion getestete Optimierungsdurchgänge und automatische Partitionierung für Modellparallelität.

  • Eliminieren Sie Komplexität: Es nutzt die Leistungsfähigkeit von MLIR, um die besten Funktionen in einer einzigen Compiler-Toolchain bereitzustellen, sodass Sie nicht eine Reihe von domainspezifischen Compilern verwalten müssen.

  • Zukunftssicher: XLA ist ein Open-Source-Projekt, das in Zusammenarbeit mit führenden ML-Hardware- und -Softwareanbietern entwickelt wurde und als Vorreiter der ML-Branche entwickelt wurde.

Dokumentation

Weitere Informationen zu XLA finden Sie in den folgenden Leitfäden. Wenn Sie ein neuer XLA-Entwickler sind, sollten Sie mit der XLA-Architektur beginnen und dann Codeüberprüfungen lesen.