XLA

XLA (Accelerated Linear Algebra) es un compilador de código abierto para el aprendizaje automático. El compilador de XLA toma modelos de frameworks populares, como PyTorch, TensorFlow y JAX, y los optimiza para lograr una ejecución de alto rendimiento en diferentes plataformas de hardware, incluidas GPU, CPU y aceleradores de AA. Por ejemplo, en un envío de MLPerf mediante BERT, el uso de XLA con 8 GPU Volta V100 logró una mejora en el rendimiento de alrededor de 7 veces y una mejora en el tamaño del lote 5 veces mayor en comparación con las mismas GPU sin XLA.

Como parte del proyecto OpenXLA, XLA se creó de forma colaborativa por empresas de hardware y software de AA líderes en la industria, como Alibaba, Amazon Web Services, AMD, Apple, Arm, Google, Intel, Meta y NVIDIA.

Ventajas clave

  • Compila en cualquier lugar: XLA ya está integrado en frameworks de AA líderes, como TensorFlow, PyTorch y JAX.

  • Se ejecuta en cualquier lugar: Admite varios backends, incluidas GPU, CPU y aceleradores de AA, y también incluye una infraestructura conectable para agregar compatibilidad con más.

  • Maximiza y escala el rendimiento: Optimiza el rendimiento de un modelo con pases de optimización probados en producción y particiones automatizadas para el paralelismo de modelos.

  • Eliminar complejidad: Aprovecha la potencia de MLIR para ofrecer las mejores capacidades en una sola cadena de herramientas de compilador, de modo que no tengas que administrar un rango de compiladores específicos del dominio.

  • Listo para el futuro: Como proyecto de código abierto, compilado a través de una colaboración de proveedores líderes de hardware y software de AA, XLA se diseñó con el objetivo de operar a la vanguardia de la industria del AA.

Documentación

Para obtener más información sobre XLA, consulta las siguientes guías. Si eres un nuevo desarrollador de XLA, te recomendamos comenzar con la arquitectura de XLA y, luego, leer Revisiones de código.