XLA

XLA (Đại số tuyến tính tăng tốc) là một trình biên dịch nguồn mở dành cho công nghệ học máy. Trình biên dịch XLA lấy các mô hình từ các khung phổ biến như PyTorch, TensorFlow và JAX rồi tối ưu hoá các mô hình đó để thực thi hiệu suất cao trên nhiều nền tảng phần cứng, bao gồm cả GPU, CPU và trình tăng tốc học máy. Ví dụ: trong một gửi dữ liệu MLPerf của BERT, việc sử dụng XLA với 8 GPU V100 đã giúp cải thiện hiệu suất khoảng 7 lần và cải thiện kích thước lô theo lô so với các GPU tương tự không có XLA.

Nằm trong dự án OpenXLA, XLA được các công ty phần mềm và phần mềm học máy đầu ngành hợp tác xây dựng, bao gồm cả Alibaba, Amazon Web Services, AMD, Apple, Arm, Google, Intel, Meta và NVIDIA.

Lợi ích chính

  • Xây dựng ở mọi nơi: XLA đã được tích hợp vào các khung học máy hàng đầu như TensorFlow, PyTorch và JAX.

  • Chạy ở mọi nơi: Ứng dụng này hỗ trợ nhiều phần phụ trợ, bao gồm cả GPU, CPU và trình tăng tốc học máy, đồng thời bao gồm một cơ sở hạ tầng có thể cắm để hỗ trợ thêm.

  • Tối đa hoá và mở rộng hiệu suất: Tính năng này tối ưu hoá hiệu suất của mô hình bằng các lượt tối ưu hoá đã qua thử nghiệm chính thức và tính năng phân vùng tự động cho tính song song của mô hình.

  • Loại bỏ sự phức tạp: Công cụ này tận dụng sức mạnh của MLIR để đưa các chức năng tốt nhất vào một chuỗi công cụ trình biên dịch duy nhất. Nhờ đó, bạn không phải quản lý nhiều trình biên dịch theo miền cụ thể.

  • Sẵn sàng cho tương lai: Là một dự án nguồn mở được xây dựng nhờ sự cộng tác của các nhà cung cấp phần mềm và phần mềm học máy hàng đầu, XLA được thiết kế để hoạt động ở tiên tiến trong ngành công nghiệp học máy.

Tài liệu

Để tìm hiểu thêm về XLA, hãy xem hướng dẫn bên dưới. Nếu là nhà phát triển XLA mới, bạn nên bắt đầu từ cấu trúc XLA rồi đọc Bài đánh giá mã.