XLA (Accelerated Linear Algebra) to kompilator typu open source do uczenia maszynowego. Kompilator XLA pobiera modele z popularnych platform, takich jak PyTorch, TensorFlow i JAX, i optymalizuje je pod kątem wydajnego wykonywania na różnych platformach sprzętowych, w tym procesorach graficznych, procesorach i akceleratorach ML. Na przykład w zgłoszeniu BERT MLPerf użycie XLA z 8 procesorami graficznymi Volta V100 pozwoliło uzyskać ~7-krotną poprawę wydajności i ~5-krotną poprawę wielkości partii w porównaniu z tymi samymi procesorami graficznymi bez XLA.
Jako część projektu OpenXLA, XLA jest budowane wspólnie przez wiodących w branży producentów sprzętu i oprogramowania ML, w tym Alibaba, Amazon Web Services, AMD, Apple, Arm, Google, Intel, Meta i NVIDIA.
Kluczowe korzyści
Twórz gdziekolwiek : XLA jest już zintegrowany z wiodącymi platformami ML, takimi jak TensorFlow, PyTorch i JAX.
Uruchom w dowolnym miejscu : obsługuje różne backendy, w tym procesory graficzne, procesory i akceleratory uczenia maszynowego, a także zawiera wymienną infrastrukturę, która zapewnia obsługę większej liczby funkcji.
Maksymalizuj i skaluj wydajność : Optymalizuje wydajność modelu za pomocą przetestowanych w środowisku produkcyjnym przebiegów optymalizacyjnych i automatycznego partycjonowania w celu zapewnienia równoległości modelu.
Wyeliminuj złożoność : wykorzystuje moc MLIR , aby zapewnić najlepsze możliwości w jednym zestawie narzędzi kompilatora, dzięki czemu nie musisz zarządzać szeregiem kompilatorów specyficznych dla domeny.
Gotowy na przyszłość : jako projekt open source, zbudowany we współpracy z wiodącymi dostawcami sprzętu i oprogramowania ML, XLA został zaprojektowany do działania w najnowocześniejszej branży ML.
Dokumentacja
Aby dowiedzieć się więcej o XLA, zapoznaj się z poniższymi przewodnikami. Jeśli jesteś nowym programistą XLA, możesz zacząć od architektury XLA , a następnie przeczytać recenzje kodu .
- Aliasing w XLA
- Architektura XLA
- Nadawanie
- Recenzje kodu
- Niestandardowe połączenia XLA
- Opracowanie nowego backendu dla XLA
- Semantyka operacji
- Kształty i układ
- Układ kafelkowy
XLA (Accelerated Linear Algebra) to kompilator typu open source do uczenia maszynowego. Kompilator XLA pobiera modele z popularnych platform, takich jak PyTorch, TensorFlow i JAX, i optymalizuje je pod kątem wydajnego wykonywania na różnych platformach sprzętowych, w tym procesorach graficznych, procesorach i akceleratorach ML. Na przykład w zgłoszeniu BERT MLPerf użycie XLA z 8 procesorami graficznymi Volta V100 pozwoliło uzyskać ~7-krotną poprawę wydajności i ~5-krotną poprawę wielkości partii w porównaniu z tymi samymi procesorami graficznymi bez XLA.
Jako część projektu OpenXLA, XLA jest budowane wspólnie przez wiodących w branży producentów sprzętu i oprogramowania ML, w tym Alibaba, Amazon Web Services, AMD, Apple, Arm, Google, Intel, Meta i NVIDIA.
Kluczowe korzyści
Twórz gdziekolwiek : XLA jest już zintegrowany z wiodącymi platformami ML, takimi jak TensorFlow, PyTorch i JAX.
Uruchom w dowolnym miejscu : obsługuje różne backendy, w tym procesory graficzne, procesory i akceleratory uczenia maszynowego, a także zawiera wymienną infrastrukturę, która zapewnia obsługę większej liczby funkcji.
Maksymalizuj i skaluj wydajność : Optymalizuje wydajność modelu za pomocą przetestowanych w środowisku produkcyjnym przebiegów optymalizacyjnych i automatycznego partycjonowania w celu zapewnienia równoległości modelu.
Wyeliminuj złożoność : wykorzystuje moc MLIR , aby zapewnić najlepsze możliwości w jednym zestawie narzędzi kompilatora, dzięki czemu nie musisz zarządzać szeregiem kompilatorów specyficznych dla domeny.
Gotowy na przyszłość : jako projekt open source, zbudowany we współpracy z wiodącymi dostawcami sprzętu i oprogramowania ML, XLA został zaprojektowany do działania w najnowocześniejszej branży ML.
Dokumentacja
Aby dowiedzieć się więcej o XLA, zapoznaj się z poniższymi przewodnikami. Jeśli jesteś nowym programistą XLA, możesz zacząć od architektury XLA , a następnie przeczytać recenzje kodu .