Kompilacja ze źródła

Zadbaj o dobrą organizację dzięki kolekcji Zapisuj i kategoryzuj treści zgodnie ze swoimi preferencjami.

Zbuduj pakiet pip TensorFlow ze źródła i zainstaluj go na Ubuntu Linux i macOS. Chociaż instrukcje mogą działać w przypadku innych systemów, są testowane i obsługiwane tylko w systemach Ubuntu i macOS.

Konfiguracja dla systemu Linux i macOS

Zainstaluj następujące narzędzia do kompilacji, aby skonfigurować środowisko programistyczne.

Zainstaluj zależności Pythona i pakietu TensorFlow

sudo apt install python3-dev python3-pip

brew install python

Zainstaluj zależności pakietu pip TensorFlow (jeśli używasz środowiska wirtualnego, pomiń argument --user ):

pip install -U --user pip

Zainstaluj Bazela

Aby zbudować TensorFlow, musisz zainstalować Bazel. Bazelisk to łatwy sposób na zainstalowanie Bazela i automatyczne pobieranie prawidłowej wersji Bazela dla TensorFlow. Dla łatwości użycia dodaj Bazelisk jako plik wykonywalny bazel w PATH .

Jeśli Bazelisk nie jest dostępny, możesz ręcznie zainstalować Bazel . Upewnij się, że zainstalowałeś poprawną wersję Bazela z pliku .bazelversion TensorFlow.

Zainstaluj Clang (zalecane, tylko Linux)

Clang to kompilator C/C++/Objective-C skompilowany w C++ w oparciu o LLVM. Jest to domyślny kompilator do budowania TensorFlow począwszy od TensorFlow 2.13. Aktualnie obsługiwana wersja to LLVM/Clang 17.

Pakiety nocne LLVM Debian/Ubuntu zapewniają skrypt automatycznej instalacji i pakiety do ręcznej instalacji w systemie Linux. Upewnij się, że uruchomiłeś następującą komendę, jeśli ręcznie dodajesz repozytorium llvm apt do źródeł pakietów:

sudo apt-get update && sudo apt-get install -y llvm-17 clang-17

Teraz, gdy /usr/lib/llvm-17/bin/clang jest rzeczywistą ścieżką do clang w tym przypadku.

Alternatywnie możesz pobrać i rozpakować wstępnie skompilowany Clang + LLVM 17 .

Poniżej znajduje się przykład kroków, które możesz wykonać, aby skonfigurować pobrane pliki binarne Clang + LLVM 17 w systemach operacyjnych Debian/Ubuntu:

1. Przejdź do żądanego katalogu docelowego: cd <desired directory>

2. Załaduj i rozpakuj plik archiwum... (odpowiedni dla Twojej architektury):

   wget https://github.com/llvm/llvm-project/releases/download/llvmorg-17.0.2/clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   
   tar -xvf clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   

3. Skopiuj wyodrębnioną zawartość (katalogi i pliki) do /usr (możesz potrzebować uprawnień sudo, a właściwy katalog może się różnić w zależności od dystrybucji). To skutecznie instaluje Clang i LLVM i dodaje je do ścieżki. Nie powinieneś niczego wymieniać, chyba że masz wcześniejszą instalację i w takim przypadku powinieneś zastąpić pliki:

   cp -r clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04/* /usr

4. Sprawdź uzyskaną wersję binarną Clang + LLVM 17:

   clang --version

5. Teraz, gdy /usr/bin/clang jest rzeczywistą ścieżką do twojego nowego clangu. Możesz uruchomić skrypt ./configure lub ręcznie ustawić zmienne środowiskowe CC i BAZEL_COMPILER na tę ścieżkę.

Zainstaluj obsługę GPU (opcjonalnie, tylko Linux)

W systemie macOS nie ma obsługi procesora graficznego.

Przeczytaj przewodnik obsługi GPU , aby zainstalować sterowniki i dodatkowe oprogramowanie wymagane do uruchomienia TensorFlow na GPU.

Pobierz kod źródłowy TensorFlow

Użyj Git , aby sklonować repozytorium TensorFlow :

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow

Domyślnie repozytorium znajduje się w master gałęzi rozwojowej. Możesz także sprawdzić gałąź wydania do zbudowania:

git checkout branch_name  # r2.2, r2.3, etc.

Skonfiguruj kompilację

Kompilacje TensorFlow są konfigurowane przez plik .bazelrc w katalogu głównym repozytorium. Do dostosowania typowych ustawień można użyć skryptów ./configure lub ./configure.py .

Proszę uruchomić skrypt ./configure z katalogu głównego repozytorium. Ten skrypt wyświetli monit o lokalizację zależności TensorFlow i poprosi o dodatkowe opcje konfiguracji kompilacji (na przykład flagi kompilatora). Aby uzyskać szczegółowe informacje, zobacz sekcję Przykładowa sesja .

./configure

Istnieje również wersja tego skryptu w języku Python, ./configure.py . Jeśli używasz środowiska wirtualnego, python configure.py nadaje priorytet ścieżkom w środowisku, podczas gdy ./configure nadaje priorytet ścieżkom poza środowiskiem. W obu przypadkach możesz zmienić ustawienie domyślne.

Przykładowa sesja

Poniżej przedstawiono przykładowe uruchomienie skryptu ./configure (Twoja sesja może się różnić):

./configure
You have bazel 6.1.0 installed.
Please specify the location of python. [Default is /Library/Frameworks/Python.framework/Versions/3.9/bin/python3]: 


Found possible Python library paths:
  /Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages
Please input the desired Python library path to use.  Default is [/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages]

Do you wish to build TensorFlow with ROCm support? [y/N]:
No ROCm support will be enabled for TensorFlow.

Do you wish to build TensorFlow with CUDA support? [y/N]:
No CUDA support will be enabled for TensorFlow.

Do you want to use Clang to build TensorFlow? [Y/n]:
Clang will be used to compile TensorFlow.

Please specify the path to clang executable. [Default is /usr/lib/llvm-16/bin/clang]:

You have Clang 16.0.4 installed.

Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -Wno-sign-compare]:


Would you like to interactively configure ./WORKSPACE for Android builds? [y/N]: n
Not configuring the WORKSPACE for Android builds.

Do you wish to build TensorFlow with iOS support? [y/N]: n
No iOS support will be enabled for TensorFlow.

Preconfigured Bazel build configs. You can use any of the below by adding "--config=<>" to your build command. See .bazelrc for more details.
    --config=mkl            # Build with MKL support.
    --config=mkl_aarch64    # Build with oneDNN and Compute Library for the Arm Architecture (ACL).
    --config=monolithic     # Config for mostly static monolithic build.
    --config=numa           # Build with NUMA support.
    --config=dynamic_kernels    # (Experimental) Build kernels into separate shared objects.
    --config=v1             # Build with TensorFlow 1 API instead of TF 2 API.
Preconfigured Bazel build configs to DISABLE default on features:
    --config=nogcp          # Disable GCP support.
    --config=nonccl         # Disable NVIDIA NCCL support.

Opcje konfiguracji

Wsparcie GPU

od wersji 2.18.0

Aby uzyskać obsługę GPU , ustaw cuda=Y podczas konfiguracji i w razie potrzeby określ wersje CUDA i cuDNN. Bazel automatycznie pobierze pakiety CUDA i CUDNN lub w razie potrzeby wskaże redystrybucje CUDA/CUDNN/NCCL w lokalnym systemie plików.

przed wersją 2.18.0

Aby uzyskać obsługę GPU , podczas konfiguracji ustaw cuda=Y i określ wersje CUDA i cuDNN. Jeśli w Twoim systemie zainstalowanych jest wiele wersji CUDA lub cuDNN, ustaw jawnie wersję, zamiast polegać na wartości domyślnej. ./configure tworzy dowiązania symboliczne do bibliotek CUDA w systemie — więc jeśli zaktualizujesz ścieżki bibliotek CUDA, ten krok konfiguracji musi zostać wykonany ponownie przed budowaniem.

Optymalizacje

W przypadku flag optymalizacji kompilacji opcja domyślna ( -march=native ) optymalizuje wygenerowany kod pod kątem typu procesora komputera. Jeśli jednak kompilujesz TensorFlow dla innego typu procesora, rozważ bardziej szczegółową flagę optymalizacji. Sprawdź przykłady w podręczniku GCC .

Wstępnie skonfigurowane konfiguracje

Dostępnych jest kilka wstępnie skonfigurowanych konfiguracji kompilacji, które można dodać do polecenia bazel build , na przykład:

• --config=dbg — Kompiluj z informacjami debugowania. Szczegóły znajdziesz na CONTRIBUTING.md .
• --config=mkl —Obsługa Intel® MKL-DNN .
• --config=monolithic — Konfiguracja dla przeważnie statycznej, monolitycznej kompilacji.

Zbuduj i zainstaluj pakiet pip

Opcje kompilacji Bazela

Informacje na temat opcji kompilacji można znaleźć w dokumentacji wiersza poleceń Bazel.

Budowanie TensorFlow ze źródła może wymagać dużej ilości pamięci RAM. Jeśli twój system ma ograniczoną pamięć, ogranicz użycie RAMu Bazela za pomocą: --local_ram_resources=2048 .

Oficjalne pakiety TensorFlow są zbudowane z zestawu narzędzi Clang, który jest zgodny ze standardem pakietu ManyLinux2014.

Zbuduj pakiet

Aby zbudować pakiet pip, musisz podać flagę --repo_env=WHEEL_NAME . w zależności od podanej nazwy zostanie utworzony pakiet np.:

Aby zbudować pakiet procesora tensorflow:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_cpu

Aby zbudować pakiet GPU tensorflow:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow --config=cuda --config=cuda_wheel

Aby zbudować pakiet TPU tensorflow:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_tpu --config=tpu

Aby zbudować pakiet nocny, ustaw tf_nightly zamiast tensorflow , np. aby zbudować pakiet nocny procesora:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tf_nightly_cpu

W rezultacie wygenerowane koło będzie zlokalizowane w

bazel-bin/tensorflow/tools/pip_package/wheel_house/

Zainstaluj pakiet

Nazwa wygenerowanego pliku .whl zależy od wersji TensorFlow i Twojej platformy. Użyj pip install , aby zainstalować pakiet, na przykład:

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Kompilacje Docker Linux

Obrazy programistyczne platformy Docker TensorFlow to łatwy sposób na skonfigurowanie środowiska do tworzenia pakietów systemu Linux ze źródła. Te obrazy zawierają już kod źródłowy i zależności wymagane do zbudowania TensorFlow. Przejdź do przewodnika Dockera TensorFlow, aby uzyskać instrukcje instalacji i listę dostępnych tagów obrazu .

Tylko procesor

W poniższym przykładzie zastosowano obraz :devel do zbudowania pakietu przeznaczonego wyłącznie dla procesora na podstawie najnowszego kodu źródłowego TensorFlow. Sprawdź przewodnik Dockera pod kątem dostępnych tagów TensorFlow -devel .

Pobierz najnowszy obraz programistyczny i uruchom kontener Docker, którego użyjesz do zbudowania pakietu pip :

docker pull tensorflow/tensorflow:devel
docker run -it -w /tensorflow_src -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel bash

git pull  # within the container, download the latest source code

Powyższe polecenie docker run uruchamia powłokę w katalogu /tensorflow_src — katalogu głównym drzewa źródłowego. Montuje bieżący katalog hosta w katalogu /mnt kontenera i przekazuje informacje o użytkowniku hosta do kontenera poprzez zmienną środowiskową (używaną do ustawiania uprawnień — Docker może to utrudnić).

Alternatywnie, aby zbudować kopię hosta TensorFlow w kontenerze, zamontuj drzewo źródeł hosta w katalogu /tensorflow kontenera:

docker run -it -w /tensorflow -v /path/to/tensorflow:/tensorflow -v $PWD:/mnt \
    -e HOST_PERMS="\\((id -u):\\)(id -g)" tensorflow/tensorflow:devel bash

Po skonfigurowaniu drzewa źródłowego zbuduj pakiet TensorFlow w wirtualnym środowisku kontenera:

1. Opcjonalnie: Skonfiguruj kompilację — powoduje to monit użytkownika o udzielenie odpowiedzi na pytania dotyczące konfiguracji kompilacji.
2. Zbuduj pakiet pip .
3. Dostosuj uprawnienia własności pliku poza kontenerem.

./configure  # if necessary


bazel build //tensorflow/tools/pip_package:wheel \
--repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_cpu --config=opt

`
chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Zainstaluj i zweryfikuj pakiet w kontenerze:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(tf.__version__)"

Na komputerze hosta pakiet pip TensorFlow znajduje się w bieżącym katalogu (z uprawnieniami użytkownika hosta): ./tensorflow- version - tags .whl

Wsparcie GPU

Docker to najłatwiejszy sposób na zbudowanie obsługi GPU dla TensorFlow, ponieważ maszyna hosta wymaga jedynie sterownika NVIDIA® ( zestaw narzędzi NVIDIA® CUDA® Toolkit nie musi być instalowany). Zapoznaj się z przewodnikiem obsługi GPU i przewodnikiem TensorFlow Docker , aby skonfigurować nvidia-docker (tylko Linux).

Poniższy przykład pobiera obraz TensorFlow :devel-gpu i używa nvidia-docker do uruchomienia kontenera obsługującego procesor graficzny. Ten obraz programistyczny jest skonfigurowany do tworzenia pakietu pip z obsługą GPU:

docker pull tensorflow/tensorflow:devel-gpu
docker run --gpus all -it -w /tensorflow -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel-gpu bash
git pull  # within the container, download the latest source code

Następnie w środowisku wirtualnym kontenera zbuduj pakiet TensorFlow z obsługą GPU:

./configure  # if necessary


bazel build //tensorflow/tools/pip_package:wheel \
--repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow --config=cuda \
--config=cuda_wheel --config=opt


chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Zainstaluj i zweryfikuj pakiet w kontenerze oraz sprawdź obecność procesora graficznego:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(\"Num GPUs Available: \", len(tf.config.list_physical_devices('GPU')))"

Przetestowane konfiguracje kompilacji

Linuksa

Procesor

GPU

macOS

Procesor

GPU