Zbuduj ze źródła

Zbuduj pakiet pip TensorFlow ze źródła i zainstaluj go na Ubuntu Linux i macOS. Chociaż instrukcje mogą działać w innych systemach, są testowane i obsługiwane tylko w systemach Ubuntu i macOS.

Konfiguracja dla systemu Linux i macOS

Zainstaluj następujące narzędzia do kompilacji, aby skonfigurować środowisko programistyczne.

Zainstaluj Pythona i zależności pakietów TensorFlow

sudo apt install python3-dev python3-pip

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
export PATH="/usr/local/opt/python/libexec/bin:$PATH"
# if you are on macOS 10.12 (Sierra) use export PATH="/usr/local/bin:/usr/local/sbin:$PATH"
brew install python

Zainstaluj zależności pakietu TensorFlow pip (jeśli używasz środowiska wirtualnego, pomiń argument --user ):

pip install -U --user pip numpy wheel packaging
pip install -U --user keras_preprocessing --no-deps

Zainstaluj Bazel

Aby zbudować TensorFlow, musisz zainstalować Bazel. Bazelisk to prosty sposób na zainstalowanie Bazela i automatyczne pobieranie prawidłowej wersji Bazela dla TensorFlow. Aby ułatwić korzystanie, dodaj Bazelisk jako wykonywalny plik bazel w PATH .

Jeśli Bazelisk nie jest dostępny, możesz ręcznie zainstalować Bazel . Upewnij się, że zainstalowałeś obsługiwaną wersję Bazela: dowolną wersję między _TF_MIN_BAZEL_VERSION i _TF_MAX_BAZEL_VERSION , jak określono w tensorflow/configure.py .

Zainstaluj obsługę GPU (opcjonalnie, tylko Linux)

Nie ma obsługi GPU dla systemu macOS.

Przeczytaj przewodnik obsługi GPU , aby zainstalować sterowniki i dodatkowe oprogramowanie wymagane do uruchomienia TensorFlow na GPU.

Pobierz kod źródłowy TensorFlow

Użyj Git , aby sklonować repozytorium TensorFlow :

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow

Repo domyślnie to master gałąź programistyczna. Możesz również pobrać gałąź wydania, aby zbudować:

git checkout branch_name  # r2.2, r2.3, etc.

Skonfiguruj kompilację

Skonfiguruj kompilację systemu, uruchamiając ./configure w katalogu głównym drzewa źródłowego TensorFlow. Ten skrypt monituje o lokalizację zależności TensorFlow i prosi o dodatkowe opcje konfiguracji kompilacji (na przykład flagi kompilatora).

./configure

Jeśli używasz środowiska wirtualnego, python configure.py priorytet ścieżkom w środowisku, podczas gdy ./configure priorytet ścieżkom poza środowiskiem. W obu przypadkach możesz zmienić ustawienie domyślne.

Przykładowa sesja

Poniżej przedstawiono przykładowe uruchomienie skryptu ./configure (Twoja sesja może się różnić):

./configure
You have bazel 3.0.0 installed.
Please specify the location of python. [Default is /usr/bin/python3]: 


Found possible Python library paths:
  /usr/lib/python3/dist-packages
  /usr/local/lib/python3.6/dist-packages
Please input the desired Python library path to use.  Default is [/usr/lib/python3/dist-packages]

Do you wish to build TensorFlow with OpenCL SYCL support? [y/N]: 
No OpenCL SYCL support will be enabled for TensorFlow.

Do you wish to build TensorFlow with ROCm support? [y/N]: 
No ROCm support will be enabled for TensorFlow.

Do you wish to build TensorFlow with CUDA support? [y/N]: Y
CUDA support will be enabled for TensorFlow.

Do you wish to build TensorFlow with TensorRT support? [y/N]: 
No TensorRT support will be enabled for TensorFlow.

Found CUDA 10.1 in:
    /usr/local/cuda-10.1/targets/x86_64-linux/lib
    /usr/local/cuda-10.1/targets/x86_64-linux/include
Found cuDNN 7 in:
    /usr/lib/x86_64-linux-gnu
    /usr/include


Please specify a list of comma-separated CUDA compute capabilities you want to build with.
You can find the compute capability of your device at: https://developer.nvidia.com/cuda-gpus Each capability can be specified as "x.y" or "compute_xy" to include both virtual and binary GPU code, or as "sm_xy" to only include the binary code.
Please note that each additional compute capability significantly increases your build time and binary size, and that TensorFlow only supports compute capabilities >= 3.5 [Default is: 3.5,7.0]: 6.1


Do you want to use clang as CUDA compiler? [y/N]: 
nvcc will be used as CUDA compiler.

Please specify which gcc should be used by nvcc as the host compiler. [Default is /usr/bin/gcc]: 


Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -march=native -Wno-sign-compare]: 


Would you like to interactively configure ./WORKSPACE for Android builds? [y/N]: 
Not configuring the WORKSPACE for Android builds.

Preconfigured Bazel build configs. You can use any of the below by adding "--config=<>" to your build command. See .bazelrc for more details.
    --config=mkl            # Build with MKL support.
    --config=monolithic     # Config for mostly static monolithic build.
    --config=ngraph         # Build with Intel nGraph support.
    --config=numa           # Build with NUMA support.
    --config=dynamic_kernels    # (Experimental) Build kernels into separate shared objects.
    --config=v2             # Build TensorFlow 2.x instead of 1.x.
Preconfigured Bazel build configs to DISABLE default on features:
    --config=noaws          # Disable AWS S3 filesystem support.
    --config=nogcp          # Disable GCP support.
    --config=nohdfs         # Disable HDFS support.
    --config=nonccl         # Disable NVIDIA NCCL support.
Configuration finished

Opcje konfiguracji

Obsługa GPU

Aby uzyskać obsługę GPU , ustaw cuda=Y podczas konfiguracji i określ wersje CUDA i cuDNN. Jeśli w systemie jest zainstalowanych wiele wersji CUDA lub cuDNN, jawnie ustaw wersję zamiast polegać na domyślnej. ./configure tworzy dowiązania symboliczne do bibliotek CUDA twojego systemu — więc jeśli zaktualizujesz ścieżki bibliotek CUDA, ten krok konfiguracji musi zostać uruchomiony ponownie przed budowaniem.

Optymalizacje

W przypadku flag optymalizacji kompilacji ustawienie domyślne ( -march=native ) optymalizuje wygenerowany kod pod kątem typu procesora komputera. Jeśli jednak budujesz TensorFlow dla innego typu procesora, rozważ bardziej konkretną flagę optymalizacji. Sprawdź w podręczniku GCC przykłady.

Wstępnie skonfigurowane konfiguracje

Dostępnych jest kilka wstępnie skonfigurowanych konfiguracji budowania, które można dodać do polecenia bazel build , na przykład:

• --config=dbg Kompiluj z informacjami debugowania. Zobacz CONTRIBUTING.md , aby uzyskać szczegółowe informacje.
• --config=mkl — Obsługa Intel® MKL-DNN .
• --config=monolithic — Konfiguracja dla w większości statycznej, monolitycznej kompilacji.
• --config=v1 — Zbuduj TensorFlow 1.x zamiast 2.x.

Zbuduj pakiet pip

TensorFlow 2.x

Zainstaluj Bazel i użyj bazel build , aby utworzyć pakiet TensorFlow 2.x z obsługą tylko procesora :

bazel build [--config=option] //tensorflow/tools/pip_package:build_pip_package

Obsługa GPU

Aby zbudować konstruktora pakietów TensorFlow z obsługą GPU:

bazel build --config=cuda [--config=option] //tensorflow/tools/pip_package:build_pip_package

TensorFlow 1.x

Aby zbudować starszy pakiet TensorFlow 1.x, użyj opcji --config=v1 :

bazel build --config=v1 [--config=option] //tensorflow/tools/pip_package:build_pip_package

Opcje budowania Bazela

Zapoznaj się z dokumentacją wiersza polecenia Bazel, aby zapoznać się z opcjami kompilacji .

Budowanie TensorFlow ze źródeł może zużywać dużo pamięci RAM. Jeśli twój system jest ograniczony pamięcią, ogranicz użycie pamięci RAM przez Bazel za pomocą: --local_ram_resources=2048 .

Oficjalne pakiety TensorFlow są zbudowane przy użyciu łańcucha narzędzi GCC 7.3, który jest zgodny ze standardem pakietów manylinux2010.

W przypadku GCC 5 i nowszych, kompatybilność ze starszym ABI można zbudować za pomocą: --cxxopt="-D_GLIBCXX_USE_CXX11_ABI=0" . Kompatybilność z ABI zapewnia, że ​​niestandardowe operacje zbudowane na podstawie oficjalnego pakietu TensorFlow będą nadal działać z pakietem zbudowanym w GCC 5.

Zbuduj pakiet

Polecenie bazel build tworzy plik wykonywalny o nazwie build_pip_package — jest to program, który buduje pakiet pip . Uruchom plik wykonywalny, jak pokazano poniżej, aby zbudować pakiet .whl w katalogu /tmp/tensorflow_pkg .

Aby zbudować z gałęzi wydania:

./bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg

Aby zbudować z wzorca, użyj --nightly_flag , aby uzyskać odpowiednie zależności:

./bazel-bin/tensorflow/tools/pip_package/build_pip_package --nightly_flag /tmp/tensorflow_pkg

Chociaż możliwe jest zbudowanie zarówno konfiguracji CUDA, jak i innych niż CUDA w tym samym drzewie źródłowym, zaleca się uruchomienie bazel clean podczas przełączania między tymi dwiema konfiguracjami w tym samym drzewie źródłowym.

Zainstaluj pakiet

Nazwa wygenerowanego pliku .whl zależy od wersji TensorFlow i platformy. Użyj pip install , aby zainstalować pakiet, na przykład:

pip install /tmp/tensorflow_pkg/tensorflow-version-tags.whl

Kompilacje Docker Linux

Obrazy programistyczne Docker firmy TensorFlow to łatwy sposób na skonfigurowanie środowiska do budowania pakietów Linux ze źródeł. Te obrazy zawierają już kod źródłowy i zależności wymagane do zbudowania TensorFlow. Przejdź do przewodnika po TensorFlow Docker, aby uzyskać instrukcje instalacji i listę dostępnych tagów obrazu .

Tylko procesor

Poniższy przykład używa obrazu :devel do zbudowania pakietu tylko dla procesora z najnowszego kodu źródłowego TensorFlow. Sprawdź w przewodniku Dockera dostępne znaczniki TensorFlow -devel .

Pobierz najnowszy obraz rozwojowy i uruchom kontener Docker, którego użyjesz do zbudowania pakietu pip :

docker pull tensorflow/tensorflow:devel
docker run -it -w /tensorflow_src -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel bash

git pull  # within the container, download the latest source code

Powyższe polecenie docker docker run uruchamia powłokę w katalogu /tensorflow_src — katalogu głównym drzewa źródłowego. Montuje bieżący katalog hosta w katalogu /mnt kontenera i przekazuje informacje o użytkowniku hosta do kontenera za pomocą zmiennej środowiskowej (używanej do ustawiania uprawnień — Docker może to utrudnić).

Alternatywnie, aby zbudować kopię hosta TensorFlow w kontenerze, zamontuj drzewo źródłowe hosta w katalogu /tensorflow kontenera:

docker run -it -w /tensorflow -v /path/to/tensorflow:/tensorflow -v $PWD:/mnt \
    -e HOST_PERMS="\\((id -u):\\)(id -g)" tensorflow/tensorflow:devel bash

Po skonfigurowaniu drzewa źródłowego zbuduj pakiet TensorFlow w środowisku wirtualnym kontenera:

1. Skonfiguruj kompilację — powoduje to monitowanie użytkownika o udzielenie odpowiedzi na pytania dotyczące konfiguracji kompilacji.
2. Zbuduj narzędzie używane do tworzenia pakietu pip .
3. Uruchom narzędzie, aby utworzyć pakiet pip .
4. Dostosuj uprawnienia własności do pliku poza kontenerem.

./configure  # answer prompts or use defaults

bazel build --config=opt //tensorflow/tools/pip_package:build_pip_package

./bazel-bin/tensorflow/tools/pip_package/build_pip_package /mnt  # create package

chown $HOST_PERMS /mnt/tensorflow-version-tags.whl

Zainstaluj i zweryfikuj pakiet w kontenerze:

pip uninstall tensorflow  # remove current version

pip install /mnt/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(tf.__version__)"

Na komputerze hosta pakiet TensorFlow pip znajduje się w bieżącym katalogu (z uprawnieniami użytkownika hosta): ./tensorflow- version - tags .whl

Obsługa GPU

Docker to najprostszy sposób na zbudowanie obsługi GPU dla TensorFlow, ponieważ maszyna hosta wymaga tylko sterownika NVIDIA® (nie trzeba instalować zestawu narzędzi NVIDIA® CUDA® ). Zapoznaj się z przewodnikiem obsługi GPU i przewodnikiem TensorFlow Docker, aby skonfigurować nvidia-docker (tylko Linux).

Poniższy przykład pobiera obraz TensorFlow :devel-gpu i używa nvidia-docker do uruchomienia kontenera z obsługą GPU. Ten obraz programistyczny jest skonfigurowany do budowania pakietu pip z obsługą GPU:

docker pull tensorflow/tensorflow:devel-gpu
docker run --gpus all -it -w /tensorflow -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel-gpu bash
git pull  # within the container, download the latest source code

Następnie w środowisku wirtualnym kontenera zbuduj pakiet TensorFlow z obsługą GPU:

./configure  # answer prompts or use defaults

bazel build --config=opt --config=cuda //tensorflow/tools/pip_package:build_pip_package

./bazel-bin/tensorflow/tools/pip_package/build_pip_package /mnt  # create package

chown $HOST_PERMS /mnt/tensorflow-version-tags.whl

Zainstaluj i zweryfikuj pakiet w kontenerze i sprawdź GPU:

pip uninstall tensorflow  # remove current version

pip install /mnt/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(\"Num GPUs Available: \", len(tf.config.list_physical_devices('GPU')))"

Testowane konfiguracje kompilacji

Linux

procesor

GPU

System operacyjny Mac

procesor

GPU