Сборка из исходников

Создайте пакет pip TensorFlow из исходного кода и установите его в Ubuntu Linux и macOS. Хотя инструкции могут работать для других систем, они протестированы и поддерживаются только для Ubuntu и macOS.

Настройка для Linux и macOS

Установите следующие инструменты сборки, чтобы настроить среду разработки.

Установите Python и зависимости пакета TensorFlow.

sudo apt install python3-dev python3-pip

brew install python

Установите зависимости пакета TensorFlow pip (при использовании виртуальной среды опустите аргумент --user ):

pip install -U --user pip numpy wheel packaging requests opt_einsum
pip install -U --user keras_preprocessing --no-deps

Установить Базель

Для сборки TensorFlow вам потребуется установить Bazel. Bazelisk — это простой способ установить Bazel, который автоматически загружает правильную версию Bazel для TensorFlow. Для простоты использования добавьте Bazelisk в качестве исполняемого файла bazel в PATH .

Если Bazelisk недоступен, вы можете установить Bazel вручную. Обязательно установите правильную версию Bazel из файла TensorFlow .bazelversion .

Установите поддержку графического процессора (необязательно, только для Linux)

Для macOS нет поддержки графического процессора.

Прочтите руководство по поддержке графического процессора , чтобы установить драйверы и дополнительное программное обеспечение, необходимое для запуска TensorFlow на графическом процессоре.

Загрузите исходный код TensorFlow.

Используйте Git для клонирования репозитория TensorFlow :

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow

Репо по умолчанию использует master ветку разработки. Вы также можете проверить ветку релиза для сборки:

git checkout branch_name  # r2.2, r2.3, etc.

Необязательно: настройте сборку

Сборки TensorFlow настраиваются с помощью файла .bazelrc в корневом каталоге репозитория. Сценарии ./configure или ./configure.py можно использовать для настройки общих параметров.

Если вам нужно изменить конфигурацию, запустите скрипт ./configure из корневого каталога репозитория. Этот скрипт предложит вам указать расположение зависимостей TensorFlow и запрашивает дополнительные параметры конфигурации сборки (например, флаги компилятора). Подробнее см. в разделе Пример сеанса .

./configure

Существует также версия этого скрипта для Python, ./configure.py . При использовании виртуальной среды python configure.py отдает приоритет путям внутри среды, тогда как ./configure отдает приоритет путям вне среды. В обоих случаях вы можете изменить значение по умолчанию.

Пример сеанса

Ниже показан пример запуска скрипта ./configure (ваш сеанс может отличаться):

./configure
You have bazel 5.0.0 installed.
Please specify the location of python. [Default is /Library/Frameworks/Python.framework/Versions/3.9/bin/python3]: 


Found possible Python library paths:
  /Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages
Please input the desired Python library path to use.  Default is [/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages]

Do you wish to build TensorFlow with ROCm support? [y/N]: n
No ROCm support will be enabled for TensorFlow.

Do you wish to build TensorFlow with CUDA support? [y/N]: n
No CUDA support will be enabled for TensorFlow.

Do you wish to download a fresh release of clang? (Experimental) [y/N]: n
Clang will not be downloaded.

Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -Wno-sign-compare]: n


Would you like to interactively configure ./WORKSPACE for Android builds? [y/N]: n
Not configuring the WORKSPACE for Android builds.

Do you wish to build TensorFlow with iOS support? [y/N]: n
No iOS support will be enabled for TensorFlow.

Preconfigured Bazel build configs. You can use any of the below by adding "--config=<>" to your build command. See .bazelrc for more details.
    --config=mkl            # Build with MKL support.
    --config=mkl_aarch64    # Build with oneDNN and Compute Library for the Arm Architecture (ACL).
    --config=monolithic     # Config for mostly static monolithic build.
    --config=numa           # Build with NUMA support.
    --config=dynamic_kernels    # (Experimental) Build kernels into separate shared objects.
    --config=v1             # Build with TensorFlow 1 API instead of TF 2 API.
Preconfigured Bazel build configs to DISABLE default on features:
    --config=nogcp          # Disable GCP support.
    --config=nonccl         # Disable NVIDIA NCCL support.

Варианты конфигурации

Поддержка графического процессора

Для поддержки GPU установите cuda=Y во время настройки и укажите версии CUDA и cuDNN. Если в вашей системе установлено несколько версий CUDA или cuDNN, явно установите версию, а не полагайтесь на версию по умолчанию. ./configure создает символические ссылки на библиотеки CUDA вашей системы, поэтому, если вы обновите пути к библиотекам CUDA, этот шаг настройки необходимо будет выполнить еще раз перед сборкой.

Оптимизации

Для флагов оптимизации компиляции значение по умолчанию ( -march=native ) оптимизирует сгенерированный код для типа ЦП вашего компьютера. Однако при создании TensorFlow для другого типа ЦП рассмотрите более конкретный флаг оптимизации. Посмотрите руководство GCC для примеров.

Предварительно настроенные конфигурации

Доступны некоторые предварительно настроенные конфигурации сборки, которые можно добавить в команду bazel build , например:

• --config=dbg — Сборка с отладочной информацией. Подробности смотрите на CONTRIBUTING.md .
• --config=mkl —Поддержка Intel® MKL-DNN .
• --config=monolithic — Конфигурация для преимущественно статической монолитной сборки.

Соберите и установите пакет pip

Пакет pip создается в два этапа. Команды bazel build создают программу «сборщик пакетов». Затем вы запускаете сборщик пакетов, чтобы создать пакет.

Соберите сборщик пакетов

Используйте bazel build для создания сборщика пакетов TensorFlow 2.x с поддержкой только ЦП :

bazel build [--config=option] //tensorflow/tools/pip_package:build_pip_package

Поддержка графического процессора

Чтобы создать сборщик пакетов TensorFlow с поддержкой графического процессора:

bazel build --config=cuda [--config=option] //tensorflow/tools/pip_package:build_pip_package

Варианты сборки Базеля

Информацию о параметрах сборки см. в справочнике по командной строке Bazel.

Сборка TensorFlow из исходного кода может использовать много оперативной памяти. Если в вашей системе ограничена память, ограничьте использование ОЗУ Bazel с помощью: --local_ram_resources=2048 .

Официальные пакеты TensorFlow созданы с помощью набора инструментов GCC, который соответствует стандарту пакетов manylinux2014.

Соберите пакет

Команда bazel build создает исполняемый файл с именем build_pip_package — это программа, которая создает пакет pip . Запустите исполняемый файл, как показано ниже, чтобы создать пакет .whl в каталоге /tmp/tensorflow_pkg .

Для сборки из ветки релиза:

./bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg

Для сборки из мастера используйте --nightly_flag , чтобы получить правильные зависимости:

./bazel-bin/tensorflow/tools/pip_package/build_pip_package --nightly_flag /tmp/tensorflow_pkg

Хотя в одном и том же исходном дереве можно создавать как конфигурации CUDA, так и не-CUDA, рекомендуется запускать bazel clean при переключении между этими двумя конфигурациями в одном и том же исходном дереве.

Установить пакет

Имя сгенерированного файла .whl зависит от версии TensorFlow и вашей платформы. Используйте pip install для установки пакета, например:

pip install /tmp/tensorflow_pkg/tensorflow-version-tags.whl

Сборки Docker Linux

Образы для разработки Docker от TensorFlow — это простой способ настроить среду для сборки пакетов Linux из исходного кода. Эти образы уже содержат исходный код и зависимости, необходимые для сборки TensorFlow. Перейдите к руководству по TensorFlow Docker , чтобы получить инструкции по установке и список доступных тегов изображений .

только процессор

В следующем примере используется образ :devel для сборки пакета только для ЦП из последнего исходного кода TensorFlow. Обратитесь к руководству по Docker , чтобы узнать о доступных тегах TensorFlow -devel .

Загрузите последний образ разработки и запустите контейнер Docker, который вы будете использовать для сборки пакета pip :

docker pull tensorflow/tensorflow:devel
docker run -it -w /tensorflow_src -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel bash

git pull  # within the container, download the latest source code

Приведенная выше команда docker run запускает оболочку в каталоге /tensorflow_src — корневом дереве исходного кода. Он монтирует текущий каталог хоста в каталог контейнера /mnt и передает информацию о пользователе хоста в контейнер через переменную окружения (используется для установки разрешений — Docker может усложнить эту задачу).

В качестве альтернативы, чтобы создать хост-копию TensorFlow в контейнере, смонтируйте исходное дерево хоста в каталоге /tensorflow контейнера:

docker run -it -w /tensorflow -v /path/to/tensorflow:/tensorflow -v $PWD:/mnt \
    -e HOST_PERMS="\\((id -u):\\)(id -g)" tensorflow/tensorflow:devel bash

Настроив исходное дерево, создайте пакет TensorFlow в виртуальной среде контейнера:

1. Необязательно: Настройте сборку — пользователю будет предложено ответить на вопросы о конфигурации сборки.
2. Создайте инструмент, используемый для создания пакета pip .
3. Запустите инструмент, чтобы создать пакет pip .
4. Настройте права собственности на файл за пределами контейнера.

./configure  # if necessary

bazel build --config=opt //tensorflow/tools/pip_package:build_pip_package

./bazel-bin/tensorflow/tools/pip_package/build_pip_package /mnt  # create package

chown $HOST_PERMS /mnt/tensorflow-version-tags.whl

Установите и проверьте пакет внутри контейнера:

pip uninstall tensorflow  # remove current version

pip install /mnt/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(tf.__version__)"

На вашем хост-компьютере пакет pip TensorFlow находится в текущем каталоге (с правами пользователя хоста): ./tensorflow- version - tags .whl

Поддержка графического процессора

Docker — это самый простой способ обеспечить поддержку TensorFlow графическим процессором, поскольку для хост- компьютера требуется только драйвер NVIDIA® ( инструментарий NVIDIA® CUDA® Toolkit устанавливать не нужно). Обратитесь к руководству по поддержке графического процессора и руководству по TensorFlow Docker , чтобы настроить nvidia-docker (только для Linux).

В следующем примере загружается образ TensorFlow :devel-gpu и используется nvidia-docker для запуска контейнера с поддержкой графического процессора. Этот образ разработки настроен для сборки пакета pip с поддержкой графического процессора:

docker pull tensorflow/tensorflow:devel-gpu
docker run --gpus all -it -w /tensorflow -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel-gpu bash
git pull  # within the container, download the latest source code

Затем в виртуальной среде контейнера соберите пакет TensorFlow с поддержкой графического процессора:

./configure  # if necessary

bazel build --config=opt --config=cuda //tensorflow/tools/pip_package:build_pip_package

./bazel-bin/tensorflow/tools/pip_package/build_pip_package /mnt  # create package

chown $HOST_PERMS /mnt/tensorflow-version-tags.whl

Установите и проверьте пакет внутри контейнера и проверьте наличие графического процессора:

pip uninstall tensorflow  # remove current version

pip install /mnt/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(\"Num GPUs Available: \", len(tf.config.list_physical_devices('GPU')))"

Протестированные конфигурации сборки

линукс

Процессор

графический процессор

macOS

Процессор

графический процессор