Construir a partir da fonte

Crie um pacote pip do TensorFlow a partir do código-fonte e instale-o no Ubuntu Linux e no macOS. Embora as instruções possam funcionar em outros sistemas, elas foram testadas e são suportadas apenas para Ubuntu e macOS.

Configuração para Linux e macOS

Instale as seguintes ferramentas de compilação para configurar seu ambiente de desenvolvimento.

Instale o Python e as dependências do pacote TensorFlow.

sudo apt install python3-dev python3-pip

brew install python

Instale as dependências do pacote pip do TensorFlow (se estiver usando um ambiente virtual, omita o argumento --user ):

pip install -U --user pip

Instalar Bazel

Para compilar o TensorFlow, você precisará instalar o Bazel. O Bazelisk é uma maneira fácil de instalar o Bazel e baixa automaticamente a versão correta do Bazel para o TensorFlow. Para facilitar o uso, adicione o Bazelisk como o executável bazel no seu PATH .

Caso o Bazelisk não esteja disponível, você pode instalar o Bazel manualmente. Certifique-se de instalar a versão correta do Bazel a partir do arquivo .bazelversion do TensorFlow.

Instale o Clang (recomendado, somente para Linux)

O Clang é um compilador C/C++/Objective-C compilado em C++ baseado no LLVM. É o compilador padrão para compilar o TensorFlow a partir da versão 2.13. A versão atualmente suportada é LLVM/Clang 17.

Os pacotes nightly do LLVM para Debian/Ubuntu fornecem um script de instalação automática e pacotes para instalação manual no Linux. Certifique-se de executar o seguinte comando se você adicionar manualmente o repositório apt do LLVM às suas fontes de pacotes:

sudo apt-get update && sudo apt-get install -y llvm-17 clang-17

Agora que /usr/lib/llvm-17/bin/clang é o caminho real para o clang neste caso.

Alternativamente, você pode baixar e descompactar o Clang + LLVM 17 pré-compilado.

A seguir, um exemplo dos passos que você pode seguir para configurar os binários Clang + LLVM 17 baixados em sistemas operacionais Debian/Ubuntu:

1. Mude para o diretório de destino desejado: cd <desired directory>

2. Carregar e extrair um arquivo compactado...(adequado à sua arquitetura):

   wget https://github.com/llvm/llvm-project/releases/download/llvmorg-17.0.2/clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   
   tar -xvf clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   

3. Copie o conteúdo extraído (diretórios e arquivos) para /usr (você pode precisar de permissões de sudo e o diretório correto pode variar de acordo com a distribuição). Isso instala o Clang e o LLVM e os adiciona ao PATH. Você não deve precisar substituir nada, a menos que tenha uma instalação anterior, caso em que você deve substituir os arquivos:

   cp -r clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04/* /usr

4. Verifique a versão dos binários Clang + LLVM 17 obtidos:

   clang --version

5. Agora que /usr/bin/clang é o caminho real para o seu novo clang, você pode executar o script ./configure ou definir manualmente as variáveis ​​de ambiente CC e BAZEL_COMPILER para este caminho.

Instalar suporte para GPU (opcional, apenas para Linux)

Não há suporte para GPU no macOS.

Leia o guia de suporte da GPU para instalar os drivers e o software adicional necessário para executar o TensorFlow em uma GPU.

Baixe o código-fonte do TensorFlow.

Utilize o Git para clonar o repositório do TensorFlow :

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow

O repositório usa por padrão a branch de desenvolvimento master . Você também pode selecionar uma branch de lançamento para compilar:

git checkout branch_name  # r2.2, r2.3, etc.

Configure a compilação

As compilações do TensorFlow são configuradas pelo arquivo .bazelrc no diretório raiz do repositório. Os scripts ./configure ou ./configure.py podem ser usados ​​para ajustar configurações comuns.

Execute o script ./configure a partir do diretório raiz do repositório. Este script solicitará a localização das dependências do TensorFlow e pedirá opções adicionais de configuração de compilação (como flags do compilador). Consulte a seção Sessão de exemplo para obter mais detalhes.

./configure

Existe também uma versão em Python deste script, ./configure.py . Se estiver usando um ambiente virtual, python configure.py prioriza os caminhos dentro do ambiente, enquanto ./configure prioriza os caminhos fora do ambiente. Em ambos os casos, você pode alterar o padrão.

Sessão de exemplo

A seguir, apresentamos um exemplo de execução do script ./configure (sua sessão pode ser diferente):

./configure
You have bazel 6.1.0 installed.
Please specify the location of python. [Default is /Library/Frameworks/Python.framework/Versions/3.9/bin/python3]: 


Found possible Python library paths:
  /Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages
Please input the desired Python library path to use.  Default is [/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages]

Do you wish to build TensorFlow with ROCm support? [y/N]:
No ROCm support will be enabled for TensorFlow.

Do you wish to build TensorFlow with CUDA support? [y/N]:
No CUDA support will be enabled for TensorFlow.

Do you want to use Clang to build TensorFlow? [Y/n]:
Clang will be used to compile TensorFlow.

Please specify the path to clang executable. [Default is /usr/lib/llvm-16/bin/clang]:

You have Clang 16.0.4 installed.

Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -Wno-sign-compare]:


Would you like to interactively configure ./WORKSPACE for Android builds? [y/N]: n
Not configuring the WORKSPACE for Android builds.

Do you wish to build TensorFlow with iOS support? [y/N]: n
No iOS support will be enabled for TensorFlow.

Preconfigured Bazel build configs. You can use any of the below by adding "--config=<>" to your build command. See .bazelrc for more details.
    --config=mkl            # Build with MKL support.
    --config=mkl_aarch64    # Build with oneDNN and Compute Library for the Arm Architecture (ACL).
    --config=monolithic     # Config for mostly static monolithic build.
    --config=numa           # Build with NUMA support.
    --config=dynamic_kernels    # (Experimental) Build kernels into separate shared objects.
    --config=v1             # Build with TensorFlow 1 API instead of TF 2 API.
Preconfigured Bazel build configs to DISABLE default on features:
    --config=nogcp          # Disable GCP support.
    --config=nonccl         # Disable NVIDIA NCCL support.

Opções de configuração

suporte a GPU

da versão 2.18.0

Para suporte a GPU , defina cuda=Y durante a configuração e especifique as versões do CUDA e do cuDNN, se necessário. O Bazel fará o download automático dos pacotes CUDA e cuDNN ou indicará as redistribuições do CUDA/cuDNN/NCCL no sistema de arquivos local, se necessário.

antes da versão 2.18.0

Para suporte a GPU , defina cuda=Y durante a configuração e especifique as versões do CUDA e do cuDNN. Se o seu sistema tiver várias versões do CUDA ou do cuDNN instaladas, defina explicitamente a versão em vez de usar a padrão. ./configure cria links simbólicos para as bibliotecas CUDA do seu sistema; portanto, se você atualizar os caminhos das bibliotecas CUDA, esta etapa de configuração deverá ser executada novamente antes da compilação.

Otimizações

Para as opções de otimização de compilação, o padrão ( -march=native ) otimiza o código gerado para o tipo de CPU da sua máquina. No entanto, se estiver compilando o TensorFlow para um tipo de CPU diferente, considere usar uma opção de otimização mais específica. Consulte o manual do GCC para obter exemplos.

Configurações pré-configuradas

Existem algumas configurações de compilação pré-configuradas disponíveis que podem ser adicionadas ao comando bazel build , por exemplo:

• --config=dbg — Compilar com informações de depuração. Consulte CONTRIBUTING.md para obter detalhes.
• --config=mkl —Suporte para o Intel® MKL-DNN .
• --config=monolithic — Configuração para uma compilação monolítica, em sua maioria estática.

Compile e instale o pacote pip.

Opções de compilação do Bazel

Consulte a referência da linha de comando do Bazel para obter opções de compilação .

Compilar o TensorFlow a partir do código-fonte pode usar muita RAM. Se o seu sistema tiver memória limitada, limite o uso de RAM do Bazel com: --local_ram_resources=2048 .

Os pacotes oficiais do TensorFlow são construídos com uma cadeia de ferramentas Clang que está em conformidade com o padrão de pacote manylinux2014.

Construa o pacote

Para criar um pacote pip, você precisa especificar a flag --repo_env=WHEEL_NAME . Dependendo do nome fornecido, o pacote será criado, por exemplo:

Para compilar o pacote TensorFlow para CPU:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_cpu

Para criar o pacote TensorFlow para GPU:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow --config=cuda --config=cuda_wheel

Para criar o pacote TPU do TensorFlow:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_tpu --config=tpu

Para criar o pacote nightly, defina tf_nightly em vez de tensorflow , por exemplo, para criar o pacote nightly para CPU:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tf_nightly_cpu

Como resultado, a roda gerada estará localizada em

bazel-bin/tensorflow/tools/pip_package/wheel_house/

Instale o pacote

O nome do arquivo .whl gerado depende da versão do TensorFlow e da sua plataforma. Use pip install para instalar o pacote, por exemplo:

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Compilações Docker Linux

As imagens de desenvolvimento Docker do TensorFlow são uma maneira fácil de configurar um ambiente para compilar pacotes Linux a partir do código-fonte. Essas imagens já contêm o código-fonte e as dependências necessárias para compilar o TensorFlow. Consulte o guia do TensorFlow para Docker para obter instruções de instalação e a lista de tags de imagem disponíveis .

somente CPU

O exemplo a seguir usa a imagem :devel para criar um pacote somente para CPU a partir do código-fonte mais recente do TensorFlow. Consulte o guia do Docker para obter informações sobre as tags -devel disponíveis para o TensorFlow.

Baixe a imagem de desenvolvimento mais recente e inicie um contêiner Docker que você usará para compilar o pacote pip :

docker pull tensorflow/tensorflow:devel
docker run -it -w /tensorflow_src -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel bash

git pull  # within the container, download the latest source code

O comando docker run acima inicia um shell no diretório /tensorflow_src — a raiz da árvore de código-fonte. Ele monta o diretório atual do host no diretório /mnt do contêiner e passa as informações do usuário do host para o contêiner por meio de uma variável de ambiente (usada para definir permissões — o Docker pode complicar isso).

Alternativamente, para criar uma cópia do TensorFlow no host dentro de um contêiner, monte a árvore de código-fonte do host no diretório /tensorflow do contêiner:

docker run -it -w /tensorflow -v /path/to/tensorflow:/tensorflow -v $PWD:/mnt \
    -e HOST_PERMS="\\((id -u):\\)(id -g)" tensorflow/tensorflow:devel bash

Com a árvore de origem configurada, compile o pacote TensorFlow dentro do ambiente virtual do contêiner:

1. Opcional: Configurar a compilação — isso solicita ao usuário que responda a perguntas sobre a configuração da compilação.
2. Crie o pacote pip .
3. Ajuste as permissões de propriedade do arquivo para fora do contêiner.

./configure  # if necessary


bazel build //tensorflow/tools/pip_package:wheel \
--repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_cpu --config=opt

`
chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Instale e verifique o pacote dentro do contêiner:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(tf.__version__)"

Na sua máquina host, o pacote pip do TensorFlow está no diretório atual (com permissões de usuário host) ./tensorflow- version - tags .whl

suporte a GPU

O Docker é a maneira mais fácil de implementar suporte a GPU no TensorFlow, já que a máquina host requer apenas o driver NVIDIA® (o NVIDIA® CUDA® Toolkit não precisa ser instalado). Consulte o guia de suporte a GPU e o guia do TensorFlow para Docker para configurar o nvidia-docker (somente para Linux).

O exemplo a seguir baixa a imagem TensorFlow :devel-gpu e usa nvidia-docker para executar o contêiner com suporte a GPU. Esta imagem de desenvolvimento está configurada para criar um pacote pip com suporte a GPU:

docker pull tensorflow/tensorflow:devel-gpu
docker run --gpus all -it -w /tensorflow -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel-gpu bash
git pull  # within the container, download the latest source code

Em seguida, dentro do ambiente virtual do contêiner, compile o pacote TensorFlow com suporte a GPU:

./configure  # if necessary


bazel build //tensorflow/tools/pip_package:wheel \
--repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow --config=cuda \
--config=cuda_wheel --config=opt


chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Instale e verifique o pacote dentro do contêiner e verifique se há uma GPU:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(\"Num GPUs Available: \", len(tf.config.list_physical_devices('GPU')))"

Configurações de compilação testadas

Linux

CPU

GPU

macOS

CPU

GPU