Construire à partir des sources sous Windows,Construire à partir des sources sous Windows

Compilez un package pip TensorFlow à partir du code source et installez-le sous Windows.

Programme d'installation pour Windows

Installez les outils de compilation suivants pour configurer votre environnement de développement Windows.

Installez Python et les dépendances du package TensorFlow.

Installez une version 64 bits de Python 3.9 ou supérieure pour Windows . Sélectionnez pip comme fonctionnalité optionnelle et ajoutez-le à votre variable d'environnement %PATH% .

Installez les dépendances du package pip TensorFlow :

pip3 install -U pip
pip3 install -U six numpy wheel packaging
pip3 install -U keras_preprocessing --no-deps

Les dépendances sont listées dans le fichier setup.py sous REQUIRED_PACKAGES .

Installez Bazel

Installez Bazel , l'outil de compilation utilisé pour TensorFlow. Pour connaître la version de Bazel, consultez les configurations de compilation testées sous Windows. Configurez Bazel pour compiler du code C++ .

Ajoutez l'emplacement de l'exécutable Bazel à votre variable d'environnement %PATH% .

Installer MSYS2

Installez MSYS2 pour obtenir les outils binaires nécessaires à la compilation de TensorFlow. Si MSYS2 est installé dans C:\msys64 , ajoutez C:\msys64\usr\bin à votre variable d'environnement %PATH% . Ensuite, à l'aide de cmd.exe , exécutez :

pacman -Syu (requires a console restart)
pacman -S git patch unzip
pacman -S git patch unzip rsync

Installer les outils de compilation Visual C++ 2022

Installez les outils de génération Visual C++ 2022. Ils sont inclus dans Visual Studio Community 2022 , mais peuvent être installés séparément :

1. Rendez-vous sur la page de téléchargement de Visual Studio ,
2. Sélectionnez Outils pour Visual Studio ou Autres outils, frameworks et redistribuables ,
3. Télécharger et installer :
   • Outils de génération pour Visual Studio 2022
   • Composants redistribuables Microsoft Visual C++ pour Visual Studio 2022

Installer LLVM

1. Rendez-vous sur la page de téléchargement de LLVM ,
2. Téléchargez et installez LLVM compatible avec Windows dans C:\Program Files\LLVM, par exemple LLVM-17.0.6-win64.exe

Installer le support GPU (facultatif)

Consultez le guide de prise en charge des GPU Windows pour installer les pilotes et les logiciels supplémentaires nécessaires à l'exécution de TensorFlow sur un GPU.

Télécharger le code source de TensorFlow

Utilisez Git pour cloner le dépôt TensorFlow ( git est installé avec MSYS2) :

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow

Le dépôt utilise par défaut la branche de développement master . Vous pouvez également utiliser une branche de publication pour la compilation :

git checkout branch_name  # r1.9, r1.10, etc.

Facultatif : Configuration des variables environnementales

Exécutez les commandes suivantes avant de lancer la commande de compilation afin d'éviter les problèmes lors de la création du paquet : (Si les commandes ci-dessous ont été configurées lors de l'installation des paquets, veuillez les ignorer). Exécutez set pour vérifier que tous les chemins sont correctement définis, puis echo %Environmental Variable% , par exemple echo %BAZEL_VC% pour vérifier le chemin défini pour une variable d'environnement spécifique.

Problème de configuration du chemin Python tensorflow :issue#59943 , tensorflow :issue#9436 , tensorflow :issue#60083

set PATH=path/to/python;%PATH% # [e.g. (C:/Python311)]
set PATH=path/to/python/Scripts;%PATH% # [e.g. (C:/Python311/Scripts)] 
set PYTHON_BIN_PATH=path/to/python_virtualenv/Scripts/python.exe 
set PYTHON_LIB_PATH=path/to/python virtualenv/lib/site-packages 
set PYTHON_DIRECTORY=path/to/python_virtualenv/Scripts 

Problème de configuration du chemin Bazel/MSVC/CLANG tensorflow : issue#54578

set BAZEL_SH=C:/msys64/usr/bin/bash.exe 
set BAZEL_VS=C:/Program Files/Microsoft Visual Studio/2022/BuildTools 
set BAZEL_VC=C:/Program Files/Microsoft Visual Studio/2022/BuildTools/VC 
set Bazel_LLVM=C:/Program Files/LLVM (explicitly tell Bazel where LLVM is installed by BAZEL_LLVM, needed while using CLANG)
set PATH=C:/Program Files/LLVM/bin;%PATH% (Optional, needed while using CLANG as Compiler)

Facultatif : Configurer la version

La configuration des installations TensorFlow s'effectue via le fichier .bazelrc situé à la racine du dépôt. Les scripts ./configure ou ./configure.py permettent de modifier les paramètres courants.

Si vous devez modifier la configuration, exécutez le script ./configure depuis le répertoire racine du dépôt.

python ./configure.py

Ce script vous invite à indiquer l'emplacement des dépendances de TensorFlow et vous demande des options de configuration supplémentaires (par exemple, des options de compilation). Voici un exemple d'exécution de la commande python ./configure.py (votre session peut différer) :

python ./configure.py
You have bazel 6.5.0 installed.
Please specify the location of python. [Default is C:\Python311\python.exe]:

Found possible Python library paths:
C:\Python311\lib\site-packages
Please input the desired Python library path to use.  Default is [C:\Python311\lib\site-packages]

Do you wish to build TensorFlow with ROCm support? [y/N]:
No ROCm support will be enabled for TensorFlow.

Warning: Cannot build with CUDA support on Windows.
Starting in TF 2.11, CUDA build is not supported for Windows. To use TensorFlow GPU on Windows, you will need to build/install TensorFlow in WSL2.

Do you want to use Clang to build TensorFlow? [Y/n]:
Add "--config=win_clang" to compile TensorFlow with CLANG.

Please specify the path to clang executable. [Default is C:\Program Files\LLVM\bin\clang.EXE]:

You have Clang 17.0.6 installed.

Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is /arch:AVX]:

Would you like to override eigen strong inline for some C++ compilation to reduce the compilation time? [Y/n]:
Eigen strong inline overridden.

Would you like to interactively configure ./WORKSPACE for Android builds? [y/N]:
Not configuring the WORKSPACE for Android builds.

Preconfigured Bazel build configs. You can use any of the below by adding "--config=<>" to your build command. See .bazelrc for more details.
        --config=mkl            # Build with MKL support.
        --config=mkl_aarch64    # Build with oneDNN and Compute Library for the Arm Architecture (ACL).
        --config=monolithic     # Config for mostly static monolithic build.
        --config=numa           # Build with NUMA support.
        --config=dynamic_kernels        # (Experimental) Build kernels into separate shared objects.
        --config=v1             # Build with TensorFlow 1 API instead of TF 2 API.
Preconfigured Bazel build configs to DISABLE default on features:
        --config=nogcp          # Disable GCP support.
        --config=nonccl         # Disable NVIDIA NCCL support.

Compilez et installez le package pip

La création du paquet pip se fait en deux étapes. Une commande bazel build génère un programme « package-builder ». Il suffit ensuite d'exécuter ce programme pour créer le paquet.

Construire le générateur de paquets

Le dépôt tensorflow:master a été mis à jour pour utiliser la version 2.x par défaut. Installez Bazel et utilisez bazel build pour créer le générateur de paquets TensorFlow.

bazel build //tensorflow/tools/pip_package:wheel

Processeur uniquement

Utilisez bazel pour créer le générateur de packages TensorFlow avec prise en charge exclusive du processeur :

Générer avec MSVC

bazel build --config=opt --repo_env=TF_PYTHON_VERSION=3.11 //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow_cpu

Construisez avec CLANG

Utilisez --config= win_clang pour compiler TenorFlow avec le compilateur CLANG :

bazel build --config=win_clang --repo_env=TF_PYTHON_VERSION=3.11 //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow_cpu

Prise en charge du GPU

Pour créer le générateur de paquets TensorFlow avec prise en charge GPU :

bazel build --config=opt --config=cuda --define=no_tensorflow_py_deps=true //tensorflow/tools/pip_package:build_pip_package

Les commandes permettant de nettoyer le cache Bazel afin de résoudre les erreurs dues à des données en cache invalides ou obsolètes, comme la commande `bazel clean` avec l'option `--expunge`, suppriment définitivement les fichiers.

bazel clean 
bazel clean --expunge  

options de configuration Bazel

Utilisez cette option lors de la compilation pour éviter les problèmes liés à la création du package : tensorflow:issue#22390

--define=no_tensorflow_py_deps=true

Consultez la documentation de référence de la ligne de commande Bazel pour connaître les options de compilation .

La compilation de TensorFlow à partir des sources peut consommer beaucoup de RAM. Si votre système est limité en mémoire, limitez l'utilisation de la RAM par Bazel avec : --local_ram_resources=2048 .

Si vous compilez avec la prise en charge du GPU, ajoutez --copt=-nvcc_options=disable-warnings pour supprimer les messages d'avertissement nvcc.

Constituer le package

Pour créer un paquet pip, vous devez spécifier l'option `--repo_env=NOM_DE_LA_ROUE`. Le paquet sera créé en fonction du nom fourni. Par exemple :

Pour compiler le package CPU tensorflow :

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow_cpu

Pour créer un package nightly, définissez tf_nightly au lieu de tensorflow , par exemple pour créer un package nightly CPU :

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tf_nightly_cpu

Par conséquent, la roue générée sera située dans

bazel-bin/tensorflow/tools/pip_package/wheel_house/

Installez le package

Le nom du fichier .whl généré dépend de la version de TensorFlow et de votre plateforme. Utilisez pip install pour installer le package, par exemple :

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Compiler en utilisant l'interface MSYS

TensorFlow peut également être compilé à l'aide de l'interface MSYS. Apportez les modifications indiquées ci-dessous, puis suivez les instructions précédentes pour l'invite de commandes native de Windows ( cmd.exe ).

Désactiver la conversion de chemin MSYS

MSYS convertit automatiquement les arguments ressemblant à des chemins Unix en chemins Windows, ce qui ne fonctionne pas avec bazel . (L'étiquette //path/to:bin est considérée comme un chemin absolu Unix car elle commence par une barre oblique.)

export MSYS_NO_PATHCONV=1
export MSYS2_ARG_CONV_EXCL="*"

Définissez votre chemin

Ajoutez les répertoires d'installation de Bazel et de Python à votre variable d'environnement $PATH . Si Bazel est installé dans C:\tools\bazel.exe et Python dans C:\Python\python.exe , configurez votre PATH comme suit :

# Use Unix-style with ':' as separator
export PATH="/c/tools:$PATH"
export PATH="/c/path/to/Python:$PATH"

Pour la prise en charge du GPU, ajoutez les répertoires bin de CUDA et cuDNN à votre $PATH :

export PATH="/c/Program Files/NVIDIA GPU Computing Toolkit/CUDA/v11.0/bin:$PATH"
export PATH="/c/Program Files/NVIDIA GPU Computing Toolkit/CUDA/v11.0/extras/CUPTI/libx64:$PATH"
export PATH="/c/tools/cuda/bin:$PATH"

Configurations de compilation testées

processeur

GPU