Have a question? Connect with the community at the TensorFlow Forum Visit Forum

GPU-Unterstützung

Die TensorFlow-GPU-Unterstützung erfordert eine Reihe von Treibern und Bibliotheken. Um die Installation zu vereinfachen und Bibliothekskonflikte zu vermeiden, empfehlen wir die Verwendung eines TensorFlow Docker-Image mit GPU-Unterstützung (nur Linux). Dieses Setup erfordert nur die NVIDIA® GPU-Treiber .

Diese Installationsanweisungen gelten für die neueste Version von TensorFlow. Sehen Sie sich die getesteten Build-Konfigurationen für CUDA®- und cuDNN-Versionen zur Verwendung mit älteren TensorFlow-Versionen an.

Pip-Paket

Informationen zu verfügbaren Paketen, Systemanforderungen und Anweisungen finden Sie im Pip-Installationshandbuch . Das TensorFlow- pip Paket enthält GPU-Unterstützung für CUDA®-fähige Karten:

pip install tensorflow

Dieses Handbuch behandelt GPU-Unterstützung und Installationsschritte für die neueste stabile TensorFlow-Version.

Ältere Versionen von TensorFlow

Für Releases 1.15 und älter sind CPU- und GPU-Pakete getrennt:

pip install tensorflow==1.15      # CPU
pip install tensorflow-gpu==1.15  # GPU

Hardware-Anforderungen

Die folgenden GPU-fähigen Geräte werden unterstützt:

  • NVIDIA® GPU-Karte mit CUDA®-Architekturen 3.5, 5.0, 6.0, 7.0, 7.5, 8.0 und höher als 8.0. Siehe die Liste der CUDA®-fähigen GPU-Karten .
  • Informationen zu GPUs mit nicht unterstützten CUDA®-Architekturen oder zur Vermeidung der JIT-Kompilierung von PTX oder zur Verwendung verschiedener Versionen der NVIDIA®-Bibliotheken finden Sie im Linux-Build from Source Guide.
  • Pakete enthalten keinen PTX-Code mit Ausnahme der neuesten unterstützten CUDA®-Architektur; Daher kann TensorFlow auf älteren GPUs nicht CUDA_FORCE_PTX_JIT=1 wenn CUDA_FORCE_PTX_JIT=1 ist. (Weitere Informationen finden Sie unter Anwendungskompatibilität .)

Software Anforderungen

Die folgende NVIDIA®-Software muss auf Ihrem System installiert sein:

Linux-Setup

Die apt Anweisungen unten sind der einfachste Weg , um die erforderlichen NVIDIA - Software auf Ubuntu zu installieren. Wenn Sie jedoch TensorFlow aus source -devel , installieren Sie die oben aufgeführten Softwareanforderungen manuell und ziehen Sie die Verwendung eines -devel TensorFlow Docker-Image als Basis in Betracht.

Installieren Sie CUPTI, das mit dem CUDA® Toolkit geliefert wird. Hängen Sie das Installationsverzeichnis an die Umgebungsvariable $LD_LIBRARY_PATH :

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/extras/CUPTI/lib64

CUDA mit apt installieren

Dieser Abschnitt zeigt, wie Sie CUDA® 11 (TensorFlow >= 2.4.0) auf Ubuntu 16.04 und 18.04 installieren. Diese Anweisungen können für andere Debian-basierte Distributionen funktionieren.

Ubuntu 18.04 (CUDA 11.0)

# Add NVIDIA package repositories
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-ubuntu1804.pin
sudo mv cuda-ubuntu1804.pin /etc/apt/preferences.d/cuda-repository-pin-600
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub
sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/ /"
sudo apt-get update

wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1804/x86_64/nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb

sudo apt install ./nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb
sudo apt-get update

wget https://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1804/x86_64/libnvinfer7_7.1.3-1+cuda11.0_amd64.deb
sudo apt install ./libnvinfer7_7.1.3-1+cuda11.0_amd64.deb
sudo apt-get update

# Install development and runtime libraries (~4GB)
sudo apt-get install --no-install-recommends \
    cuda-11-0 \
    libcudnn8=8.0.4.30-1+cuda11.0  \
    libcudnn8-dev=8.0.4.30-1+cuda11.0

# Reboot. Check that GPUs are visible using the command: nvidia-smi

# Install TensorRT. Requires that libcudnn8 is installed above.
sudo apt-get install -y --no-install-recommends libnvinfer7=7.1.3-1+cuda11.0 \
    libnvinfer-dev=7.1.3-1+cuda11.0 \
    libnvinfer-plugin7=7.1.3-1+cuda11.0

Ubuntu 16.04 (CUDA 11.0)

# Add NVIDIA package repositories
# Add HTTPS support for apt-key
sudo apt-get install gnupg-curl
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-ubuntu1604.pin
sudo mv cuda-ubuntu1604.pin /etc/apt/preferences.d/cuda-repository-pin-600
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub
sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/ /"
sudo apt-get update
wget https://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1604/x86_64/nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb
sudo apt install ./nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb
sudo apt-get update
wget https://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1604/x86_64/libnvinfer7_7.1.3-1+cuda11.0_amd64.deb
sudo apt install ./libnvinfer7_7.1.3-1+cuda11.0_amd64.deb
sudo apt-get update

# Install development and runtime libraries (~4GB)
sudo apt-get install --no-install-recommends \
    cuda-11-0 \
    libcudnn8=8.0.4.30-1+cuda11.0  \
    libcudnn8-dev=8.0.4.30-1+cuda11.0


# Reboot. Check that GPUs are visible using the command: nvidia-smi

# Install TensorRT. Requires that libcudnn7 is installed above.
sudo apt-get install -y --no-install-recommends \
    libnvinfer7=7.1.3-1+cuda11.0 \
    libnvinfer-dev=7.1.3-1+cuda11.0 \
    libnvinfer-plugin7=7.1.3-1+cuda11.0 \
    libnvinfer-plugin-dev=7.1.3-1+cuda11.0

Windows Setup

Siehe die oben aufgeführten Hardwareanforderungen und Softwareanforderungen . Lesen Sie die CUDA®-Installationsanleitung für Windows .

Stellen Sie sicher, dass die installierten NVIDIA-Softwarepakete mit den oben aufgeführten Versionen übereinstimmen. Insbesondere wird TensorFlow nicht ohne die Datei cuDNN64_8.dll . Informationen zur Verwendung einer anderen Version finden Sie im Handbuch zum Erstellen aus dem Quellcode von Windows .

Fügen Sie die Installationsverzeichnisse CUDA®, CUPTI und cuDNN zur Umgebungsvariablen %PATH% . Wenn das CUDA® Toolkit beispielsweise unter C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0 und cuDNN unter C:\tools\cuda , aktualisieren Sie Ihren %PATH% entsprechend:

SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\bin;%PATH%
SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\extras\CUPTI\lib64;%PATH%
SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\include;%PATH%
SET PATH=C:\tools\cuda\bin;%PATH%