Google is committed to advancing racial equity for Black communities. See how.

GPU 支援

TensorFlow GPU 支援需要各種驅動程式和程式庫。為簡化安裝作業並避免發生程式庫衝突,建議你使用支援 GPU 的 TensorFlow Docker 映像檔 (僅限 Linux)。這項設定只需要 NVIDIA® GPU 驅動程式

這些安裝指示適用於最新版本的 TensorFlow。請參閱 CUDA® 和 CuDNN 版本經過測試的建構設定,瞭解如何與舊版 TensorFlow 搭配使用。

Pip 套件

請參閱 pip 安裝指南以瞭解適用的套件、系統需求和相關指示。TensorFlow pip 套件包含採用 CUDA® 技術的顯示卡 GPU 支援:

pip install tensorflow

本指南涵蓋最新 TensorFlow 穩定版的 GPU 支援和安裝步驟。

舊版 TensorFlow

1.15 以下版本的 CPU 和 GPU 套件各自獨立:

pip install tensorflow==1.15      # CPU
pip install tensorflow-gpu==1.15  # GPU

硬體需求

支援採用以下 GPU 的裝置:

  • 搭載 CUDA® 架構 3.5、3.7、5.2、6.0、6.1、7.0 和 7.0 以上版本的 NVIDIA® GPU 顯示卡。請參閱採用 CUDA® 技術的 GPU 顯示卡清單。
  • 在搭載 NVIDIA® Ampare GPU (CUDA 架構 8.0) 以上版本的系統上,核心是從 PTX 編譯的 JIT,TensorFlow 可能需要超過 30 分鐘的時間才能啟動。可使用「export CUDA_CACHE_MAXSIZE=2147483648」增加預設的 JIT 快取大小,將這項負擔限縮到第一次啟動時 (詳情請參閱 JIT 快取)。
  • 請參閱從原始碼開始建構 (適用於 Linux) 指南,瞭解不支援 CUDA® 架構的 GPU、瞭解如何避免從 PTX 編譯 JIT 或如何使用不同版本的 NVIDIA® 程式庫。
  • 除了最新支援的 CUDA® 架構之外,套件不包含 PTX 程式碼。因此,設定 CUDA_FORCE_PTX_JIT=1 時,TensorFlow 無法在舊版 GPU 上載入。(詳情請參閱應用程式相容性。)

軟體需求

你的系統上必須安裝下列 NVIDIA® 軟體:

Linux 設定

下方的 apt 指示能讓你以最簡單的方式在 Ubuntu 上安裝必要的 NVIDIA 軟體。不過,如果你是從原始碼開始建構 TensorFlow,請手動安裝上述所需軟體,並考慮使用 -devel TensorFlow Docker 映像檔做為基礎。

安裝 CUDA® Toolkit 隨附的 CUPTI,並將其安裝目錄附加到 $LD_LIBRARY_PATH 環境變數中:

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/extras/CUPTI/lib64

使用 apt 安裝 CUDA

本節說明如何在 Ubuntu 16.04 和 18.04 上安裝 CUDA® 10 (TensorFlow 1.13.0 以上版本)。以下指示可能也適用於其他以 Debian 為基礎的發行版本。

Ubuntu 18.04 (CUDA 10.1)

# Add NVIDIA package repositories
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-repo-ubuntu1804_10.1.243-1_amd64.deb
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub
sudo dpkg -i cuda-repo-ubuntu1804_10.1.243-1_amd64.deb
sudo apt-get update
wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1804/x86_64/nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb
sudo apt install ./nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb
sudo apt-get update

# Install NVIDIA driver
sudo apt-get install --no-install-recommends nvidia-driver-450
# Reboot. Check that GPUs are visible using the command: nvidia-smi

# Install development and runtime libraries (~4GB)
sudo apt-get install --no-install-recommends \
    cuda-10-1 \
    libcudnn7=7.6.5.32-1+cuda10.1  \
    libcudnn7-dev=7.6.5.32-1+cuda10.1


# Install TensorRT. Requires that libcudnn7 is installed above.
sudo apt-get install -y --no-install-recommends libnvinfer6=6.0.1-1+cuda10.1 \
    libnvinfer-dev=6.0.1-1+cuda10.1 \
    libnvinfer-plugin6=6.0.1-1+cuda10.1

Ubuntu 16.04 (CUDA 10.1)

# Add NVIDIA package repositories
# Add HTTPS support for apt-key
sudo apt-get install gnupg-curl
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_10.1.243-1_amd64.deb
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub
sudo dpkg -i cuda-repo-ubuntu1604_10.1.243-1_amd64.deb
sudo apt-get update
wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1604/x86_64/nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb
sudo apt install ./nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb
sudo apt-get update

# Install NVIDIA driver
# Issue with driver install requires creating /usr/lib/nvidia
sudo mkdir /usr/lib/nvidia
sudo apt-get install --no-install-recommends nvidia-418
# Reboot. Check that GPUs are visible using the command: nvidia-smi

# Install development and runtime libraries (~4GB)
sudo apt-get install --no-install-recommends \
    cuda-10-1 \
    libcudnn7=7.6.4.38-1+cuda10.1  \
    libcudnn7-dev=7.6.4.38-1+cuda10.1


# Install TensorRT. Requires that libcudnn7 is installed above.
sudo apt-get install -y --no-install-recommends \
    libnvinfer6=6.0.1-1+cuda10.1 \
    libnvinfer-dev=6.0.1-1+cuda10.1 \
    libnvinfer-plugin6=6.0.1-1+cuda10.1

Windows 設定

請參閱上述硬體需求軟體需求,以及適用於 Windows 的 CUDA® 安裝指南

確認你已安裝符合上述版本的 NVIDIA 軟體套件。請特別注意,如果沒有 cuDNN64_7.dll 檔案,TensorFlow 就不會載入。如要使用其他版本,請參閱從原始碼開始建構 (適用於 Windows) 指南。

請將 CUDA®、CUPTI 和 cuDNN 安裝目錄新增至 %PATH% 環境變數中。舉例來說,如果 CUDA® Toolkit 已安裝至 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1,且 cuDNN 已安裝至 C:\tools\cuda,請更新 %PATH% 以符合:

SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\bin;%PATH%
SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\extras\CUPTI\lib64;%PATH%
SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\include;%PATH%
SET PATH=C:\tools\cuda\bin;%PATH%