GPU サポート

TensorFlow の GPU サポートには、各種ドライバやライブラリが必要です。インストールを簡略化し、ライブラリの競合を避けるため、GPU サポートを含む TensorFlow の Docker イメージ（Linux 用のみ）を使用することをおすすめします。その場合セットアップに必要なのは NVIDIA® GPU ドライバだけです。

下記のインストール手順は TensorFlow の最新リリースを対象としています。TensorFlow の以前のリリースで使用する CUDA や cuDNN のバージョンについては、テスト済みのビルド構成をご確認ください。

pip パッケージ

pip インストールに関する利用可能なパッケージ、システム要件、および手順については pip インストールのガイドをご覧ください。TensorFlow の pip パッケージには、CUDA® 対応カードに対する GPU サポートが含まれています。

pip install tensorflow

このガイドでは、最新の stable TensorFlow リリースの GPU サポートとインストール手順について説明します。

旧バージョンの TensorFlow

1.15 以前のリリースでは、CPU パッケージと GPU パッケージは別個のものです。

pip install tensorflow==1.15      # CPU
pip install tensorflow-gpu==1.15  # GPU

ハードウェア要件

GPU が使用できる以下のデバイスに対応しています。

NVIDIA® GPU カード（CUDA® アーキテクチャ 3.5、3.7、5.2、6.0、6.1、7.0、7.0 以降）。CUDA® 対応の GPU カードの一覧をご確認ください。
NVIDIA® Ample GPU（CUDA アーキテクチャ 8.0）以降が実行されているシステムでは、カーネルは PTX から JIT コンパイルされ、TensorFlow の起動に 30 分以上かかることがあります。このオーバーヘッドを制限するには、最初の起動時に「export CUDA_CACHE_MAXSIZE=2147483648」を実行することで、デフォルトの JIT キャッシュサイズを増やします（詳細については、JIT キャッシュをご覧ください）。
サポートされていない CUDA® アーキテクチャの GPU、または PTX からの JIT コンパイルを避ける場合や、バージョンが異なる NVIDIA® ライブラリを使用する場合は、Linux でのソースからのビルドに関するガイドをご覧ください。
パッケージには、サポートされている最新の CUDA® アーキテクチャ以外の PTX コードは含まれていないため、CUDA_FORCE_PTX_JIT=1 が設定されている場合、TensorFlow は古い GPU で読み込むことができません（詳細については、アプリケーションの互換性をご覧ください）。

ソフトウェア要件

以下の NVIDIA® ソフトウェアをシステムにインストールする必要があります。

NVIDIA® GPU ドライバ - CUDA® 10.1 では 418.x 以降が必要です。
CUDA® ツールキット - TensorFlow は CUDA® 10.1 に対応しています（TensorFlow は 2.1.0 以降）
CUPTI は CUDA® ツールキットに同梱されています。
cuDNN SDK 7.6
（省略可）TensorRT 6.0 は一部のモデル上での推論のレイテンシとスループットを改善します。

Linux でのセットアップ

下記の apt に関する手順は、必須の NVIDIA ソフトウェアを Ubuntu 上にインストールする最も簡単な方法です。ただし、TensorFlow をソースからビルドする場合は、上記のソフトウェア要件のとおりに手動でインストールします。さらに、-devel の TensorFlow Docker イメージをベースとして使用することをご検討ください。

CUDA® ツールキットに付属する CUPTI をインストールします。インストール先のディレクトリを $LD_LIBRARY_PATH 環境変数に追加します。

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/extras/CUPTI/lib64

apt を使って CUDA をインストールする

このセクションでは、Ubuntu 16.04 および 18.04 に対して CUDA® 10（TensorFlow は 1.13.0 以降）をインストールする方法について説明します。下記の手順は、Debian ベースのその他のディストリビューションにも有効な場合があります。

Ubuntu 18.04（CUDA 10.1）

# Add NVIDIA package repositories
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-repo-ubuntu1804_10.1.243-1_amd64.deb
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub
sudo dpkg -i cuda-repo-ubuntu1804_10.1.243-1_amd64.deb
sudo apt-get update
wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1804/x86_64/nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb
sudo apt install ./nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb
sudo apt-get update

# Install NVIDIA driver
sudo apt-get install --no-install-recommends nvidia-driver-450
# Reboot. Check that GPUs are visible using the command: nvidia-smi

# Install development and runtime libraries (~4GB)
sudo apt-get install --no-install-recommends \
    cuda-10-1 \
    libcudnn7=7.6.5.32-1+cuda10.1  \
    libcudnn7-dev=7.6.5.32-1+cuda10.1


# Install TensorRT. Requires that libcudnn7 is installed above.
sudo apt-get install -y --no-install-recommends libnvinfer6=6.0.1-1+cuda10.1 \
    libnvinfer-dev=6.0.1-1+cuda10.1 \
    libnvinfer-plugin6=6.0.1-1+cuda10.1

Ubuntu 16.04（CUDA 10.1）

# Add NVIDIA package repositories
# Add HTTPS support for apt-key
sudo apt-get install gnupg-curl
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_10.1.243-1_amd64.deb
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub
sudo dpkg -i cuda-repo-ubuntu1604_10.1.243-1_amd64.deb
sudo apt-get update
wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1604/x86_64/nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb
sudo apt install ./nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb
sudo apt-get update

# Install NVIDIA driver
# Issue with driver install requires creating /usr/lib/nvidia
sudo mkdir /usr/lib/nvidia
sudo apt-get install --no-install-recommends nvidia-418
# Reboot. Check that GPUs are visible using the command: nvidia-smi

# Install development and runtime libraries (~4GB)
sudo apt-get install --no-install-recommends \
    cuda-10-1 \
    libcudnn7=7.6.4.38-1+cuda10.1  \
    libcudnn7-dev=7.6.4.38-1+cuda10.1


# Install TensorRT. Requires that libcudnn7 is installed above.
sudo apt-get install -y --no-install-recommends \
    libnvinfer6=6.0.1-1+cuda10.1 \
    libnvinfer-dev=6.0.1-1+cuda10.1 \
    libnvinfer-plugin6=6.0.1-1+cuda10.1

Windows でのセットアップ

上記のハードウェア要件とソフトウェア要件をご覧ください。Windows 用の CUDA® インストールガイドをご確認ください。

インストールした NVIDIA ソフトウェアパッケージのバージョンが上記と一致していることをご確認ください。特に、cuDNN64_7.dll ファイルがないと、TensorFlow は読み込まれません。別のバージョンを使用する場合は、Windows でのソースからのビルドに関するガイドをご覧ください。

CUDA®、CUPTI、cuDNN の各インストール先ディレクトリを %PATH% 環境変数に追加します。たとえば、CUDA® ツールキットを C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1 にインストールし、cuDNN を C:\tools\cuda にインストールした場合は、%PATH% を次のように更新します。

SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\bin;%PATH%
SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\extras\CUPTI\lib64;%PATH%
SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\include;%PATH%
SET PATH=C:\tools\cuda\bin;%PATH%