TensorFlow の GPU サポートには、各種ドライバやライブラリが必要です。インストールを簡略化し、ライブラリの競合を避けるため、GPU サポートを含む TensorFlow の Docker イメージ(Linux 用のみ)を使用することをおすすめします。その場合セットアップに必要なのは NVIDIA® GPU ドライバだけです。
下記のインストール手順は TensorFlow の最新リリースを対象としています。TensorFlow の以前のリリースで使用する CUDA や cuDNN のバージョンについては、テスト済みのビルド構成をご確認ください。
pip パッケージ
pip インストールに関する利用可能なパッケージ、システム要件、および手順については pip インストールのガイドをご覧ください。TensorFlow の pip
パッケージには、CUDA® 対応カードに対する GPU サポートが含まれています。
pip install tensorflow
このガイドでは、最新の stable TensorFlow リリースの GPU サポートとインストール手順について説明します。
旧バージョンの TensorFlow
1.15 以前のリリースでは、CPU パッケージと GPU パッケージは別個のものです。
pip install tensorflow==1.15 # CPU
pip install tensorflow-gpu==1.15 # GPU
ハードウェア要件
GPU が使用できる以下のデバイスに対応しています。
- NVIDIA® GPU カード(CUDA® アーキテクチャ 3.5、3.7、5.2、6.0、6.1、7.0、7.0 以降)。CUDA® 対応の GPU カードの一覧をご確認ください。
- NVIDIA® Ample GPU(CUDA アーキテクチャ 8.0)以降が実行されているシステムでは、カーネルは PTX から JIT コンパイルされ、TensorFlow の起動に 30 分以上かかることがあります。このオーバーヘッドを制限するには、最初の起動時に「
export CUDA_CACHE_MAXSIZE=2147483648
」を実行することで、デフォルトの JIT キャッシュ サイズを増やします(詳細については、JIT キャッシュをご覧ください)。 - サポートされていない CUDA® アーキテクチャの GPU、または PTX からの JIT コンパイルを避ける場合や、バージョンが異なる NVIDIA® ライブラリを使用する場合は、Linux でのソースからのビルドに関するガイドをご覧ください。
- パッケージには、サポートされている最新の CUDA® アーキテクチャ以外の PTX コードは含まれていないため、
CUDA_FORCE_PTX_JIT=1
が設定されている場合、TensorFlow は古い GPU で読み込むことができません(詳細については、アプリケーションの互換性をご覧ください)。
ソフトウェア要件
以下の NVIDIA® ソフトウェアをシステムにインストールする必要があります。
- NVIDIA® GPU ドライバ - CUDA® 10.1 では 418.x 以降が必要です。
- CUDA® ツールキット - TensorFlow は CUDA® 10.1 に対応しています(TensorFlow は 2.1.0 以降)
- CUPTI は CUDA® ツールキットに同梱されています。
- cuDNN SDK 7.6
- (省略可)TensorRT 6.0 は一部のモデル上での推論のレイテンシとスループットを改善します。
Linux でのセットアップ
下記の apt
に関する手順は、必須の NVIDIA ソフトウェアを Ubuntu 上にインストールする最も簡単な方法です。ただし、TensorFlow をソースからビルドする場合は、上記のソフトウェア要件のとおりに手動でインストールします。さらに、-devel
の TensorFlow Docker イメージをベースとして使用することをご検討ください。
CUDA® ツールキットに付属する CUPTI をインストールします。インストール先のディレクトリを $LD_LIBRARY_PATH
環境変数に追加します。
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/extras/CUPTI/lib64
apt を使って CUDA をインストールする
このセクションでは、Ubuntu 16.04 および 18.04 に対して CUDA® 10(TensorFlow は 1.13.0 以降)をインストールする方法について説明します。下記の手順は、Debian ベースのその他のディストリビューションにも有効な場合があります。
Ubuntu 18.04(CUDA 10.1)
# Add NVIDIA package repositorieswget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-repo-ubuntu1804_10.1.243-1_amd64.deb
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub
sudo dpkg -i cuda-repo-ubuntu1804_10.1.243-1_amd64.deb
sudo apt-get update
wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1804/x86_64/nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb
sudo apt install ./nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb
sudo apt-get update
# Install NVIDIA driversudo apt-get install --no-install-recommends nvidia-driver-450
# Reboot. Check that GPUs are visible using the command: nvidia-smi # Install development and runtime libraries (~4GB)sudo apt-get install --no-install-recommends \ cuda-10-1 \ libcudnn7=7.6.5.32-1+cuda10.1 \ libcudnn7-dev=7.6.5.32-1+cuda10.1
# Install TensorRT. Requires that libcudnn7 is installed above.sudo apt-get install -y --no-install-recommends libnvinfer6=6.0.1-1+cuda10.1 \ libnvinfer-dev=6.0.1-1+cuda10.1 \ libnvinfer-plugin6=6.0.1-1+cuda10.1
Ubuntu 16.04(CUDA 10.1)
# Add NVIDIA package repositories # Add HTTPS support for apt-keysudo apt-get install gnupg-curl
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_10.1.243-1_amd64.deb
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub
sudo dpkg -i cuda-repo-ubuntu1604_10.1.243-1_amd64.deb
sudo apt-get update
wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1604/x86_64/nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb
sudo apt install ./nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb
sudo apt-get update
# Install NVIDIA driver # Issue with driver install requires creating /usr/lib/nvidiasudo mkdir /usr/lib/nvidia
sudo apt-get install --no-install-recommends nvidia-418
# Reboot. Check that GPUs are visible using the command: nvidia-smi # Install development and runtime libraries (~4GB)sudo apt-get install --no-install-recommends \ cuda-10-1 \ libcudnn7=7.6.4.38-1+cuda10.1 \ libcudnn7-dev=7.6.4.38-1+cuda10.1
# Install TensorRT. Requires that libcudnn7 is installed above.sudo apt-get install -y --no-install-recommends \ libnvinfer6=6.0.1-1+cuda10.1 \ libnvinfer-dev=6.0.1-1+cuda10.1 \ libnvinfer-plugin6=6.0.1-1+cuda10.1
Windows でのセットアップ
上記のハードウェア要件とソフトウェア要件をご覧ください。Windows 用の CUDA® インストール ガイドをご確認ください。
インストールした NVIDIA ソフトウェア パッケージのバージョンが上記と一致していることをご確認ください。特に、cuDNN64_7.dll
ファイルがないと、TensorFlow は読み込まれません。別のバージョンを使用する場合は、Windows でのソースからのビルドに関するガイドをご覧ください。
CUDA®、CUPTI、cuDNN の各インストール先ディレクトリを %PATH%
環境変数に追加します。たとえば、CUDA® ツールキットを C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1
にインストールし、cuDNN を C:\tools\cuda
にインストールした場合は、%PATH%
を次のように更新します。
SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\bin;%PATH%
SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\extras\CUPTI\lib64;%PATH%
SET PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\include;%PATH%
SET PATH=C:\tools\cuda\bin;%PATH%