Membangun dari sumber

Buat paket pip TensorFlow dari kode sumber dan instal di Ubuntu Linux dan macOS. Meskipun petunjuk ini mungkin berfungsi untuk sistem lain, petunjuk ini hanya diuji dan didukung untuk Ubuntu dan macOS.

Pengaturan untuk Linux dan macOS

Instal alat bantu pengembangan berikut untuk mengkonfigurasi lingkungan pengembangan Anda.

Instal Python dan dependensi paket TensorFlow.

sudo apt install python3-dev python3-pip

brew install python

Instal dependensi paket pip TensorFlow (jika menggunakan lingkungan virtual, hilangkan argumen --user ):

pip install -U --user pip

Instal Bazel

Untuk membangun TensorFlow, Anda perlu menginstal Bazel. Bazelisk adalah cara mudah untuk menginstal Bazel dan secara otomatis mengunduh versi Bazel yang tepat untuk TensorFlow. Untuk kemudahan penggunaan, tambahkan Bazelisk sebagai executable bazel di PATH Anda.

Jika Bazelisk tidak tersedia, Anda dapat menginstal Bazel secara manual. Pastikan untuk menginstal versi Bazel yang benar dari file .bazelversion TensorFlow.

Instal Clang (disarankan, hanya untuk Linux)

Clang adalah kompiler C/C++/Objective-C yang dikompilasi dalam C++ berdasarkan LLVM. Ini adalah kompiler default untuk membangun TensorFlow mulai dari TensorFlow 2.13. Versi yang saat ini didukung adalah LLVM/Clang 17.

Paket nightly LLVM Debian/Ubuntu menyediakan skrip instalasi otomatis dan paket untuk instalasi manual di Linux. Pastikan Anda menjalankan perintah berikut jika Anda menambahkan repositori apt llvm secara manual ke sumber paket Anda:

sudo apt-get update && sudo apt-get install -y llvm-17 clang-17

Sekarang, /usr/lib/llvm-17/bin/clang adalah jalur sebenarnya ke clang dalam kasus ini.

Alternatifnya, Anda dapat mengunduh dan mengekstrak Clang + LLVM 17 yang sudah jadi.

Berikut adalah contoh langkah-langkah yang dapat Anda ambil untuk menginstal binary Clang + LLVM 17 yang telah diunduh pada sistem operasi Debian/Ubuntu:

1. Masuk ke direktori tujuan yang diinginkan: cd <desired directory>

2. Muat dan ekstrak file arsip...(sesuai dengan arsitektur Anda):

   wget https://github.com/llvm/llvm-project/releases/download/llvmorg-17.0.2/clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   
   tar -xvf clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   

3. Salin isi yang diekstrak (direktori dan file) ke /usr (Anda mungkin memerlukan izin sudo, dan direktori yang benar mungkin berbeda tergantung distribusi). Ini secara efektif menginstal Clang dan LLVM, dan menambahkannya ke path. Anda seharusnya tidak perlu mengganti apa pun, kecuali jika Anda memiliki instalasi sebelumnya, dalam hal ini Anda harus mengganti file-file tersebut:

   cp -r clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04/* /usr

4. Periksa versi biner Clang + LLVM 17 yang diperoleh:

   clang --version

5. Sekarang /usr/bin/clang adalah jalur sebenarnya ke clang Anda yang baru. Anda dapat menjalankan skrip ./configure atau mengatur variabel lingkungan CC dan BAZEL_COMPILER secara manual ke jalur ini.

Instal dukungan GPU (opsional, hanya Linux)

macOS tidak mendukung GPU.

Baca panduan dukungan GPU untuk menginstal driver dan perangkat lunak tambahan yang diperlukan untuk menjalankan TensorFlow pada GPU.

Unduh kode sumber TensorFlow

Gunakan Git untuk mengklon repositori TensorFlow :

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow

Repositori ini secara default menggunakan cabang pengembangan master . Anda juga dapat melakukan checkout cabang rilis untuk melakukan build:

git checkout branch_name  # r2.2, r2.3, etc.

Konfigurasikan build

Konfigurasi TensorFlow diatur melalui file .bazelrc di direktori root repositori. Skrip ./configure atau ./configure.py dapat digunakan untuk menyesuaikan pengaturan umum.

Silakan jalankan skrip ./configure dari direktori root repositori. Skrip ini akan meminta Anda untuk menentukan lokasi dependensi TensorFlow dan meminta opsi konfigurasi build tambahan (misalnya, flag kompiler). Lihat bagian Sesi Contoh untuk detailnya.

./configure

Tersedia juga versi Python dari skrip ini, ./configure.py . Jika menggunakan lingkungan virtual, python configure.py memprioritaskan jalur di dalam lingkungan tersebut, sedangkan ./configure memprioritaskan jalur di luar lingkungan tersebut. Dalam kedua kasus, Anda dapat mengubah pengaturan default.

Sesi contoh

Berikut ini contoh hasil eksekusi skrip ./configure (sesi Anda mungkin berbeda):

./configure
You have bazel 6.1.0 installed.
Please specify the location of python. [Default is /Library/Frameworks/Python.framework/Versions/3.9/bin/python3]: 


Found possible Python library paths:
  /Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages
Please input the desired Python library path to use.  Default is [/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages]

Do you wish to build TensorFlow with ROCm support? [y/N]:
No ROCm support will be enabled for TensorFlow.

Do you wish to build TensorFlow with CUDA support? [y/N]:
No CUDA support will be enabled for TensorFlow.

Do you want to use Clang to build TensorFlow? [Y/n]:
Clang will be used to compile TensorFlow.

Please specify the path to clang executable. [Default is /usr/lib/llvm-16/bin/clang]:

You have Clang 16.0.4 installed.

Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -Wno-sign-compare]:


Would you like to interactively configure ./WORKSPACE for Android builds? [y/N]: n
Not configuring the WORKSPACE for Android builds.

Do you wish to build TensorFlow with iOS support? [y/N]: n
No iOS support will be enabled for TensorFlow.

Preconfigured Bazel build configs. You can use any of the below by adding "--config=<>" to your build command. See .bazelrc for more details.
    --config=mkl            # Build with MKL support.
    --config=mkl_aarch64    # Build with oneDNN and Compute Library for the Arm Architecture (ACL).
    --config=monolithic     # Config for mostly static monolithic build.
    --config=numa           # Build with NUMA support.
    --config=dynamic_kernels    # (Experimental) Build kernels into separate shared objects.
    --config=v1             # Build with TensorFlow 1 API instead of TF 2 API.
Preconfigured Bazel build configs to DISABLE default on features:
    --config=nogcp          # Disable GCP support.
    --config=nonccl         # Disable NVIDIA NCCL support.

Opsi konfigurasi

Dukungan GPU

dari v.2.18.0

Untuk dukungan GPU , atur cuda=Y selama konfigurasi dan tentukan versi CUDA dan cuDNN jika diperlukan. Bazel akan mengunduh paket CUDA dan CUDNN secara otomatis atau mengarahkan ke redistribusi CUDA/CUDNN/NCCL pada sistem file lokal jika diperlukan.

sebelum v.2.18.0

Untuk dukungan GPU , atur cuda=Y selama konfigurasi dan tentukan versi CUDA dan cuDNN. Jika sistem Anda memiliki beberapa versi CUDA atau cuDNN yang terpasang, atur versinya secara eksplisit alih-alih mengandalkan versi default. ./configure membuat tautan simbolik ke pustaka CUDA sistem Anda—jadi jika Anda memperbarui jalur pustaka CUDA Anda, langkah konfigurasi ini harus dijalankan lagi sebelum membangun.

Optimasi

Untuk flag optimasi kompilasi, default ( -march=native ) mengoptimalkan kode yang dihasilkan untuk tipe CPU mesin Anda. Namun, jika membangun TensorFlow untuk tipe CPU yang berbeda, pertimbangkan flag optimasi yang lebih spesifik. Periksa manual GCC untuk contohnya.

Konfigurasi yang telah ditentukan sebelumnya

Terdapat beberapa konfigurasi build yang telah disiapkan sebelumnya yang dapat ditambahkan ke perintah bazel build , misalnya:

• --config=dbg —Membangun dengan informasi debug. Lihat CONTRIBUTING.md untuk detailnya.
• --config=mkl —Dukungan untuk Intel® MKL-DNN .
• --config=monolithic —Konfigurasi untuk pembangunan monolitik yang sebagian besar statis.

Bangun dan instal paket pip.

Opsi pembuatan Bazel

Lihat referensi baris perintah Bazel untuk opsi pembuatan .

Membangun TensorFlow dari kode sumber dapat menggunakan banyak RAM. Jika sistem Anda memiliki keterbatasan memori, batasi penggunaan RAM Bazel dengan: --local_ram_resources=2048 .

Paket resmi TensorFlow dibangun dengan menggunakan toolchain Clang yang sesuai dengan standar paket manylinux2014.

Buat paketnya

Untuk membuat paket pip, Anda perlu menentukan flag --repo_env=WHEEL_NAME . Tergantung pada nama yang diberikan, paket akan dibuat, misalnya:

Untuk membangun paket TensorFlow CPU:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_cpu

Untuk membangun paket TensorFlow GPU:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow --config=cuda --config=cuda_wheel

Untuk membuat paket TensorFlow TPU:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_tpu --config=tpu

Untuk membuat paket nightly, atur tf_nightly sebagai pengganti tensorflow , misalnya untuk membuat paket nightly CPU:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tf_nightly_cpu

Akibatnya, roda yang dihasilkan akan terletak di

bazel-bin/tensorflow/tools/pip_package/wheel_house/

Instal paketnya

Nama file .whl yang dihasilkan bergantung pada versi TensorFlow dan platform Anda. Gunakan pip install untuk menginstal paket, misalnya:

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Pembuatan Docker Linux

Citra pengembangan Docker TensorFlow adalah cara mudah untuk menyiapkan lingkungan untuk membangun paket Linux dari kode sumber. Citra-citra ini sudah berisi kode sumber dan dependensi yang diperlukan untuk membangun TensorFlow. Kunjungi panduan Docker TensorFlow untuk petunjuk instalasi dan daftar tag citra yang tersedia .

Hanya CPU

Contoh berikut menggunakan image :devel untuk membangun paket khusus CPU dari kode sumber TensorFlow terbaru. Periksa panduan Docker untuk tag TensorFlow -devel yang tersedia.

Unduh image pengembangan terbaru dan jalankan kontainer Docker yang akan Anda gunakan untuk membangun paket pip :

docker pull tensorflow/tensorflow:devel
docker run -it -w /tensorflow_src -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel bash

git pull  # within the container, download the latest source code

Perintah docker run di atas memulai shell di direktori ` /tensorflow_src —akar dari pohon kode sumber. Perintah ini memasang direktori host saat ini ke direktori ` /mnt kontainer, dan meneruskan informasi pengguna host ke kontainer melalui variabel lingkungan (digunakan untuk mengatur izin—Docker dapat membuat hal ini rumit).

Alternatifnya, untuk membuat salinan TensorFlow di dalam kontainer, pasang pohon sumber host di direktori /tensorflow kontainer:

docker run -it -w /tensorflow -v /path/to/tensorflow:/tensorflow -v $PWD:/mnt \
    -e HOST_PERMS="\\((id -u):\\)(id -g)" tensorflow/tensorflow:devel bash

Setelah source tree disiapkan, bangun paket TensorFlow di dalam lingkungan virtual container:

1. Opsional: Konfigurasi build—ini akan meminta pengguna untuk menjawab pertanyaan konfigurasi build.
2. Buat paket pip .
3. Sesuaikan izin kepemilikan file agar dapat diakses di luar kontainer.

./configure  # if necessary


bazel build //tensorflow/tools/pip_package:wheel \
--repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_cpu --config=opt

`
chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Instal dan verifikasi paket di dalam kontainer:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(tf.__version__)"

Di mesin host Anda, paket pip TensorFlow berada di direktori saat ini (dengan izin pengguna host) ./tensorflow- version - tags .whl

Dukungan GPU

Docker adalah cara termudah untuk membangun dukungan GPU untuk TensorFlow karena mesin host hanya membutuhkan driver NVIDIA® ( NVIDIA® CUDA® Toolkit tidak perlu diinstal). Lihat panduan dukungan GPU dan panduan Docker TensorFlow untuk menyiapkan nvidia-docker (khusus Linux).

Contoh berikut mengunduh image TensorFlow :devel-gpu dan menggunakan nvidia-docker untuk menjalankan kontainer yang mendukung GPU. Image pengembangan ini dikonfigurasi untuk membuat paket pip dengan dukungan GPU:

docker pull tensorflow/tensorflow:devel-gpu
docker run --gpus all -it -w /tensorflow -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel-gpu bash
git pull  # within the container, download the latest source code

Kemudian, di dalam lingkungan virtual kontainer, bangun paket TensorFlow dengan dukungan GPU:

./configure  # if necessary


bazel build //tensorflow/tools/pip_package:wheel \
--repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow --config=cuda \
--config=cuda_wheel --config=opt


chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Instal dan verifikasi paket di dalam kontainer dan periksa ketersediaan GPU:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(\"Num GPUs Available: \", len(tf.config.list_physical_devices('GPU')))"

Konfigurasi build yang telah diuji

Linux

CPU

GPU

macOS

CPU

GPU