Kaynaktan oluştur

TensorFlow pip paketini kaynak koddan derleyin ve Ubuntu Linux ve macOS'a kurun. Talimatlar diğer sistemler için de çalışabilir ancak yalnızca Ubuntu ve macOS için test edilmiş ve desteklenmektedir.

Linux ve macOS için kurulum

Geliştirme ortamınızı yapılandırmak için aşağıdaki derleme araçlarını yükleyin.

Python ve TensorFlow paketinin bağımlılıklarını yükleyin.

sudo apt install python3-dev python3-pip

brew install python

TensorFlow pip paketinin bağımlılıklarını yükleyin (sanal ortam kullanıyorsanız, --user argümanını atlayın):

pip install -U --user pip

Bazel'i yükleyin

TensorFlow'u derlemek için Bazel'i yüklemeniz gerekecek. Bazelisk, Bazel'i yüklemenin kolay bir yoludur ve TensorFlow için doğru Bazel sürümünü otomatik olarak indirir. Kullanım kolaylığı için, Bazelisk'i PATH bazel yürütülebilir dosyası olarak ekleyin.

Bazelisk mevcut değilse, Bazel'i manuel olarak kurabilirsiniz. TensorFlow'un .bazelversion dosyasından doğru Bazel sürümünü yüklediğinizden emin olun.

Clang'ı yükleyin (önerilir, yalnızca Linux için)

Clang, LLVM tabanlı C++ dilinde derlenen bir C/C++/Objective-C derleyicisidir. TensorFlow 2.13'ten itibaren TensorFlow'u derlemek için varsayılan derleyicidir. Şu anda desteklenen sürüm LLVM/Clang 17'dir.

LLVM Debian/Ubuntu gece paketleri, Linux'ta otomatik kurulum betiği ve manuel kurulum için paketler sağlar. llvm apt deposunu paket kaynaklarınıza manuel olarak ekliyorsanız, aşağıdaki komutu çalıştırdığınızdan emin olun:

sudo apt-get update && sudo apt-get install -y llvm-17 clang-17

Şimdi /usr/lib/llvm-17/bin/clang bu durumda clang'ın gerçek yoludur.

Alternatif olarak, önceden derlenmiş Clang + LLVM 17'yi indirip arşivden çıkarabilirsiniz.

Aşağıda, indirdiğiniz Clang + LLVM 17 ikili dosyalarını Debian/Ubuntu işletim sistemlerinde kurmak için izleyebileceğiniz adımlara bir örnek verilmiştir:

1. İstenilen hedef dizine geçin: cd <desired directory>

2. Mimarinize uygun bir arşiv dosyasını yükleyin ve çıkarın...

   wget https://github.com/llvm/llvm-project/releases/download/llvmorg-17.0.2/clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   
   tar -xvf clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   

3. Çıkarılan içerikleri (klasörler ve dosyalar) /usr dizinine kopyalayın (sudo izinlerine ihtiyacınız olabilir ve doğru dizin dağıtıma göre değişebilir). Bu işlem, Clang ve LLVM'yi kurar ve PATH'e ekler. Daha önce bir kurulumunuz yoksa, herhangi bir şeyi değiştirmeniz gerekmez; daha önce bir kurulumunuz varsa, dosyaları değiştirmeniz gerekir:

   cp -r clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04/* /usr

4. Elde edilen Clang + LLVM 17 ikili dosyalarının sürümünü kontrol edin:

   clang --version

5. Artık /usr/bin/clang yeni clang'ınızın gerçek yoludur. ./configure komutunu çalıştırabilir veya CC ve BAZEL_COMPILER ortam değişkenlerini manuel olarak bu yola ayarlayabilirsiniz.

GPU desteğini yükleyin (isteğe bağlı, yalnızca Linux için)

macOS için GPU desteği bulunmamaktadır .

TensorFlow'u GPU üzerinde çalıştırmak için gereken sürücüleri ve ek yazılımları yüklemek üzere GPU destek kılavuzunu okuyun.

TensorFlow kaynak kodunu indirin

TensorFlow deposunu klonlamak için Git'i kullanın:

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow

Depo varsayılan olarak master geliştirme dalını kullanır. Ayrıca derlemek için bir release dalını da kontrol edebilirsiniz:

git checkout branch_name  # r2.2, r2.3, etc.

Derlemeyi yapılandırın

TensorFlow derlemeleri, deponun kök dizinindeki .bazelrc dosyası tarafından yapılandırılır. Yaygın ayarları düzenlemek için ./configure veya ./configure.py komut dosyaları kullanılabilir.

Lütfen deponun kök dizininden ./configure komutunu çalıştırın. Bu komut dosyası, TensorFlow bağımlılıklarının konumunu ve ek derleme yapılandırma seçeneklerini (örneğin derleyici bayrakları) girmenizi isteyecektir. Ayrıntılar için Örnek oturum bölümüne bakın.

./configure

Bu betiğin Python sürümü de mevcuttur: ./configure.py . Sanal ortam kullanıyorsanız, python configure.py ortam içindeki yollara öncelik verirken, ./configure ortam dışındaki yollara öncelik verir. Her iki durumda da varsayılan ayarı değiştirebilirsiniz.

Örnek oturum

Aşağıda ./configure komut dosyasının örnek bir çalıştırılışı gösterilmektedir (sizin oturumunuz farklılık gösterebilir):

./configure
You have bazel 6.1.0 installed.
Please specify the location of python. [Default is /Library/Frameworks/Python.framework/Versions/3.9/bin/python3]: 


Found possible Python library paths:
  /Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages
Please input the desired Python library path to use.  Default is [/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages]

Do you wish to build TensorFlow with ROCm support? [y/N]:
No ROCm support will be enabled for TensorFlow.

Do you wish to build TensorFlow with CUDA support? [y/N]:
No CUDA support will be enabled for TensorFlow.

Do you want to use Clang to build TensorFlow? [Y/n]:
Clang will be used to compile TensorFlow.

Please specify the path to clang executable. [Default is /usr/lib/llvm-16/bin/clang]:

You have Clang 16.0.4 installed.

Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -Wno-sign-compare]:


Would you like to interactively configure ./WORKSPACE for Android builds? [y/N]: n
Not configuring the WORKSPACE for Android builds.

Do you wish to build TensorFlow with iOS support? [y/N]: n
No iOS support will be enabled for TensorFlow.

Preconfigured Bazel build configs. You can use any of the below by adding "--config=<>" to your build command. See .bazelrc for more details.
    --config=mkl            # Build with MKL support.
    --config=mkl_aarch64    # Build with oneDNN and Compute Library for the Arm Architecture (ACL).
    --config=monolithic     # Config for mostly static monolithic build.
    --config=numa           # Build with NUMA support.
    --config=dynamic_kernels    # (Experimental) Build kernels into separate shared objects.
    --config=v1             # Build with TensorFlow 1 API instead of TF 2 API.
Preconfigured Bazel build configs to DISABLE default on features:
    --config=nogcp          # Disable GCP support.
    --config=nonccl         # Disable NVIDIA NCCL support.

Yapılandırma seçenekleri

GPU desteği

v.2.18.0'dan itibaren

GPU desteği için, yapılandırma sırasında cuda=Y olarak ayarlayın ve gerekirse CUDA ve cuDNN sürümlerini belirtin. Bazel, CUDA ve CUDNN paketlerini otomatik olarak indirecek veya gerekirse yerel dosya sistemindeki CUDA/CUDNN/NCCL yeniden dağıtımlarına işaret edecektir.

v.2.18.0'dan önce

GPU desteği için, yapılandırma sırasında cuda=Y olarak ayarlayın ve CUDA ve cuDNN sürümlerini belirtin. Sisteminizde birden fazla CUDA veya cuDNN sürümü yüklüyse, varsayılan sürüme güvenmek yerine sürümü açıkça belirtin. ./configure sisteminizin CUDA kütüphanelerine sembolik bağlantılar oluşturur; bu nedenle CUDA kütüphane yollarınızı güncellerseniz, derlemeden önce bu yapılandırma adımının tekrar çalıştırılması gerekir.

Optimizasyonlar

Derleme optimizasyon bayrakları için varsayılan değer ( -march=native ), oluşturulan kodu makinenizin CPU türüne göre optimize eder. Ancak, TensorFlow'u farklı bir CPU türü için derliyorsanız, daha spesifik bir optimizasyon bayrağı kullanmayı düşünün. Örnekler için GCC kılavuzuna bakın.

Önceden yapılandırılmış konfigürasyonlar

bazel build komutuna eklenebilecek önceden yapılandırılmış bazı derleme ayarları mevcuttur, örneğin:

• --config=dbg —Hata ayıklama bilgileriyle derleyin. Ayrıntılar için CONTRIBUTING.md dosyasına bakın.
• --config=mkl —Intel® MKL-DNN desteği.
• --config=monolithic — Çoğunlukla statik, tek parça halindeki bir derleme için yapılandırma.

pip paketini derleyin ve kurun.

Bazel derleme seçenekleri

Derleme seçenekleri için Bazel komut satırı referansına bakın.

TensorFlow'u kaynak koddan derlemek çok fazla RAM kullanabilir. Sisteminiz bellek kısıtlamalıysa, Bazel'in RAM kullanımını şu parametreyle sınırlayın: --local_ram_resources=2048 .

Resmi TensorFlow paketleri, manylinux2014 paket standardına uygun bir Clang araç zinciri ile oluşturulmuştur.

Paketi oluşturun

Pip paketi oluşturmak için --repo_env=WHEEL_NAME bayrağını belirtmeniz gerekir. Sağlanan isme bağlı olarak paket oluşturulacaktır, örneğin:

TensorFlow CPU paketini oluşturmak için:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_cpu

TensorFlow GPU paketini oluşturmak için:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow --config=cuda --config=cuda_wheel

TensorFlow TPU paketini oluşturmak için:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_tpu --config=tpu

Gece paketini oluşturmak için, tensorflow yerine tf_nightly ayarlayın, örneğin CPU gece paketini oluşturmak için:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tf_nightly_cpu

Sonuç olarak, üretilen tekerlek şu konumda bulunacaktır:

bazel-bin/tensorflow/tools/pip_package/wheel_house/

Paketi yükleyin

Oluşturulan .whl dosyasının adı, TensorFlow sürümüne ve platformunuza bağlıdır. Paketi yüklemek için pip install kullanın, örneğin:

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Docker Linux derlemeleri

TensorFlow'un Docker geliştirme imajları, kaynak koddan Linux paketleri oluşturmak için kolay bir ortam kurma yöntemidir. Bu imajlar, TensorFlow'u derlemek için gereken kaynak kodunu ve bağımlılıkları zaten içerir. Kurulum talimatları ve mevcut imaj etiketlerinin listesi için TensorFlow Docker kılavuzuna bakın.

yalnızca CPU

Aşağıdaki örnek, en son TensorFlow kaynak kodundan yalnızca CPU kullanan bir paket oluşturmak için :devel imajını kullanmaktadır. Kullanılabilir TensorFlow ` -devel etiketleri için Docker kılavuzuna bakın.

En son geliştirme imajını indirin ve pip paketini oluşturmak için kullanacağınız bir Docker konteyneri başlatın:

docker pull tensorflow/tensorflow:devel
docker run -it -w /tensorflow_src -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel bash

git pull  # within the container, download the latest source code

Yukarıdaki docker run komutu, kaynak ağacının kökü olan /tensorflow_src dizininde bir kabuk başlatır. Ana bilgisayarın geçerli dizinini kapsayıcının /mnt dizinine bağlar ve ana bilgisayar kullanıcısının bilgilerini bir ortam değişkeni aracılığıyla kapsayıcıya iletir (izinleri ayarlamak için kullanılır - Docker bunu zorlaştırabilir).

Alternatif olarak, bir konteyner içinde TensorFlow'un bir ana bilgisayar kopyasını oluşturmak için, ana bilgisayar kaynak ağacını konteynerin /tensorflow dizinine bağlayın:

docker run -it -w /tensorflow -v /path/to/tensorflow:/tensorflow -v $PWD:/mnt \
    -e HOST_PERMS="\\((id -u):\\)(id -g)" tensorflow/tensorflow:devel bash

Kaynak ağacı oluşturulduktan sonra, konteynerin sanal ortamında TensorFlow paketini oluşturun:

1. İsteğe bağlı: Derlemeyi yapılandırın—bu, kullanıcıdan derleme yapılandırma sorularını yanıtlamasını ister.
2. Pip paketini oluşturun.
3. Dosyanın sahiplik izinlerini kapsayıcının dışına ayarlayın.

./configure  # if necessary


bazel build //tensorflow/tools/pip_package:wheel \
--repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_cpu --config=opt

`
chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Paketin kurulumunu ve doğruluğunu konteyner içinde doğrulayın:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(tf.__version__)"

Ana makinenizde, TensorFlow pip paketi geçerli dizinde (ana makine kullanıcısının izinleriyle) bulunur ./tensorflow- version - tags .whl

GPU desteği

Docker, TensorFlow için GPU desteği oluşturmanın en kolay yoludur çünkü ana makine yalnızca NVIDIA® sürücüsüne ihtiyaç duyar ( NVIDIA® CUDA® Toolkit'in kurulu olması gerekmez). nvidia-docker'ı kurmak için GPU destek kılavuzuna ve TensorFlow Docker kılavuzuna bakın (yalnızca Linux).

Aşağıdaki örnek, TensorFlow :devel-gpu imajını indirir ve GPU özellikli konteyneri çalıştırmak için nvidia-docker kullanır. Bu geliştirme imajı, GPU desteğiyle bir pip paketi oluşturacak şekilde yapılandırılmıştır:

docker pull tensorflow/tensorflow:devel-gpu
docker run --gpus all -it -w /tensorflow -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel-gpu bash
git pull  # within the container, download the latest source code

Ardından, konteynerin sanal ortamında, GPU desteğiyle TensorFlow paketini oluşturun:

./configure  # if necessary


bazel build //tensorflow/tools/pip_package:wheel \
--repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow --config=cuda \
--config=cuda_wheel --config=opt


chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Paketi konteyner içine kurun, doğrulayın ve GPU'nun varlığını kontrol edin:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(\"Num GPUs Available: \", len(tf.config.list_physical_devices('GPU')))"

Test edilmiş derleme yapılandırmaları

Linux

İşlemci

GPU

macOS

İşlemci

GPU