Kaynaktan derleme

Kaynaktan bir TensorFlow pip paketi oluşturun ve bunu Ubuntu Linux ve macOS'a yükleyin. Talimatlar diğer sistemlerde işe yarayabilir ancak yalnızca Ubuntu ve macOS için test edilmiş ve desteklenmiştir.

Linux ve macOS için kurulum

Geliştirme ortamınızı yapılandırmak için aşağıdaki derleme araçlarını yükleyin.

Python ve TensorFlow paketi bağımlılıklarını yükleyin

sudo apt install python3-dev python3-pip

brew install python

TensorFlow pip paketi bağımlılıklarını yükleyin (sanal bir ortam kullanıyorsanız --user argümanını atlayın):

pip install -U --user pip

Bazel'i yükleyin

TensorFlow'u oluşturmak için Bazel'i yüklemeniz gerekecek. Bazelisk, Bazel'i kurmanın kolay bir yoludur ve TensorFlow için doğru Bazel sürümünü otomatik olarak indirir. Kullanım kolaylığı için Bazelisk'i PATH dosyanıza bazel çalıştırılabilir dosyası olarak ekleyin.

Bazelisk mevcut değilse Bazel'i manuel olarak yükleyebilirsiniz . TensorFlow'un .bazelversion dosyasından doğru Bazel sürümünü yüklediğinizden emin olun.

Clang'ı yükleyin (önerilir, yalnızca Linux)

Clang, LLVM'yi temel alarak C++ dilinde derlenen bir C/C++/Objective-C derleyicisidir. TensorFlow 2.13'ten başlayarak TensorFlow'u oluşturmak için varsayılan derleyicidir. Şu anda desteklenen sürüm LLVM/Clang 17'dir.

LLVM Debian/Ubuntu gecelik paketleri, Linux'ta manuel kurulum için otomatik kurulum komut dosyası ve paketler sağlar. Paket kaynaklarınıza llvm apt deposunu manuel olarak eklerseniz aşağıdaki komutu çalıştırdığınızdan emin olun:

sudo apt-get update && sudo apt-get install -y llvm-17 clang-17

Artık /usr/lib/llvm-17/bin/clang bu durumda clang'a giden asıl yoldur.

Alternatif olarak, önceden oluşturulmuş Clang + LLVM 17'yi indirip paketinden çıkarabilirsiniz.

Aşağıda indirilen Clang + LLVM 17 ikili dosyalarını Debian/Ubuntu işletim sistemlerine kurmak için atabileceğiniz adımların bir örneği verilmiştir:

1. İstediğiniz hedef dizine geçin: cd <desired directory>

2. Bir arşiv dosyası yükleyin ve çıkarın...(mimarinize uygun):

   wget https://github.com/llvm/llvm-project/releases/download/llvmorg-17.0.2/clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   
   tar -xvf clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   
   

3. Çıkarılan içerikleri (dizinler ve dosyalar) /usr dizinine kopyalayın (sudo izinlerine ihtiyacınız olabilir ve doğru dizin dağıtıma göre değişebilir). Bu, Clang ve LLVM'yi etkili bir şekilde yükler ve yola ekler. Daha önce bir kurulum yapmadığınız sürece hiçbir şeyi değiştirmenize gerek yoktur; bu durumda şu dosyaları değiştirmeniz gerekir:

   cp -r clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04/* /usr
   

4. Elde edilen Clang + LLVM 17 ikili dosya versiyonunu kontrol edin:

   clang --version
   

5. Artık /usr/bin/clang yeni clang'ınıza giden gerçek yoldur. ./configure betiğini çalıştırabilir veya CC ve BAZEL_COMPILER ortam değişkenlerini bu yola manuel olarak ayarlayabilirsiniz.

GPU desteğini yükleyin (isteğe bağlı, yalnızca Linux)

MacOS için GPU desteği yoktur .

TensorFlow'u bir GPU'da çalıştırmak için gereken sürücüleri ve ek yazılımı yüklemek için GPU destek kılavuzunu okuyun.

TensorFlow kaynak kodunu indirin

TensorFlow deposunu klonlamak için Git'i kullanın:

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow

Repo varsayılan olarak master geliştirme şubesine gider. Ayrıca oluşturmak için bir sürüm şubesine de göz atabilirsiniz:

git checkout branch_name  # r2.2, r2.3, etc.

Yapıyı yapılandırma

TensorFlow yapıları, havuzun kök dizinindeki .bazelrc dosyası tarafından yapılandırılır. Ortak ayarları düzenlemek için ./configure veya ./configure.py komut dosyaları kullanılabilir.

Lütfen ./configure betiğini deponun kök dizininden çalıştırın. Bu komut dosyası sizden TensorFlow bağımlılıklarının konumunu isteyecek ve ek yapı yapılandırma seçenekleri (örneğin derleyici bayrakları) isteyecektir. Ayrıntılar için Örnek oturum bölümüne bakın.

./configure

Bu betiğin bir python sürümü de var: ./configure.py . Sanal bir ortam kullanılıyorsa, python configure.py ortam içindeki yollara öncelik verirken, ./configure ortam dışındaki yollara öncelik verir. Her iki durumda da varsayılanı değiştirebilirsiniz.

Örnek oturum

Aşağıda ./configure betiğinin örnek bir çalışması gösterilmektedir (oturumunuz farklı olabilir):

./configure
You have bazel 6.1.0 installed.
Please specify the location of python. [Default is /Library/Frameworks/Python.framework/Versions/3.9/bin/python3]: 


Found possible Python library paths:
  /Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages
Please input the desired Python library path to use.  Default is [/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages]

Do you wish to build TensorFlow with ROCm support? [y/N]:
No ROCm support will be enabled for TensorFlow.

Do you wish to build TensorFlow with CUDA support? [y/N]:
No CUDA support will be enabled for TensorFlow.

Do you want to use Clang to build TensorFlow? [Y/n]:
Clang will be used to compile TensorFlow.

Please specify the path to clang executable. [Default is /usr/lib/llvm-16/bin/clang]:

You have Clang 16.0.4 installed.

Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -Wno-sign-compare]:


Would you like to interactively configure ./WORKSPACE for Android builds? [y/N]: n
Not configuring the WORKSPACE for Android builds.

Do you wish to build TensorFlow with iOS support? [y/N]: n
No iOS support will be enabled for TensorFlow.

Preconfigured Bazel build configs. You can use any of the below by adding "--config=<>" to your build command. See .bazelrc for more details.
    --config=mkl            # Build with MKL support.
    --config=mkl_aarch64    # Build with oneDNN and Compute Library for the Arm Architecture (ACL).
    --config=monolithic     # Config for mostly static monolithic build.
    --config=numa           # Build with NUMA support.
    --config=dynamic_kernels    # (Experimental) Build kernels into separate shared objects.
    --config=v1             # Build with TensorFlow 1 API instead of TF 2 API.
Preconfigured Bazel build configs to DISABLE default on features:
    --config=nogcp          # Disable GCP support.
    --config=nonccl         # Disable NVIDIA NCCL support.

Yapılandırma seçenekleri

GPU desteği

GPU desteği için yapılandırma sırasında cuda=Y ayarını yapın ve CUDA ve cuDNN sürümlerini belirtin. Sisteminizde yüklü birden fazla CUDA veya cuDNN sürümü varsa, varsayılana güvenmek yerine sürümü açıkça ayarlayın. ./configure sisteminizin CUDA kitaplıklarına sembolik bağlantılar oluşturur; dolayısıyla CUDA kitaplığı yollarınızı güncellerseniz, oluşturmadan önce bu yapılandırma adımının yeniden çalıştırılması gerekir.

Optimizasyonlar

Derleme optimizasyon bayrakları için varsayılan ( -march=native ), makinenizin CPU türüne göre oluşturulan kodu optimize eder. Ancak farklı bir CPU türü için TensorFlow oluşturuyorsanız daha spesifik bir optimizasyon bayrağını düşünün. Örnekler için GCC kılavuzuna bakın.

Önceden yapılandırılmış konfigürasyonlar

bazel build komutuna eklenebilecek önceden yapılandırılmış bazı build yapılandırmaları mevcuttur, örneğin:

• --config=dbg —Hata ayıklama bilgileriyle derleyin. Ayrıntılar için CONTRIBUTING.md'ye bakın.
• --config=mkl —Intel® MKL-DNN desteği.
• --config=monolithic — Çoğunlukla statik, monolitik bir yapı için yapılandırma.

Pip paketini oluşturun ve yükleyin

Bazel oluşturma seçenekleri

Derleme seçenekleri için Bazel komut satırı referansına bakın.

TensorFlow'u kaynaktan oluşturmak çok fazla RAM kullanabilir. Sisteminizin belleği kısıtlıysa Bazel'in RAM kullanımını şu şekilde sınırlayın: --local_ram_resources=2048 .

Resmi TensorFlow paketleri, manylinux2014 paket standardına uygun bir Clang araç zinciri ile oluşturulmuştur.

Paketi oluştur

Pip paketi oluşturmak için --repo_env=WHEEL_NAME bayrağını belirtmeniz gerekir. Sağlanan ada bağlı olarak paket oluşturulacaktır, örneğin:

Tensorflow CPU paketini oluşturmak için:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow_cpu

Tensorflow GPU paketini oluşturmak için:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow --config=cuda

Tensorflow TPU paketini oluşturmak için:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow_tpu --config=tpu

Gecelik paket oluşturmak için tensorflow yerine tf_nightly değerini ayarlayın; örneğin CPU gecelik paketi oluşturmak için:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tf_nightly_cpu

Sonuç olarak, oluşturulan tekerlek

bazel-bin/tensorflow/tools/pip_package/wheel_house/

Paketi yükleyin

Oluşturulan .whl dosyasının dosya adı TensorFlow sürümüne ve platformunuza bağlıdır. Paketi yüklemek için pip install kullanın, örneğin:

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Docker Linux'un derlemeleri

TensorFlow'un Docker geliştirme görüntüleri, Linux paketlerini kaynaktan oluşturmak için bir ortam kurmanın kolay bir yoludur. Bu görüntüler TensorFlow'u oluşturmak için gereken kaynak kodunu ve bağımlılıkları zaten içeriyor. Kurulum talimatları ve mevcut görüntü etiketlerinin listesi için TensorFlow Docker kılavuzuna gidin.

Yalnızca CPU

Aşağıdaki örnek, en son TensorFlow kaynak kodundan yalnızca CPU içeren bir paket oluşturmak için :devel görüntüsünü kullanır. Mevcut TensorFlow -devel etiketleri için Docker kılavuzunu kontrol edin.

En son geliştirme görüntüsünü indirin ve pip paketini oluşturmak için kullanacağınız bir Docker kapsayıcısını başlatın:

docker pull tensorflow/tensorflow:devel
docker run -it -w /tensorflow_src -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel bash

git pull  # within the container, download the latest source code

Yukarıdaki docker run komutu, kaynak ağacın kökü olan /tensorflow_src dizininde bir kabuk başlatır. Ana bilgisayarın mevcut dizinini konteynerin /mnt dizinine bağlar ve ana bilgisayar kullanıcısının bilgilerini bir ortam değişkeni (izinleri ayarlamak için kullanılır; Docker bunu karmaşık hale getirebilir) aracılığıyla konteynere aktarır.

Alternatif olarak, bir konteyner içinde TensorFlow'un ana bilgisayar kopyasını oluşturmak için ana bilgisayar kaynak ağacını konteynerin /tensorflow dizinine bağlayın:

docker run -it -w /tensorflow -v /path/to/tensorflow:/tensorflow -v $PWD:/mnt \
    -e HOST_PERMS="\\((id -u):\\)(id -g)" tensorflow/tensorflow:devel bash

Kaynak ağacı kurulduğunda TensorFlow paketini konteynerin sanal ortamında oluşturun:

1. İsteğe bağlı: Yapıyı yapılandırın—bu, kullanıcıdan yapı yapılandırması sorularını yanıtlamasını ister.
2. Pip paketini oluşturun.
3. Dosyanın sahiplik izinlerini kapsayıcının dışı için ayarlayın.

./configure  # if necessary

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow_cpu --config=opt
`
chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Paketi konteynerin içine kurun ve doğrulayın:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(tf.__version__)"

Ana makinenizde, TensorFlow pip paketi geçerli dizinde bulunur (ana bilgisayar kullanıcı izinleriyle birlikte): ./tensorflow- version - tags .whl

GPU desteği

Ana makine yalnızca NVIDIA® sürücüsünü gerektirdiğinden ( NVIDIA® CUDA® Araç Takımının kurulmasına gerek yoktur) Docker, TensorFlow için GPU desteği oluşturmanın en kolay yoludur. Nvidia-docker'ı kurmak için GPU destek kılavuzuna ve TensorFlow Docker kılavuzuna bakın (yalnızca Linux).

Aşağıdaki örnek, TensorFlow :devel-gpu görüntüsünü indirir ve GPU özellikli kapsayıcıyı çalıştırmak için nvidia-docker kullanır. Bu geliştirme görüntüsü, GPU desteğine sahip bir pip paketi oluşturacak şekilde yapılandırılmıştır:

docker pull tensorflow/tensorflow:devel-gpu
docker run --gpus all -it -w /tensorflow -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel-gpu bash
git pull  # within the container, download the latest source code

Ardından konteynerin sanal ortamında GPU desteğiyle TensorFlow paketini oluşturun:

./configure  # if necessary

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow --config=cuda --config=opt

chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Paketi kapsayıcıya kurup doğrulayın ve GPU olup olmadığını kontrol edin:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(\"Num GPUs Available: \", len(tf.config.list_physical_devices('GPU')))"

Test edilmiş yapı yapılandırmaları

Linux

İşlemci

GPU

Mac os işletim sistemi

İşlemci

GPU