بناء من المصدر

قم ببناء حزمة TensorFlow pip من المصدر وتثبيتها على Ubuntu Linux و macOS. على الرغم من أن الإرشادات قد تعمل مع أنظمة أخرى ، إلا أنه يتم اختبارها ودعمها فقط لنظامي التشغيل Ubuntu و macOS.

الإعداد لنظامي Linux و macOS

قم بتثبيت أدوات البناء التالية لتكوين بيئة التطوير الخاصة بك.

قم بتثبيت بايثون وتبعيات حزمة TensorFlow

sudo apt install python3-dev python3-pip

brew install python

قم بتثبيت تبعيات حزمة TensorFlow pip (إذا كنت تستخدم بيئة افتراضية ، فاحذف الوسيطة --user ):

pip install -U --user pip numpy wheel packaging requests opt_einsum
pip install -U --user keras_preprocessing --no-deps

قم بتثبيت Bazel

لإنشاء TensorFlow ، ستحتاج إلى تثبيت Bazel. يعد Bazelisk طريقة سهلة لتثبيت Bazel ويقوم تلقائيًا بتنزيل إصدار Bazel الصحيح لـ TensorFlow. لسهولة الاستخدام ، أضف Bazelisk مثل bazel القابل للتنفيذ في PATH .

إذا لم يكن Bazelisk متاحًا ، فيمكنك تثبيت Bazel يدويًا. تأكد من تثبيت إصدار Bazel الصحيح من ملف .bazelversion الخاص بـ TensorFlow.

تثبيت Clang (موصى به ، Linux فقط)

Clang هو مترجم C / C ++ / Objective-C يتم تجميعه في C ++ استنادًا إلى LLVM. إنه المترجم الافتراضي لإنشاء TensorFlow بدءًا من TensorFlow 2.13. الإصدار الحالي المدعوم هو LLVM / Clang 16.

توفر حزم LLVM Debian / Ubuntu الليلية نصًا وحزمًا للتثبيت التلقائي للتثبيت اليدوي على Linux. تأكد من تشغيل الأمر التالي إذا أضفت مستودع llvm apt يدويًا إلى مصادر الحزم:

sudo apt-get update && sudo apt-get install -y llvm-16 clang-16

بدلاً من ذلك ، يمكنك تنزيل وفك ضغط ثنائيات Clang + LLVM-16 المدمجة مسبقًا.

تثبيت دعم GPU (اختياري ، Linux فقط)

لا يوجد دعم GPU لنظام macOS.

اقرأ دليل دعم GPU لتثبيت برامج التشغيل والبرامج الإضافية المطلوبة لتشغيل TensorFlow على وحدة معالجة الرسومات.

قم بتنزيل الكود المصدري TensorFlow

استخدم Git لاستنساخ مستودع TensorFlow :

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow

الريبو الافتراضي لفرع التطوير master . يمكنك أيضًا التحقق من فرع التحرير لإنشاء:

git checkout branch_name  # r2.2, r2.3, etc.

تكوين البناء

يتم تكوين إصدارات TensorFlow بواسطة ملف .bazelrc في الدليل الجذر للمستودع. يمكن استخدام البرامج النصية ./configure أو ./configure.py لتعديل الإعدادات العامة.

يرجى تشغيل البرنامج النصي ./configure من الدليل الجذر للمستودع. سيطالبك هذا البرنامج النصي بتحديد موقع تبعيات TensorFlow ويطلب خيارات تكوين بناء إضافية (علامات المترجم ، على سبيل المثال). راجع قسم نموذج الجلسة للحصول على التفاصيل.

./configure

يوجد أيضًا إصدار Python لهذا البرنامج النصي ، ./configure.py . إذا كنت تستخدم بيئة افتراضية ، python configure.py تعطي الأولوية للمسارات داخل البيئة ، بينما ./configure تعطي الأولوية للمسارات خارج البيئة. في كلتا الحالتين يمكنك تغيير الافتراضي.

جلسة عينة

يوضح ما يلي نموذج تشغيل من البرنامج النصي ./configure (قد تختلف جلستك):

./configure
You have bazel 6.1.0 installed.
Please specify the location of python. [Default is /Library/Frameworks/Python.framework/Versions/3.9/bin/python3]: 


Found possible Python library paths:
  /Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages
Please input the desired Python library path to use.  Default is [/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages]

Do you wish to build TensorFlow with ROCm support? [y/N]:
No ROCm support will be enabled for TensorFlow.

Do you wish to build TensorFlow with CUDA support? [y/N]:
No CUDA support will be enabled for TensorFlow.

Do you want to use Clang to build TensorFlow? [Y/n]:
Clang will be used to compile TensorFlow.

Please specify the path to clang executable. [Default is /usr/lib/llvm-16/bin/clang]:

You have Clang 16.0.4 installed.

Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -Wno-sign-compare]:


Would you like to interactively configure ./WORKSPACE for Android builds? [y/N]: n
Not configuring the WORKSPACE for Android builds.

Do you wish to build TensorFlow with iOS support? [y/N]: n
No iOS support will be enabled for TensorFlow.

Preconfigured Bazel build configs. You can use any of the below by adding "--config=<>" to your build command. See .bazelrc for more details.
    --config=mkl            # Build with MKL support.
    --config=mkl_aarch64    # Build with oneDNN and Compute Library for the Arm Architecture (ACL).
    --config=monolithic     # Config for mostly static monolithic build.
    --config=numa           # Build with NUMA support.
    --config=dynamic_kernels    # (Experimental) Build kernels into separate shared objects.
    --config=v1             # Build with TensorFlow 1 API instead of TF 2 API.
Preconfigured Bazel build configs to DISABLE default on features:
    --config=nogcp          # Disable GCP support.
    --config=nonccl         # Disable NVIDIA NCCL support.

خيارات الإعداد

دعم GPU

لدعم GPU ، اضبط cuda=Y أثناء التكوين وحدد إصدارات CUDA و cuDNN. إذا كان نظامك يحتوي على إصدارات متعددة من CUDA أو cuDNN مثبتة ، فاضبط الإصدار بشكل صريح بدلاً من الاعتماد على الإعداد الافتراضي. ينشئ ./configure ارتباطات رمزية لمكتبات CUDA في نظامك — لذلك إذا قمت بتحديث مسارات مكتبة CUDA ، فيجب تشغيل خطوة التكوين هذه مرة أخرى قبل البناء.

التحسينات

بالنسبة إلى علامات تحسين الترجمة ، تعمل القيمة الافتراضية ( -march=native ) على تحسين الشفرة التي تم إنشاؤها لنوع وحدة المعالجة المركزية بجهازك. ومع ذلك ، إذا تم إنشاء TensorFlow لنوع وحدة معالجة مركزية مختلف ، ففكر في علامة تحسين أكثر تحديدًا. تحقق من دليل دول مجلس التعاون الخليجي للحصول على أمثلة.

التكوينات المكونة مسبقًا

هناك بعض تكوينات البناء التي تم تكوينها مسبقًا والتي يمكن إضافتها إلى أمر bazel build ، على سبيل المثال:

• --config=dbg —إنشاء معلومات التصحيح. انظر CONTRIBUTING.md للحصول على التفاصيل.
• --config=mkl —دعم Intel® MKL-DNN .
• --config=monolithic - تكوين لبناء متآلف في الغالب ثابت.

بناء وتثبيت حزمة النقطة

يتم بناء حزمة النقطة على خطوتين. تنشئ أوامر bazel build برنامج "بناء الحزم". ثم تقوم بتشغيل أداة إنشاء الحزمة لإنشاء الحزمة.

بناء منشئ الحزم

استخدم bazel build لإنشاء مُنشئ الحزم TensorFlow 2.x:

bazel build [--config=option] //tensorflow/tools/pip_package:build_pip_package

خيارات بناء Bazel

راجع مرجع سطر أوامر Bazel لمعرفة خيارات البناء .

يمكن أن يستخدم إنشاء TensorFlow من المصدر الكثير من ذاكرة الوصول العشوائي. إذا كانت ذاكرة نظامك محدودة ، فحد من استخدام ذاكرة الوصول العشوائي في Bazel بـ: --local_ram_resources=2048 .

تم تصميم حزم TensorFlow الرسمية باستخدام سلسلة أدوات Clang التي تتوافق مع معايير الحزمة manylinux2014.

بناء الحزمة

ينشئ الأمر bazel build ملفًا تنفيذيًا باسم build_pip_package - هذا هو البرنامج الذي يبني حزمة pip . قم بتشغيل الملف التنفيذي كما هو موضح أدناه لإنشاء حزمة .whl في الدليل /tmp/tensorflow_pkg .

للبناء من فرع التحرير:

./bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg

للبناء من السيد ، استخدم --nightly_flag للحصول على التبعيات الصحيحة:

./bazel-bin/tensorflow/tools/pip_package/build_pip_package --nightly_flag /tmp/tensorflow_pkg

على الرغم من أنه من الممكن إنشاء تكوينات CUDA وغير CUDA تحت نفس شجرة المصدر ، فمن المستحسن تشغيل bazel clean عند التبديل بين هذين التكوينين في نفس شجرة المصدر.

قم بتثبيت الحزمة

يعتمد اسم ملف .whl الذي تم إنشاؤه على إصدار TensorFlow والنظام الأساسي الخاص بك. استخدم pip install لتثبيت الحزمة ، على سبيل المثال:

pip install /tmp/tensorflow_pkg/tensorflow-version-tags.whl

يبني Docker Linux

تعد صور تطوير Docker الخاصة بـ TensorFlow طريقة سهلة لإعداد بيئة لإنشاء حزم Linux من المصدر. تحتوي هذه الصور بالفعل على الكود المصدري والتبعيات المطلوبة لبناء TensorFlow. انتقل إلى دليل TensorFlow Docker للحصول على إرشادات التثبيت وقائمة علامات الصور المتاحة .

وحدة المعالجة المركزية فقط

يستخدم المثال التالي :devel image لإنشاء حزمة CPU فقط من أحدث كود مصدر TensorFlow. تحقق من دليل Docker للتعرف على علامات TensorFlow ذات -devel المتاح.

قم بتنزيل أحدث صورة تطوير وابدأ حاوية Docker التي ستستخدمها لإنشاء حزمة النقطة :

docker pull tensorflow/tensorflow:devel
docker run -it -w /tensorflow_src -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel bash

git pull  # within the container, download the latest source code

يبدأ أمر docker run أعلاه قذيفة في الدليل /tensorflow_src - جذر شجرة المصدر. يقوم بتثبيت الدليل الحالي للمضيف في دليل الحاوية /mnt ، ويمرر معلومات المستخدم المضيف إلى الحاوية من خلال متغير بيئي (يُستخدم لتعيين الأذونات - يمكن لـ Docker جعل هذا الأمر صعبًا).

بدلاً من ذلك ، لإنشاء نسخة مضيفة من TensorFlow داخل حاوية ، قم بتركيب شجرة مصدر المضيف في دليل الحاوية /tensorflow :

docker run -it -w /tensorflow -v /path/to/tensorflow:/tensorflow -v $PWD:/mnt \
    -e HOST_PERMS="\\((id -u):\\)(id -g)" tensorflow/tensorflow:devel bash

مع إعداد شجرة المصدر ، قم ببناء حزمة TensorFlow داخل البيئة الافتراضية للحاوية:

1. اختياري: تكوين الإصدار - وهذا يطالب المستخدم بالإجابة على أسئلة تكوين الإنشاء.
2. قم ببناء الأداة المستخدمة لإنشاء حزمة النقطة .
3. قم بتشغيل الأداة لإنشاء حزمة النقطة .
4. اضبط أذونات ملكية الملف خارج الحاوية.

./configure  # if necessary

bazel build --config=opt //tensorflow/tools/pip_package:build_pip_package

./bazel-bin/tensorflow/tools/pip_package/build_pip_package /mnt  # create package

chown $HOST_PERMS /mnt/tensorflow-version-tags.whl

قم بتثبيت والتحقق من الحزمة داخل الحاوية:

pip uninstall tensorflow  # remove current version

pip install /mnt/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(tf.__version__)"

على جهازك المضيف ، توجد حزمة TensorFlow pip في الدليل الحالي (مع أذونات المستخدم المضيف): ./tensorflow- version - tags .whl

دعم GPU

يعد Docker أسهل طريقة لإنشاء دعم GPU لـ TensorFlow نظرًا لأن الجهاز المضيف لا يتطلب سوى برنامج تشغيل NVIDIA® (لا يلزم تثبيت مجموعة أدوات NVIDIA® CUDA® ). راجع دليل دعم GPU ودليل TensorFlow Docker لإعداد nvidia-docker (Linux فقط).

يقوم المثال التالي بتنزيل TensorFlow :devel-gpu image ويستخدم nvidia-docker لتشغيل الحاوية التي تدعم GPU. تم تكوين صورة التطوير هذه لإنشاء حزمة نقطة بدعم GPU:

docker pull tensorflow/tensorflow:devel-gpu
docker run --gpus all -it -w /tensorflow -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel-gpu bash
git pull  # within the container, download the latest source code

ثم ، داخل البيئة الافتراضية للحاوية ، قم ببناء حزمة TensorFlow بدعم GPU:

./configure  # if necessary

bazel build --config=opt --config=cuda //tensorflow/tools/pip_package:build_pip_package

./bazel-bin/tensorflow/tools/pip_package/build_pip_package /mnt  # create package

chown $HOST_PERMS /mnt/tensorflow-version-tags.whl

قم بتثبيت الحزمة والتحقق منها داخل الحاوية وتحقق من وجود وحدة معالجة الرسومات (GPU):

pip uninstall tensorflow  # remove current version

pip install /mnt/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(\"Num GPUs Available: \", len(tf.config.list_physical_devices('GPU')))"

تكوينات البناء التي تم اختبارها

لينكس

وحدة المعالجة المركزية

GPU

macOS

وحدة المعالجة المركزية

GPU