إنشاء المحتوى من المصدر

أنشئ حزمة TensorFlow pip من المصدر وقم بتثبيتها على Ubuntu Linux وmacOS. على الرغم من أن التعليمات قد تعمل مع أنظمة أخرى، إلا أنه يتم اختبارها ودعمها فقط لنظامي Ubuntu وmacOS.

الإعداد لنظامي التشغيل Linux وmacOS

قم بتثبيت أدوات البناء التالية لتكوين بيئة التطوير الخاصة بك.

قم بتثبيت تبعيات حزمة Python وTensorFlow

sudo apt install python3-dev python3-pip

brew install python

قم بتثبيت تبعيات حزمة TensorFlow pip (إذا كنت تستخدم بيئة افتراضية، فاحذف الوسيطة --user ):

pip install -U --user pip

تثبيت بازل

لإنشاء TensorFlow، ستحتاج إلى تثبيت Bazel. تُعد Bazelisk طريقة سهلة لتثبيت Bazel وتنزيل إصدار Bazel الصحيح لـ TensorFlow تلقائيًا. لسهولة الاستخدام، قم بإضافة Bazelisk باعتباره bazel القابل للتنفيذ في PATH الخاص بك.

إذا لم يكن Bazelisk متاحًا، فيمكنك تثبيت Bazel يدويًا. تأكد من تثبيت إصدار Bazel الصحيح من ملف .bazelversion الخاص بـ TensorFlow.

تثبيت Clang (موصى به لنظام التشغيل Linux فقط)

Clang هو مترجم C/C++/Objective-C تم تجميعه بلغة C++ استنادًا إلى LLVM. إنه المترجم الافتراضي لإنشاء TensorFlow بدءًا من TensorFlow 2.13. الإصدار الحالي المدعوم هو LLVM/Clang 17.

توفر حزم LLVM Debian/Ubuntu الليلية برنامج نصي للتثبيت التلقائي وحزم للتثبيت اليدوي على Linux. تأكد من تشغيل الأمر التالي إذا قمت بإضافة مستودع llvm apt يدويًا إلى مصادر الحزمة الخاصة بك:

sudo apt-get update && sudo apt-get install -y llvm-17 clang-17

الآن أصبح /usr/lib/llvm-17/bin/clang هو المسار الفعلي لـ clang في هذه الحالة.

وبدلاً من ذلك، يمكنك تنزيل وفك ضغط Clang + LLVM 17 المضمن مسبقًا.

فيما يلي مثال للخطوات التي يمكنك اتخاذها لإعداد ثنائيات Clang + LLVM 17 التي تم تنزيلها على أنظمة تشغيل Debian/Ubuntu:

1. قم بالتغيير إلى دليل الوجهة المطلوب: cd <desired directory>

2. قم بتحميل واستخراج ملف أرشيف...(مناسب لبنيتك):

   wget https://github.com/llvm/llvm-project/releases/download/llvmorg-17.0.2/clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   
   tar -xvf clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   
   

3. انسخ المحتويات المستخرجة (الأدلة والملفات) إلى /usr (قد تحتاج إلى أذونات sudo، وقد يختلف الدليل الصحيح حسب التوزيع). يؤدي هذا إلى تثبيت Clang وLLVM بشكل فعال، وإضافته إلى المسار. لا ينبغي عليك استبدال أي شيء، إلا إذا كان لديك تثبيت سابق، وفي هذه الحالة يجب عليك استبدال الملفات:

   cp -r clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04/* /usr
   

4. تحقق من الإصدار الثنائي Clang + LLVM 17 الذي تم الحصول عليه:

   clang --version
   

5. الآن أصبح /usr/bin/clang هو المسار الفعلي إلى clang الجديد. يمكنك تشغيل البرنامج النصي ./configure أو تعيين متغيرات البيئة CC و BAZEL_COMPILER يدويًا على هذا المسار.

تثبيت دعم GPU (اختياري، Linux فقط)

لا يوجد دعم GPU لنظام التشغيل macOS.

اقرأ دليل دعم وحدة معالجة الرسومات لتثبيت برامج التشغيل والبرامج الإضافية المطلوبة لتشغيل TensorFlow على وحدة معالجة الرسومات.

قم بتنزيل كود مصدر TensorFlow

استخدم Git لاستنساخ مستودع TensorFlow :

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow

الريبو الافتراضي هو فرع التطوير master . يمكنك أيضًا التحقق من فرع الإصدار للإنشاء:

git checkout branch_name  # r2.2, r2.3, etc.

تكوين البناء

يتم تكوين إصدارات TensorFlow بواسطة ملف .bazelrc في الدليل الجذر للمستودع. يمكن استخدام البرامج النصية ./configure أو ./configure.py لضبط الإعدادات الشائعة.

الرجاء تشغيل البرنامج النصي ./configure من الدليل الجذر للمستودع. سيطالبك هذا البرنامج النصي بتحديد موقع تبعيات TensorFlow ويطلب منك خيارات تكوين بناء إضافية (إشارات المترجم، على سبيل المثال). راجع قسم نموذج الجلسة للحصول على التفاصيل.

./configure

هناك أيضًا إصدار بيثون من هذا البرنامج النصي، ./configure.py . في حالة استخدام بيئة افتراضية، python configure.py يعطي الأولوية للمسارات داخل البيئة، بينما ./configure يعطي الأولوية للمسارات خارج البيئة. وفي كلتا الحالتين يمكنك تغيير الإعداد الافتراضي.

جلسة عينة

يوضح ما يلي نموذجًا لتشغيل البرنامج النصي ./configure (قد تختلف جلستك):

./configure
You have bazel 6.1.0 installed.
Please specify the location of python. [Default is /Library/Frameworks/Python.framework/Versions/3.9/bin/python3]: 


Found possible Python library paths:
  /Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages
Please input the desired Python library path to use.  Default is [/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages]

Do you wish to build TensorFlow with ROCm support? [y/N]:
No ROCm support will be enabled for TensorFlow.

Do you wish to build TensorFlow with CUDA support? [y/N]:
No CUDA support will be enabled for TensorFlow.

Do you want to use Clang to build TensorFlow? [Y/n]:
Clang will be used to compile TensorFlow.

Please specify the path to clang executable. [Default is /usr/lib/llvm-16/bin/clang]:

You have Clang 16.0.4 installed.

Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -Wno-sign-compare]:


Would you like to interactively configure ./WORKSPACE for Android builds? [y/N]: n
Not configuring the WORKSPACE for Android builds.

Do you wish to build TensorFlow with iOS support? [y/N]: n
No iOS support will be enabled for TensorFlow.

Preconfigured Bazel build configs. You can use any of the below by adding "--config=<>" to your build command. See .bazelrc for more details.
    --config=mkl            # Build with MKL support.
    --config=mkl_aarch64    # Build with oneDNN and Compute Library for the Arm Architecture (ACL).
    --config=monolithic     # Config for mostly static monolithic build.
    --config=numa           # Build with NUMA support.
    --config=dynamic_kernels    # (Experimental) Build kernels into separate shared objects.
    --config=v1             # Build with TensorFlow 1 API instead of TF 2 API.
Preconfigured Bazel build configs to DISABLE default on features:
    --config=nogcp          # Disable GCP support.
    --config=nonccl         # Disable NVIDIA NCCL support.

خيارات الإعداد

دعم GPU

لدعم GPU ، قم بتعيين cuda=Y أثناء التكوين وحدد إصدارات CUDA وcuDNN. إذا كان نظامك يحتوي على إصدارات متعددة من CUDA أو cuDNN مثبتة، فقم بتعيين الإصدار بشكل صريح بدلاً من الاعتماد على الإصدار الافتراضي. ينشئ ./configure روابط رمزية لمكتبات CUDA الخاصة بنظامك، لذلك إذا قمت بتحديث مسارات مكتبة CUDA، فيجب تشغيل خطوة التكوين هذه مرة أخرى قبل الإنشاء.

التحسينات

بالنسبة لعلامات تحسين الترجمة، يعمل الإعداد الافتراضي ( -march=native ) على تحسين التعليمات البرمجية التي تم إنشاؤها لنوع وحدة المعالجة المركزية بجهازك. ومع ذلك، في حالة إنشاء TensorFlow لنوع مختلف من وحدة المعالجة المركزية (CPU)، فكر في علامة تحسين أكثر تحديدًا. راجع دليل دول مجلس التعاون الخليجي للحصول على أمثلة.

التكوينات المعدة مسبقا

هناك بعض تكوينات البناء التي تم تكوينها مسبقًا والتي يمكن إضافتها إلى أمر bazel build ، على سبيل المثال:

• --config=dbg —الإنشاء باستخدام معلومات تصحيح الأخطاء. راجع CONTRIBUTING.md للحصول على التفاصيل.
• --config=mkl —دعم Intel® MKL-DNN .
• --config=monolithic - التكوين لبناء متجانس وثابت في الغالب.

بناء وتثبيت حزمة النقطة

خيارات بناء بازل

ارجع إلى مرجع سطر أوامر Bazel للتعرف على خيارات البناء .

يمكن أن يستهلك بناء TensorFlow من المصدر الكثير من ذاكرة الوصول العشوائي (RAM). إذا كان نظامك مقيدًا بالذاكرة، فقم بتقييد استخدام ذاكرة الوصول العشوائي الخاصة بـ Bazel باستخدام: --local_ram_resources=2048 .

تم تصميم حزم TensorFlow الرسمية باستخدام سلسلة أدوات Clang التي تتوافق مع معيار حزمة Manylinux2014.

بناء الحزمة

لإنشاء حزمة النقاط، تحتاج إلى تحديد علامة --repo_env=WHEEL_NAME . اعتمادا على الاسم المقدم، سيتم إنشاء الحزمة، على سبيل المثال:

لإنشاء حزمة وحدة المعالجة المركزية Tensorflow:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow_cpu

لإنشاء حزمة GPU Tensorflow:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow --config=cuda

لإنشاء حزمة Tensorflow TPU:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow_tpu --config=tpu

لإنشاء حزمة ليلية، قم بتعيين tf_nightly بدلاً من tensorflow ، على سبيل المثال لإنشاء حزمة وحدة المعالجة المركزية الليلية:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tf_nightly_cpu

ونتيجة لذلك، سيتم تحديد موقع العجلة التي تم إنشاؤها في

bazel-bin/tensorflow/tools/pip_package/wheel_house/

قم بتثبيت الحزمة

يعتمد اسم الملف .whl الذي تم إنشاؤه على إصدار TensorFlow والنظام الأساسي لديك. استخدم pip install لتثبيت الحزمة، على سبيل المثال:

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

يبني دوكر لينكس

تعد صور تطوير TensorFlow's Docker طريقة سهلة لإعداد بيئة لإنشاء حزم Linux من المصدر. تحتوي هذه الصور بالفعل على الكود المصدري والتبعيات المطلوبة لإنشاء TensorFlow. انتقل إلى دليل TensorFlow Docker للحصول على تعليمات التثبيت وقائمة علامات الصور المتوفرة .

وحدة المعالجة المركزية فقط

يستخدم المثال التالي الصورة :devel لإنشاء حزمة وحدة المعالجة المركزية (CPU) فقط من أحدث كود مصدر TensorFlow. تحقق من دليل Docker لمعرفة علامات TensorFlow -devel المتاحة.

قم بتنزيل أحدث صورة تطوير وابدأ تشغيل حاوية Docker التي ستستخدمها لإنشاء حزمة النقطة :

docker pull tensorflow/tensorflow:devel
docker run -it -w /tensorflow_src -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel bash

git pull  # within the container, download the latest source code

يبدأ أمر docker run أعلاه الصدفة في الدليل /tensorflow_src — وهو جذر الشجرة المصدر. يقوم بتثبيت الدليل الحالي للمضيف في دليل /mnt الخاص بالحاوية، ويمرر معلومات المستخدم المضيف إلى الحاوية من خلال متغير بيئي (يستخدم لتعيين الأذونات - يمكن لـ Docker أن يجعل هذا الأمر صعبًا).

بدلاً من ذلك، لإنشاء نسخة مضيفة من TensorFlow داخل حاوية، قم بتثبيت شجرة المصدر المضيفة في دليل /tensorflow الخاص بالحاوية:

docker run -it -w /tensorflow -v /path/to/tensorflow:/tensorflow -v $PWD:/mnt \
    -e HOST_PERMS="\\((id -u):\\)(id -g)" tensorflow/tensorflow:devel bash

بعد إعداد الشجرة المصدر، أنشئ حزمة TensorFlow داخل البيئة الافتراضية للحاوية:

1. اختياري: قم بتكوين الإصدار—مطالبة المستخدم بالإجابة على أسئلة تكوين الإصدار.
2. بناء حزمة النقطة .
3. اضبط أذونات ملكية الملف خارج الحاوية.

./configure  # if necessary

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow_cpu --config=opt
`
chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

تثبيت الحزمة والتحقق منها داخل الحاوية:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(tf.__version__)"

على جهازك المضيف، توجد حزمة TensorFlow pip في الدليل الحالي (مع أذونات المستخدم المضيف): ./tensorflow- version - tags .whl

دعم GPU

يعد Docker أسهل طريقة لبناء دعم GPU لـ TensorFlow نظرًا لأن الجهاز المضيف لا يتطلب سوى برنامج تشغيل NVIDIA® (لا يلزم تثبيت مجموعة أدوات NVIDIA® CUDA® ). ارجع إلى دليل دعم GPU ودليل TensorFlow Docker لإعداد nvidia-docker (Linux فقط).

يقوم المثال التالي بتنزيل صورة TensorFlow :devel-gpu ويستخدم nvidia-docker لتشغيل الحاوية التي تدعم GPU. تم تكوين صورة التطوير هذه لإنشاء حزمة نقاط بدعم GPU:

docker pull tensorflow/tensorflow:devel-gpu
docker run --gpus all -it -w /tensorflow -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel-gpu bash
git pull  # within the container, download the latest source code

ثم، داخل البيئة الافتراضية للحاوية، أنشئ حزمة TensorFlow بدعم GPU:

./configure  # if necessary

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow --config=cuda --config=opt

chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

قم بتثبيت الحزمة والتحقق منها داخل الحاوية وتحقق من وجود وحدة معالجة الرسومات:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(\"Num GPUs Available: \", len(tf.config.list_physical_devices('GPU')))"

تكوينات البناء التي تم اختبارها

لينكس

وحدة المعالجة المركزية

GPU

ماك

وحدة المعالجة المركزية

GPU