بناء من المصدر

قم ببناء حزمة TensorFlow pip من المصدر وتثبيتها على Ubuntu Linux و macOS. على الرغم من أن الإرشادات قد تعمل مع أنظمة أخرى ، إلا أنه يتم اختبارها ودعمها فقط لنظامي التشغيل Ubuntu و macOS.

الإعداد لنظامي Linux و macOS

قم بتثبيت أدوات البناء التالية لتكوين بيئة التطوير الخاصة بك.

قم بتثبيت بايثون وتبعيات حزمة TensorFlow

sudo apt install python3-dev python3-pip

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
export PATH="/usr/local/opt/python/libexec/bin:$PATH"
# if you are on macOS 10.12 (Sierra) use export PATH="/usr/local/bin:/usr/local/sbin:$PATH"
brew install python

قم بتثبيت تبعيات حزمة TensorFlow pip (إذا كنت تستخدم بيئة افتراضية ، فاحذف الوسيطة --user ):

pip install -U --user pip numpy wheel packaging requests opt_einsum
pip install -U --user keras_preprocessing --no-deps

قم بتثبيت Bazel

لإنشاء TensorFlow ، ستحتاج إلى تثبيت Bazel. يعد Bazelisk طريقة سهلة لتثبيت Bazel ويقوم تلقائيًا بتنزيل إصدار Bazel الصحيح لـ TensorFlow. لسهولة الاستخدام ، أضف Bazelisk مثل bazel القابل للتنفيذ في PATH .

إذا لم يكن Bazelisk متاحًا ، فيمكنك تثبيت Bazel يدويًا. تأكد من تثبيت إصدار Bazel الصحيح من ملف .bazelversion الخاص بـ TensorFlow.

تثبيت دعم GPU (اختياري ، Linux فقط)

لا يوجد دعم GPU لنظام macOS.

اقرأ دليل دعم GPU لتثبيت برامج التشغيل والبرامج الإضافية المطلوبة لتشغيل TensorFlow على وحدة معالجة الرسومات.

قم بتنزيل الكود المصدري TensorFlow

استخدم Git لاستنساخ مستودع TensorFlow :

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow

الريبو الافتراضي لفرع التطوير master . يمكنك أيضًا التحقق من فرع التحرير لإنشاء:

git checkout branch_name  # r2.2, r2.3, etc.

اختياري: تكوين البناء

يتم تكوين إصدارات TensorFlow بواسطة ملف .bazelrc في الدليل الجذر للمستودع. يمكن استخدام البرامج النصية ./configure أو ./configure.py لتعديل الإعدادات العامة.

إذا كنت بحاجة إلى تغيير التكوين ، فقم بتشغيل البرنامج النصي ./configure من الدليل الجذر للمستودع. سيطالبك هذا البرنامج النصي بتحديد موقع تبعيات TensorFlow ويطلب خيارات تكوين بناء إضافية (علامات المترجم ، على سبيل المثال). راجع قسم نموذج الجلسة للحصول على التفاصيل.

./configure

يوجد أيضًا إصدار Python لهذا البرنامج النصي ، ./configure.py . إذا كنت تستخدم بيئة افتراضية ، فإن python configure.py تعطي الأولوية للمسارات داخل البيئة ، بينما ./configure تعطي الأولوية للمسارات خارج البيئة. في كلتا الحالتين يمكنك تغيير الافتراضي.

جلسة عينة

يوضح ما يلي نموذج تشغيل من البرنامج النصي ./configure (قد تختلف جلستك):

./configure
You have bazel 5.0.0 installed.
Please specify the location of python. [Default is /Library/Frameworks/Python.framework/Versions/3.9/bin/python3]: 


Found possible Python library paths:
  /Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages
Please input the desired Python library path to use.  Default is [/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages]

Do you wish to build TensorFlow with ROCm support? [y/N]: n
No ROCm support will be enabled for TensorFlow.

Do you wish to build TensorFlow with CUDA support? [y/N]: n
No CUDA support will be enabled for TensorFlow.

Do you wish to download a fresh release of clang? (Experimental) [y/N]: n
Clang will not be downloaded.

Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -Wno-sign-compare]: n


Would you like to interactively configure ./WORKSPACE for Android builds? [y/N]: n
Not configuring the WORKSPACE for Android builds.

Do you wish to build TensorFlow with iOS support? [y/N]: n
No iOS support will be enabled for TensorFlow.

Preconfigured Bazel build configs. You can use any of the below by adding "--config=<>" to your build command. See .bazelrc for more details.
    --config=mkl            # Build with MKL support.
    --config=mkl_aarch64    # Build with oneDNN and Compute Library for the Arm Architecture (ACL).
    --config=monolithic     # Config for mostly static monolithic build.
    --config=numa           # Build with NUMA support.
    --config=dynamic_kernels    # (Experimental) Build kernels into separate shared objects.
    --config=v1             # Build with TensorFlow 1 API instead of TF 2 API.
Preconfigured Bazel build configs to DISABLE default on features:
    --config=nogcp          # Disable GCP support.
    --config=nonccl         # Disable NVIDIA NCCL support.

خيارات الإعداد

دعم GPU

لدعم GPU ، اضبط cuda=Y أثناء التكوين وحدد إصدارات CUDA و cuDNN. إذا كان نظامك يحتوي على إصدارات متعددة من CUDA أو cuDNN مثبتة ، فاضبط الإصدار بشكل صريح بدلاً من الاعتماد على الإعداد الافتراضي. ينشئ ./configure ارتباطات رمزية لمكتبات CUDA في نظامك — لذلك إذا قمت بتحديث مسارات مكتبة CUDA ، فيجب تشغيل خطوة التكوين هذه مرة أخرى قبل البناء.

التحسينات

بالنسبة إلى علامات تحسين الترجمة ، تعمل القيمة الافتراضية ( -march=native ) على تحسين الشفرة التي تم إنشاؤها لنوع وحدة المعالجة المركزية بجهازك. ومع ذلك ، إذا تم إنشاء TensorFlow لنوع وحدة معالجة مركزية مختلف ، ففكر في علامة تحسين أكثر تحديدًا. تحقق من دليل دول مجلس التعاون الخليجي للحصول على أمثلة.

التكوينات المكونة مسبقًا

هناك بعض تكوينات البناء التي تم تكوينها مسبقًا والتي يمكن إضافتها إلى أمر bazel build ، على سبيل المثال:

• --config=dbg —إنشاء معلومات التصحيح. انظر CONTRIBUTING.md للحصول على التفاصيل.
• --config=mkl Intel® MKL-DNN .
• --config=monolithic - تكوين لبناء متآلف في الغالب ثابت.

بناء وتثبيت حزمة النقطة

حزمة النقطة مبنية على خطوتين. تنشئ أوامر bazel build برنامج "بناء الحزم". ثم تقوم بتشغيل أداة إنشاء الحزمة لإنشاء الحزمة.

بناء منشئ الحزم

استخدم bazel build لإنشاء TensorFlow 2.x package-builder مع دعم وحدة المعالجة المركزية فقط :

bazel build [--config=option] //tensorflow/tools/pip_package:build_pip_package

دعم GPU

لإنشاء مُنشئ حزم TensorFlow مع دعم GPU:

bazel build --config=cuda [--config=option] //tensorflow/tools/pip_package:build_pip_package

خيارات بناء Bazel

راجع مرجع سطر أوامر Bazel لمعرفة خيارات البناء .

يمكن أن يستخدم إنشاء TensorFlow من المصدر الكثير من ذاكرة الوصول العشوائي. إذا كانت ذاكرة نظامك محدودة ، فحد من استخدام ذاكرة الوصول العشوائي في Bazel بـ: --local_ram_resources=2048 .

تم تصميم حزم TensorFlow الرسمية باستخدام سلسلة أدوات دول مجلس التعاون الخليجي التي تتوافق مع معايير الحزمة manylinux2010.

بالنسبة إلى GCC 5 والإصدارات الأحدث ، يمكن إنشاء التوافق مع ABI الأقدم باستخدام: --cxxopt="-D_GLIBCXX_USE_CXX11_ABI=0" . يضمن توافق ABI استمرار العمليات المخصصة المبنية على حزمة TensorFlow الرسمية في العمل مع حزمة GCC 5 المبنية.

بناء الحزمة

ينشئ الأمر bazel build ملفًا تنفيذيًا باسم build_pip_package - هذا هو البرنامج الذي يبني حزمة pip . قم بتشغيل الملف التنفيذي كما هو موضح أدناه لإنشاء حزمة .whl في الدليل /tmp/tensorflow_pkg .

للبناء من فرع التحرير:

./bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg

للبناء من السيد ، استخدم --nightly_flag للحصول على التبعيات الصحيحة:

./bazel-bin/tensorflow/tools/pip_package/build_pip_package --nightly_flag /tmp/tensorflow_pkg

على الرغم من أنه من الممكن إنشاء تكوينات CUDA وغير CUDA تحت نفس شجرة المصدر ، فمن المستحسن تشغيل bazel clean عند التبديل بين هذين التكوينين في نفس شجرة المصدر.

قم بتثبيت الحزمة

يعتمد اسم ملف .whl الذي تم إنشاؤه على إصدار TensorFlow والنظام الأساسي الخاص بك. استخدم pip install الحزمة ، على سبيل المثال:

pip install /tmp/tensorflow_pkg/tensorflow-version-tags.whl

يبني Docker Linux

تعد صور تطوير Docker الخاصة بـ TensorFlow طريقة سهلة لإعداد بيئة لإنشاء حزم Linux من المصدر. تحتوي هذه الصور بالفعل على الكود المصدري والتبعيات المطلوبة لبناء TensorFlow. انتقل إلى دليل TensorFlow Docker للحصول على إرشادات التثبيت وقائمة علامات الصور المتاحة .

وحدة المعالجة المركزية فقط

يستخدم المثال التالي :devel image لإنشاء حزمة CPU فقط من أحدث كود مصدر TensorFlow. تحقق من دليل Docker للتعرف على علامات -devel ذات المستوى المتاح.

قم بتنزيل أحدث صورة تطوير وابدأ حاوية Docker التي ستستخدمها لإنشاء حزمة النقطة :

docker pull tensorflow/tensorflow:devel
docker run -it -w /tensorflow_src -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel bash

git pull  # within the container, download the latest source code

يبدأ أمر docker run الإرساء أعلاه قذيفة في الدليل /tensorflow_src - جذر شجرة المصدر. يقوم بتثبيت الدليل الحالي للمضيف في دليل الحاوية /mnt ، ويمرر معلومات المستخدم المضيف إلى الحاوية من خلال متغير بيئي (يُستخدم لتعيين الأذونات - يمكن لـ Docker جعل هذا الأمر صعبًا).

بدلاً من ذلك ، لإنشاء نسخة مضيفة من TensorFlow داخل حاوية ، قم بتركيب شجرة مصدر المضيف في دليل الحاوية /tensorflow :

docker run -it -w /tensorflow -v /path/to/tensorflow:/tensorflow -v $PWD:/mnt \
    -e HOST_PERMS="\\((id -u):\\)(id -g)" tensorflow/tensorflow:devel bash

مع إعداد شجرة المصدر ، قم ببناء حزمة TensorFlow داخل البيئة الافتراضية للحاوية:

1. اختياري: تكوين الإصدار - وهذا يطالب المستخدم بالإجابة على أسئلة تكوين الإنشاء.
2. قم ببناء الأداة المستخدمة لإنشاء حزمة النقطة .
3. قم بتشغيل الأداة لإنشاء حزمة النقطة .
4. اضبط أذونات ملكية الملف خارج الحاوية.

./configure  # if necessary

bazel build --config=opt //tensorflow/tools/pip_package:build_pip_package

./bazel-bin/tensorflow/tools/pip_package/build_pip_package /mnt  # create package

chown $HOST_PERMS /mnt/tensorflow-version-tags.whl

قم بتثبيت والتحقق من الحزمة داخل الحاوية:

pip uninstall tensorflow  # remove current version

pip install /mnt/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(tf.__version__)"

على جهازك المضيف ، توجد حزمة TensorFlow pip في الدليل الحالي (مع أذونات المستخدم المضيف): ./tensorflow- version - tags .whl

دعم GPU

يعد Docker أسهل طريقة لإنشاء دعم GPU لـ TensorFlow نظرًا لأن الجهاز المضيف لا يتطلب سوى برنامج تشغيل NVIDIA® (لا يلزم تثبيت مجموعة أدوات NVIDIA® CUDA® ). راجع دليل دعم GPU ودليل TensorFlow Docker لإعداد nvidia-docker (Linux فقط).

يقوم المثال التالي بتنزيل TensorFlow :devel-gpu image ويستخدم nvidia-docker لتشغيل الحاوية التي تدعم GPU. تم تكوين صورة التطوير هذه لإنشاء حزمة نقطة بدعم GPU:

docker pull tensorflow/tensorflow:devel-gpu
docker run --gpus all -it -w /tensorflow -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel-gpu bash
git pull  # within the container, download the latest source code

ثم ، داخل البيئة الافتراضية للحاوية ، قم ببناء حزمة TensorFlow بدعم GPU:

./configure  # if necessary

bazel build --config=opt --config=cuda //tensorflow/tools/pip_package:build_pip_package

./bazel-bin/tensorflow/tools/pip_package/build_pip_package /mnt  # create package

chown $HOST_PERMS /mnt/tensorflow-version-tags.whl

ثبّت الحزمة وتحقق منها داخل الحاوية وتحقق من وحدة معالجة الرسومات:

pip uninstall tensorflow  # remove current version

pip install /mnt/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(\"Num GPUs Available: \", len(tf.config.list_physical_devices('GPU')))"

تكوينات البناء التي تم اختبارها

لينكس

وحدة المعالجة المركزية

GPU

macOS

وحدة المعالجة المركزية

GPU