בנייה מהמקור

בנה חבילת pip של TensorFlow מהמקור והתקן אותה על Ubuntu, Linux ו-macOS. בעוד שההוראות עשויות לעבוד עבור מערכות אחרות, הן נבדקו ונתמכות רק עבור Ubuntu ו-macOS.

התקנה עבור לינוקס ו-macOS

התקן את כלי הבנייה הבאים כדי להגדיר את סביבת הפיתוח שלך.

התקנת Python ותלויות חבילת TensorFlow

sudo apt install python3-dev python3-pip

brew install python

התקן את תלויות חבילת TensorFlow pip (אם משתמשים בסביבה וירטואלית, השמט את הארגומנט --user ):

pip install -U --user pip

התקנת באזל

כדי לבנות את TensorFlow, תצטרכו להתקין את Bazel. Bazelisk היא דרך קלה להתקין את Bazel ומורידה אוטומטית את גרסת Bazel הנכונה עבור TensorFlow. לנוחות השימוש, הוסיפו את Bazelisk כקובץ ההפעלה של bazel ב- PATH שלכם.

אם Bazelisk אינו זמין, ניתן להתקין את Bazel באופן ידני. ודאו שאתם מתקינים את גרסת Bazel הנכונה מקובץ .bazelversion של TensorFlow.

התקנת Clang (מומלץ, לינוקס בלבד)

Clang הוא מהדר C/C++/Objective-C המקומפל ב-C++ המבוסס על LLVM. זהו המהדר המוגדר כברירת מחדל לבניית TensorFlow החל מ-TensorFlow 2.13. הגרסה הנתמכת הנוכחית היא LLVM/Clang 17.

חבילות LLVM Debian/Ubuntu nightly מספקות סקריפט התקנה אוטומטי וחבילות להתקנה ידנית בלינוקס. ודאו שאתם מפעילים את הפקודה הבאה אם ​​אתם מוסיפים ידנית את repository llvm apt למקורות החבילות שלכם:

sudo apt-get update && sudo apt-get install -y llvm-17 clang-17

כעת, במקרה זה /usr/lib/llvm-17/bin/clang הוא הנתיב בפועל ל-clang.

לחלופין, ניתן להוריד ולפרק את Clang + LLVM 17 המובנה מראש.

להלן דוגמה לשלבים שתוכלו לבצע כדי להגדיר את הקבצים הבינאריים של Clang + LLVM 17 שהורדתם במערכות הפעלה של דביאן/אובונטו:

1. עבור לספריית היעד הרצויה: cd <desired directory>

2. טעינה וחילוץ של קובץ ארכיון... (מתאים לארכיטקטורה שלך):

   wget https://github.com/llvm/llvm-project/releases/download/llvmorg-17.0.2/clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   
   tar -xvf clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   

3. העתיקו את התוכן שחולץ (ספריות וקבצים) אל /usr (ייתכן שתזדקקו להרשאות sudo, והתיקייה הנכונה עשויה להשתנות בהתאם להפצה). פעולה זו למעשה מתקינה את Clang ואת LLVM, ומוסיפה אותם לנתיב. לא אמורה להיות לכם צורך להחליף דבר, אלא אם כן יש לכם התקנה קודמת, ובמקרה כזה עליכם להחליף את הקבצים:

   cp -r clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04/* /usr

4. בדוק את גרסת הקבצים הבינאריים של Clang + LLVM 17 שהתקבלה:

   clang --version

5. כעת, כאשר /usr/bin/clang הוא הנתיב בפועל ל-clang החדש שלך, תוכל להריץ את הסקריפט ./configure או להגדיר ידנית את משתני הסביבה CC ו- BAZEL_COMPILER לנתיב זה.

התקנת תמיכה ב-GPU (אופציונלי, לינוקס בלבד)

אין תמיכה ב-GPU עבור macOS.

קרא את מדריך התמיכה של ה-GPU כדי להתקין את מנהלי ההתקנים והתוכנות הנוספות הנדרשות להפעלת TensorFlow על GPU.

הורד את קוד המקור של TensorFlow

השתמש ב-Git כדי לשכפל את מאגר TensorFlow :

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow

ברירת המחדל של המאגר היא ענף פיתוח master . ניתן גם לבדוק ענף שחרור כדי לבנות:

git checkout branch_name  # r2.2, r2.3, etc.

הגדר את הבנייה

קבצי TensorFlow מוגדרים על ידי קובץ ה-. .bazelrc בספריית השורש של המאגר. ניתן להשתמש בסקריפטים ./configure או ./configure.py כדי להתאים הגדרות נפוצות.

אנא הפעל את הסקריפט ./configure מספריית השורש של המאגר. סקריפט זה יבקש ממך את מיקום תלויות TensorFlow ויבקש אפשרויות תצורה נוספות של בנייה (דגלי מהדר, לדוגמה). עיין בסעיף הפעלה לדוגמה לקבלת פרטים.

./configure

ישנה גם גרסת פייתון של סקריפט זה, ./configure.py . אם משתמשים בסביבה וירטואלית, python configure.py מעדכן נתיבים בתוך הסביבה, בעוד ש ./configure configure מעדכן נתיבים מחוץ לסביבה. בשני המקרים ניתן לשנות את ברירת המחדל.

מפגש לדוגמה

להלן דוגמה להרצה של סקריפט ./configure (ההפעלה שלך עשויה להיות שונה):

./configure
You have bazel 6.1.0 installed.
Please specify the location of python. [Default is /Library/Frameworks/Python.framework/Versions/3.9/bin/python3]: 


Found possible Python library paths:
  /Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages
Please input the desired Python library path to use.  Default is [/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages]

Do you wish to build TensorFlow with ROCm support? [y/N]:
No ROCm support will be enabled for TensorFlow.

Do you wish to build TensorFlow with CUDA support? [y/N]:
No CUDA support will be enabled for TensorFlow.

Do you want to use Clang to build TensorFlow? [Y/n]:
Clang will be used to compile TensorFlow.

Please specify the path to clang executable. [Default is /usr/lib/llvm-16/bin/clang]:

You have Clang 16.0.4 installed.

Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -Wno-sign-compare]:


Would you like to interactively configure ./WORKSPACE for Android builds? [y/N]: n
Not configuring the WORKSPACE for Android builds.

Do you wish to build TensorFlow with iOS support? [y/N]: n
No iOS support will be enabled for TensorFlow.

Preconfigured Bazel build configs. You can use any of the below by adding "--config=<>" to your build command. See .bazelrc for more details.
    --config=mkl            # Build with MKL support.
    --config=mkl_aarch64    # Build with oneDNN and Compute Library for the Arm Architecture (ACL).
    --config=monolithic     # Config for mostly static monolithic build.
    --config=numa           # Build with NUMA support.
    --config=dynamic_kernels    # (Experimental) Build kernels into separate shared objects.
    --config=v1             # Build with TensorFlow 1 API instead of TF 2 API.
Preconfigured Bazel build configs to DISABLE default on features:
    --config=nogcp          # Disable GCP support.
    --config=nonccl         # Disable NVIDIA NCCL support.

אפשרויות תצורה

תמיכה ב-GPU

מגרסה 2.18.0

לתמיכה ב-GPU , הגדר cuda=Y במהלך הגדרת התצורה וציין את גרסאות CUDA ו-cuDNN במידת הצורך. Bazel יוריד חבילות CUDA ו-CUDNN באופן אוטומטי או יפנה להפצות מחדש של CUDA/CUDNN/NCCL במערכת הקבצים המקומית במידת הצורך.

לפני גרסה 2.18.0

לתמיכה ב-GPU , הגדר cuda=Y במהלך קביעת התצורה וציין את גרסאות CUDA ו-cuDNN. אם במערכת שלך מותקנות מספר גרסאות של CUDA או cuDNN, הגדר במפורש את הגרסה במקום להסתמך על ברירת המחדל. ./configure יוצר קישורים סמליים לספריות CUDA של המערכת שלך - כך שאם אתה מעדכן את נתיבי ספריית ה-CUDA שלך, יש להפעיל שוב שלב קביעת תצורה זה לפני הבנייה.

אופטימיזציות

עבור דגלי אופטימיזציה של קומפילציה, ברירת המחדל ( -march=native ) ממטבת את הקוד שנוצר עבור סוג המעבד של המכונה שלך. עם זאת, אם בונים TensorFlow עבור סוג מעבד אחר, שקלו דגל אופטימיזציה ספציפי יותר. עיינו במדריך GCC לקבלת דוגמאות.

תצורות מוגדרות מראש

ישנן מספר הגדרות בנייה מוגדרות מראש שניתן להוסיף לפקודת bazel build , לדוגמה:

• --config=dbg —בנייה עם מידע על ניפוי באגים. ראה CONTRIBUTING.md לפרטים.
• --config=mkl —תמיכה עבור Intel® MKL-DNN .
• --config=monolithic —תצורה עבור מבנה מונוליטי וסטטי ברובה.

בנה והתקן את חבילת pip

אפשרויות בנייה של באזל

עיין במדריך שורת הפקודה של Bazel עבור אפשרויות בנייה .

בניית TensorFlow ממקור המערכת יכולה להשתמש בהרבה זיכרון RAM. אם המערכת שלך מוגבלת בזיכרון, הגבל את השימוש ב-RAM של Bazel באמצעות: --local_ram_resources=2048 .

חבילות TensorFlow הרשמיות בנויות עם שרשרת כלים של Clang העומדת בתקן החבילות manylinux2014.

בנה את החבילה

כדי לבנות חבילת pip, עליך לציין את הדגל --repo_env=WHEEL_NAME . בהתאם לשם שסופק, תיווצר החבילה, לדוגמה:

כדי לבנות חבילת CPU של tensorflow:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_cpu

כדי לבנות חבילת GPU של tensorflow:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow --config=cuda --config=cuda_wheel

כדי לבנות חבילת TPU של tensorflow:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_tpu --config=tpu

כדי לבנות חבילת nightly, יש להגדיר tf_nightly במקום tensorflow , לדוגמה כדי לבנות חבילת nightly של המעבד:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tf_nightly_cpu

כתוצאה מכך, הגלגל שנוצר ימוקם ב

bazel-bin/tensorflow/tools/pip_package/wheel_house/

התקן את החבילה

שם הקובץ של קובץ ה- .whl שנוצר תלוי בגרסת TensorFlow ובפלטפורמה שלך. השתמש pip install כדי להתקין את החבילה, לדוגמה:

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

בניית קבצי Docker Linux

תמונות הפיתוח של TensorFlow ב-Docker הן דרך קלה להקים סביבה לבניית חבילות לינוקס מהקוד המקורי. תמונות אלו כבר מכילות את קוד המקור והתלויות הנדרשות לבניית TensorFlow. עברו למדריך TensorFlow Docker לקבלת הוראות התקנה ורשימת תגי התמונות הזמינים .

מעבד בלבד

הדוגמה הבאה משתמשת בתמונה :devel כדי לבנות חבילה למעבד בלבד מקוד המקור העדכני ביותר של TensorFlow. בדוק את מדריך Docker עבור תגיות TensorFlow -devel זמינות.

הורד את תמונת הפיתוח העדכנית ביותר והפעל קונטיינר Docker בו תשתמש לבניית חבילת ה-pip :

docker pull tensorflow/tensorflow:devel
docker run -it -w /tensorflow_src -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel bash

git pull  # within the container, download the latest source code

פקודת docker run הנ"ל מפעילה מעטפת בספריית /tensorflow_src - שורש עץ המקור. היא מעלה את הספרייה הנוכחית של המארח בספריית /mnt של המכולה, ומעבירה את פרטי המשתמש של המארח למכולה דרך משתנה סביבתי (המשמש לקביעת הרשאות - Docker יכול להפוך את זה למסובך).

לחלופין, כדי לבנות עותק מארח של TensorFlow בתוך מכולה, יש להרכיב את עץ מקור המארח בספריית /tensorflow של המכולה:

docker run -it -w /tensorflow -v /path/to/tensorflow:/tensorflow -v $PWD:/mnt \
    -e HOST_PERMS="\\((id -u):\\)(id -g)" tensorflow/tensorflow:devel bash

לאחר הגדרת עץ המקור, בנה את חבילת TensorFlow בתוך הסביבה הווירטואלית של המכולה:

1. אופציונלי: קבע את תצורת הבנייה - פעולה זו מבקשת מהמשתמש לענות על שאלות תצורת הבנייה.
2. בנה את חבילת הפיפ .
3. התאם את הרשאות הבעלות של הקובץ מחוץ למכולה.

./configure  # if necessary


bazel build //tensorflow/tools/pip_package:wheel \
--repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow_cpu --config=opt

`
chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

התקן ואמת את החבילה בתוך המכולה:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(tf.__version__)"

במחשב המארח שלך, חבילת TensorFlow pip נמצאת בספרייה הנוכחית (עם הרשאות משתמש מארח): ./tensorflow- version - tags .whl

תמיכה ב-GPU

Docker היא הדרך הקלה ביותר לבנות תמיכה ב-GPU עבור TensorFlow מכיוון שהמחשב המארח דורש רק את מנהל ההתקן של NVIDIA® (אין צורך להתקין את ערכת הכלים NVIDIA® CUDA® ). עיין במדריך התמיכה ב-GPU ובמדריך TensorFlow Docker כדי להגדיר את nvidia-docker (לינוקס בלבד).

הדוגמה הבאה מורידה את תמונת TensorFlow :devel-gpu ומשתמשת nvidia-docker כדי להפעיל את המכולה התומכת ב-GPU. תמונת פיתוח זו מוגדרת לבניית חבילת pip עם תמיכה ב-GPU:

docker pull tensorflow/tensorflow:devel-gpu
docker run --gpus all -it -w /tensorflow -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel-gpu bash
git pull  # within the container, download the latest source code

לאחר מכן, בתוך הסביבה הווירטואלית של המכולה, בנו את חבילת TensorFlow עם תמיכה ב-GPU:

./configure  # if necessary


bazel build //tensorflow/tools/pip_package:wheel \
--repo_env=USE_PYWRAP_RULES=1 --repo_env=WHEEL_NAME=tensorflow --config=cuda \
--config=cuda_wheel --config=opt


chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

התקן ואמת את החבילה בתוך המכולה ובדוק אם יש GPU:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(\"Num GPUs Available: \", len(tf.config.list_physical_devices('GPU')))"

תצורות בנייה שנבדקו

לינוקס

מעבד

כרטיס מסך

macOS

מעבד

כרטיס מסך