สร้างจากแหล่งที่มา

สร้างแพ็คเกจ pip ของ TensorFlow จากแหล่งที่มาและติดตั้งบน Ubuntu Linux และ macOS แม้ว่าคำแนะนำอาจใช้ได้กับระบบอื่น แต่ก็มีการทดสอบและรองรับกับ Ubuntu และ macOS เท่านั้น

การตั้งค่าสำหรับ Linux และ macOS

ติดตั้งเครื่องมือสร้างต่อไปนี้เพื่อกำหนดค่าสภาพแวดล้อมการพัฒนาของคุณ

ติดตั้งการขึ้นต่อกันของแพ็คเกจ Python และ TensorFlow

sudo apt install python3-dev python3-pip

brew install python

ติดตั้งการพึ่งพาแพ็คเกจ pip ของ TensorFlow (หากใช้สภาพแวดล้อมเสมือน ให้ละเว้นอาร์กิวเมนต์ --user ):

pip install -U --user pip

ติดตั้งบาเซล

หากต้องการสร้าง TensorFlow คุณจะต้องติดตั้ง Bazel Bazelisk เป็นวิธีง่ายๆ ในการติดตั้ง Bazel และดาวน์โหลด Bazel เวอร์ชันที่ถูกต้องสำหรับ TensorFlow โดยอัตโนมัติ เพื่อความสะดวกในการใช้งาน ให้เพิ่ม Bazelisk เป็น bazel ที่สามารถเรียกใช้งานได้ใน PATH ของคุณ

หากไม่มี Bazelisk คุณสามารถ ติดตั้ง Bazel ได้ด้วยตนเอง ตรวจสอบให้แน่ใจว่าได้ติดตั้งเวอร์ชัน Bazel ที่ถูกต้องจากไฟล์ .bazelversion ของ TensorFlow

ติดตั้ง Clang (แนะนำ เฉพาะ Linux เท่านั้น)

Clang เป็นคอมไพเลอร์ C/C++/Objective-C ที่คอมไพล์ในภาษา C++ โดยใช้ LLVM เป็นคอมไพเลอร์เริ่มต้นในการสร้าง TensorFlow โดยเริ่มต้นด้วย TensorFlow 2.13 เวอร์ชันที่รองรับในปัจจุบันคือ LLVM/Clang 17

แพ็คเกจ LLVM Debian/Ubuntu ทุกคืน มีสคริปต์การติดตั้งอัตโนมัติและแพ็คเกจสำหรับการติดตั้งด้วยตนเองบน Linux ตรวจสอบให้แน่ใจว่าคุณรันคำสั่งต่อไปนี้หากคุณเพิ่มพื้นที่เก็บข้อมูล llvm apt ลงในแหล่งแพ็คเกจของคุณด้วยตนเอง:

sudo apt-get update && sudo apt-get install -y llvm-17 clang-17

ตอนนี้ /usr/lib/llvm-17/bin/clang เป็นเส้นทางที่แท้จริงไปยังเสียงดังกราวในกรณีนี้

หรือคุณสามารถดาวน์โหลดและแตกไฟล์ Clang + LLVM 17 ที่สร้างไว้ล่วงหน้าได้

ด้านล่างนี้เป็นตัวอย่างขั้นตอนที่คุณสามารถทำได้เพื่อตั้งค่าไบนารี Clang + LLVM 17 ที่ดาวน์โหลดมาบนระบบปฏิบัติการ Debian/Ubuntu:

1. เปลี่ยนเป็นไดเร็กทอรีปลายทางที่ต้องการ: cd <desired directory>

2. โหลดและแตกไฟล์เก็บถาวร...(เหมาะกับสถาปัตยกรรมของคุณ):

   wget https://github.com/llvm/llvm-project/releases/download/llvmorg-17.0.2/clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   
   tar -xvf clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   
   

3. คัดลอกเนื้อหาที่แยกออกมา (ไดเร็กทอรีและไฟล์) ไปที่ /usr (คุณอาจต้องมีสิทธิ์ sudo และไดเร็กทอรีที่ถูกต้องอาจแตกต่างกันไปตามการแจกจ่าย) สิ่งนี้จะติดตั้ง Clang และ LLVM ได้อย่างมีประสิทธิภาพ และเพิ่มลงในพาธ คุณไม่ควรต้องเปลี่ยนสิ่งใดๆ เว้นแต่ว่าคุณมีการติดตั้งก่อนหน้านี้ ซึ่งในกรณีนี้คุณควรแทนที่ไฟล์:

   cp -r clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04/* /usr
   

4. ตรวจสอบเวอร์ชันไบนารีของ Clang + LLVM 17 ที่ได้รับ:

   clang --version
   

5. ตอนนี้ /usr/bin/clang เป็นเส้นทางที่แท้จริงไปยังเสียงดังกราวใหม่ของคุณ คุณสามารถเรียกใช้สคริปต์ ./configure หรือตั้งค่าตัวแปรสภาพแวดล้อม CC และ BAZEL_COMPILER ให้กับเส้นทางนี้ด้วยตนเอง

ติดตั้งการรองรับ GPU (เป็นทางเลือก, Linux เท่านั้น)

ไม่มี การรองรับ GPU สำหรับ macOS

อ่านคู่มือ สนับสนุน GPU เพื่อติดตั้งไดรเวอร์และซอฟต์แวร์เพิ่มเติมที่จำเป็นสำหรับการเรียกใช้ TensorFlow บน GPU

ดาวน์โหลดซอร์สโค้ด TensorFlow

ใช้ Git เพื่อโคลน พื้นที่เก็บข้อมูล TensorFlow :

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow

repo มีค่าเริ่มต้นเป็นสาขาการพัฒนา master คุณยังสามารถตรวจสอบ สาขาการเผยแพร่ เพื่อสร้าง:

git checkout branch_name  # r2.2, r2.3, etc.

กำหนดค่าบิลด์

บิวด์ TensorFlow ได้รับการกำหนดค่าโดยไฟล์ .bazelrc ในไดเร็กทอรีรากของที่เก็บ คุณสามารถใช้สคริปต์ ./configure หรือ ./configure.py เพื่อปรับการตั้งค่าทั่วไปได้

โปรดเรียกใช้สคริปต์ ./configure จากไดเรกทอรีรากของที่เก็บ สคริปต์นี้จะแจ้งให้คุณทราบตำแหน่งของการขึ้นต่อกันของ TensorFlow และขอตัวเลือกการกำหนดค่าบิวด์เพิ่มเติม (เช่น แฟล็กคอมไพเลอร์) โปรดดูส่วน เซสชันตัวอย่าง สำหรับรายละเอียด

./configure

นอกจากนี้ยังมีเวอร์ชันหลามของสคริปต์นี้ . ./configure.py หากใช้สภาพแวดล้อมเสมือน python configure.py จะจัดลำดับความสำคัญของเส้นทางภายในสภาพแวดล้อม ในขณะที่ ./configure จะจัดลำดับความสำคัญของเส้นทางภายนอกสภาพแวดล้อม ในทั้งสองกรณี คุณสามารถเปลี่ยนค่าเริ่มต้นได้

เซสชันตัวอย่าง

ข้อมูลต่อไปนี้แสดงตัวอย่างการทำงานของสคริปต์ ./configure (เซสชันของคุณอาจแตกต่างกัน):

./configure
You have bazel 6.1.0 installed.
Please specify the location of python. [Default is /Library/Frameworks/Python.framework/Versions/3.9/bin/python3]: 


Found possible Python library paths:
  /Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages
Please input the desired Python library path to use.  Default is [/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages]

Do you wish to build TensorFlow with ROCm support? [y/N]:
No ROCm support will be enabled for TensorFlow.

Do you wish to build TensorFlow with CUDA support? [y/N]:
No CUDA support will be enabled for TensorFlow.

Do you want to use Clang to build TensorFlow? [Y/n]:
Clang will be used to compile TensorFlow.

Please specify the path to clang executable. [Default is /usr/lib/llvm-16/bin/clang]:

You have Clang 16.0.4 installed.

Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -Wno-sign-compare]:


Would you like to interactively configure ./WORKSPACE for Android builds? [y/N]: n
Not configuring the WORKSPACE for Android builds.

Do you wish to build TensorFlow with iOS support? [y/N]: n
No iOS support will be enabled for TensorFlow.

Preconfigured Bazel build configs. You can use any of the below by adding "--config=<>" to your build command. See .bazelrc for more details.
    --config=mkl            # Build with MKL support.
    --config=mkl_aarch64    # Build with oneDNN and Compute Library for the Arm Architecture (ACL).
    --config=monolithic     # Config for mostly static monolithic build.
    --config=numa           # Build with NUMA support.
    --config=dynamic_kernels    # (Experimental) Build kernels into separate shared objects.
    --config=v1             # Build with TensorFlow 1 API instead of TF 2 API.
Preconfigured Bazel build configs to DISABLE default on features:
    --config=nogcp          # Disable GCP support.
    --config=nonccl         # Disable NVIDIA NCCL support.

ตัวเลือกการกำหนดค่า

รองรับจีพียู

สำหรับ การรองรับ GPU ให้ตั้งค่า cuda=Y ระหว่างการกำหนดค่าและระบุเวอร์ชันของ CUDA และ cuDNN หากระบบของคุณมี CUDA หรือ cuDNN ติดตั้งไว้หลายเวอร์ชัน ให้ตั้งค่าเวอร์ชันอย่างชัดเจนแทนที่จะใช้ค่าเริ่มต้น ./configure จะสร้างลิงก์สัญลักษณ์ไปยังไลบรารี CUDA ของระบบของคุณ ดังนั้นหากคุณอัปเดตพาธไลบรารี CUDA ของคุณ ขั้นตอนการกำหนดค่านี้จะต้องดำเนินการอีกครั้งก่อนที่จะสร้าง

การเพิ่มประสิทธิภาพ

สำหรับแฟล็กการเพิ่มประสิทธิภาพการคอมไพล์ ค่าดีฟอลต์ ( -march=native ) จะปรับโค้ดที่สร้างขึ้นให้เหมาะสมสำหรับประเภท CPU ของเครื่องของคุณ อย่างไรก็ตาม หากสร้าง TensorFlow สำหรับ CPU ประเภทอื่น ให้พิจารณาแฟล็กการปรับให้เหมาะสมที่เฉพาะเจาะจงมากขึ้น ตรวจสอบ คู่มือ GCC เพื่อดูตัวอย่าง

การกำหนดค่าที่กำหนดไว้ล่วงหน้า

มีการกำหนดค่าบิลด์ที่กำหนดค่าไว้ล่วงหน้าบางส่วนที่สามารถเพิ่มลงในคำสั่ง bazel build ได้ เช่น:

• --config=dbg — สร้างด้วยข้อมูลการดีบัก ดู CONTRIBUTING.md สำหรับรายละเอียด
• --config=mkl —รองรับ Intel® MKL-DNN
• --config=monolithic —การกำหนดค่าสำหรับบิลด์เสาหินแบบคงที่เป็นส่วนใหญ่

สร้างและติดตั้งแพ็คเกจ pip

ตัวเลือกการสร้าง Bazel

อ้างอิงถึง การอ้างอิงบรรทัดคำสั่ง Bazel สำหรับ ตัวเลือกบิลด์

การสร้าง TensorFlow จากแหล่งที่มาสามารถใช้ RAM ได้จำนวนมาก หากระบบของคุณมีหน่วยความจำจำกัด ให้จำกัดการใช้ RAM ของ Bazel ด้วย: --local_ram_resources=2048

แพ็คเกจ TensorFlow อย่างเป็นทางการ สร้างขึ้นด้วย Clang toolchain ที่สอดคล้องกับมาตรฐานแพ็คเกจ manylinux2014

สร้างแพ็คเกจ

ในการสร้างแพ็คเกจ pip คุณต้องระบุ --repo_env=WHEEL_NAME flag ขึ้นอยู่กับชื่อที่ระบุ แพ็คเกจจะถูกสร้างขึ้น เช่น:

วิธีสร้างแพ็คเกจ CPU tensorflow:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow_cpu

วิธีสร้างแพ็คเกจ GPU tensorflow:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow --config=cuda

วิธีสร้างแพ็คเกจ TPU ของเทนเซอร์โฟลว์:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow_tpu --config=tpu

หากต้องการสร้างแพ็คเกจกลางคืน ให้ตั้งค่า tf_nightly แทน tensorflow เช่น สร้างแพ็คเกจ CPU ทุกคืน:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tf_nightly_cpu

เป็นผลให้ล้อที่สร้างขึ้นจะอยู่ใน

bazel-bin/tensorflow/tools/pip_package/wheel_house/

ติดตั้งแพ็คเกจ

ชื่อไฟล์ของไฟล์ .whl ที่สร้างขึ้นจะขึ้นอยู่กับเวอร์ชัน TensorFlow และแพลตฟอร์มของคุณ ใช้ pip install เพื่อติดตั้งแพ็คเกจ ตัวอย่างเช่น:

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Docker Linux สร้างขึ้น

อิมเมจการพัฒนา Docker ของ TensorFlow เป็นวิธีง่ายๆ ในการตั้งค่าสภาพแวดล้อมเพื่อสร้างแพ็คเกจ Linux จากแหล่งที่มา รูปภาพเหล่านี้มีซอร์สโค้ดและการขึ้นต่อกันที่จำเป็นในการสร้าง TensorFlow อยู่แล้ว ไปที่ คู่มือ TensorFlow Docker เพื่อดูคำแนะนำในการติดตั้งและ รายการแท็กรูปภาพที่มีอยู่

CPU เท่านั้น

ตัวอย่างต่อไปนี้ใช้อิมเมจ :devel เพื่อสร้างแพ็กเกจเฉพาะ CPU จากซอร์สโค้ด TensorFlow ล่าสุด ตรวจสอบ คู่มือนักเทียบท่า เพื่อดูแท็ก TensorFlow -devel ที่มีอยู่

ดาวน์โหลดอิมเมจการพัฒนาล่าสุดและเริ่มคอนเทนเนอร์ Docker ที่คุณจะใช้เพื่อสร้างแพ็คเกจ pip :

docker pull tensorflow/tensorflow:devel
docker run -it -w /tensorflow_src -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel bash

git pull  # within the container, download the latest source code

คำสั่ง docker run ด้านบนจะเริ่มต้นเชลล์ในไดเร็กทอรี /tensorflow_src ซึ่งเป็นรากของแผนผังต้นทาง โดยจะติดตั้งไดเร็กทอรีปัจจุบันของโฮสต์ในไดเร็กทอรี /mnt ของคอนเทนเนอร์ และส่งข้อมูลของผู้ใช้โฮสต์ไปยังคอนเทนเนอร์ผ่านตัวแปรสภาพแวดล้อม (ใช้เพื่อตั้งค่าการอนุญาต - นักเทียบท่าสามารถทำให้ยุ่งยากได้)

อีกทางหนึ่ง หากต้องการสร้างสำเนาโฮสต์ของ TensorFlow ภายในคอนเทนเนอร์ ให้ต่อเชื่อมแผนผังต้นทางโฮสต์ที่ไดเร็กทอรี /tensorflow ของคอนเทนเนอร์:

docker run -it -w /tensorflow -v /path/to/tensorflow:/tensorflow -v $PWD:/mnt \
    -e HOST_PERMS="\\((id -u):\\)(id -g)" tensorflow/tensorflow:devel bash

เมื่อตั้งค่าแผนผังต้นทางแล้ว ให้สร้างแพ็คเกจ TensorFlow ภายในสภาพแวดล้อมเสมือนของคอนเทนเนอร์:

1. ทางเลือก: กำหนดค่าบิลด์ ซึ่งจะแจ้งให้ผู้ใช้ตอบคำถามเกี่ยวกับการกำหนดค่าบิลด์
2. สร้างแพ็คเกจ pip
3. ปรับสิทธิ์การเป็นเจ้าของไฟล์สำหรับภายนอกคอนเทนเนอร์

./configure  # if necessary

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow_cpu --config=opt
`
chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

ติดตั้งและตรวจสอบบรรจุภัณฑ์ภายในคอนเทนเนอร์:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(tf.__version__)"

บนเครื่องโฮสต์ของคุณ แพ็คเกจ pip ของ TensorFlow อยู่ในไดเร็กทอรีปัจจุบัน (พร้อมสิทธิ์ผู้ใช้โฮสต์): ./tensorflow- version - tags .whl

รองรับจีพียู

Docker เป็นวิธีที่ง่ายที่สุดในการสร้างการรองรับ GPU สำหรับ TensorFlow เนื่องจากเครื่อง โฮสต์ ต้องการเพียง ไดรเวอร์ NVIDIA® เท่านั้น (ไม่จำเป็นต้องติดตั้ง NVIDIA® CUDA® Toolkit ) โปรดดู คู่มือสนับสนุน GPU และ คู่มือ TensorFlow Docker เพื่อตั้งค่า nvidia-docker (Linux เท่านั้น)

ตัวอย่างต่อไปนี้ดาวน์โหลดอิมเมจ TensorFlow :devel-gpu และใช้ nvidia-docker เพื่อเรียกใช้คอนเทนเนอร์ที่เปิดใช้งาน GPU อิมเมจการพัฒนานี้ได้รับการกำหนดค่าเพื่อสร้างแพ็คเกจ pip ที่รองรับ GPU:

docker pull tensorflow/tensorflow:devel-gpu
docker run --gpus all -it -w /tensorflow -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel-gpu bash
git pull  # within the container, download the latest source code

จากนั้น ภายในสภาพแวดล้อมเสมือนของคอนเทนเนอร์ ให้สร้างแพ็คเกจ TensorFlow ที่รองรับ GPU:

./configure  # if necessary

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow --config=cuda --config=opt

chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

ติดตั้งและตรวจสอบแพ็คเกจภายในคอนเทนเนอร์และตรวจสอบ GPU:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(\"Num GPUs Available: \", len(tf.config.list_physical_devices('GPU')))"

ทดสอบการกำหนดค่าบิลด์แล้ว

ลินุกซ์

ซีพียู

จีพียู

ระบบปฏิบัติการ macOS

ซีพียู

จีพียู