Kompilasi silang TensorFlow Lite dengan CMake

Halaman ini menjelaskan cara membuat library TensorFlow Lite untuk berbagai perangkat ARM.

Petunjuk berikut telah diuji pada Ubuntu 16.04.3 64-bit PC (AMD64), TensorFlow devel docker image tensorflow/tensorflow:devel .

Prasyarat

Anda perlu menginstal dan mendownload kode sumber TensorFlow CMake. Silakan periksa halaman Build TensorFlow Lite dengan CMake untuk detailnya.

Periksa lingkungan target Anda

Contoh berikut diuji di bawah Raspberry Pi OS, Ubuntu Server 20.04 LTS dan Mendel Linux 4.0. Bergantung pada versi glibc target dan kemampuan CPU Anda, Anda mungkin perlu menggunakan versi toolchain dan parameter build yang berbeda.

Memeriksa versi glibc

ldd --version
ldd (Debian GLIBC 2.28-10) 2.28
Copyright (C) 2018 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
Written by Roland McGrath and Ulrich Drepper.

Memeriksa kompatibilitas ABI

Jika target Anda adalah ARM 32-bit, ada dua ABI yang tersedia tergantung pada ketersediaan VFP. armhf dan armel . Dokumen ini menunjukkan contoh armhf, Anda perlu menggunakan toolchain yang berbeda untuk target armel.

Memeriksa kemampuan CPU

Untuk ARMv7, Anda harus mengetahui versi VFP yang didukung target dan ketersediaan NEON.

cat /proc/cpuinfo
processor   : 0
model name  : ARMv7 Processor rev 3 (v7l)
BogoMIPS    : 108.00
Features    : half thumb fastmult vfp edsp neon vfpv3 tls vfpv4 idiva idivt vfpd32 lpae evtstrm crc32
CPU implementer : 0x41
CPU architecture: 7
CPU variant : 0x0
CPU part    : 0xd08
CPU revision    : 3

Bangun untuk AArch64 (ARM64)

Instruksi ini menunjukkan bagaimana membangun biner AArch64 yang kompatibel dengan Coral Mendel Linux 4.0 , Raspberry Pi (dengan Ubuntu Server 20.04.01 LTS 64-bit terinstal).

Unduh rantai alat

Perintah ini menginstal gcc-arm-8.3-2019.03-x86_64-aarch64-linux-gnu toolchain di bawah ${HOME}/toolchains.

curl -LO https://storage.googleapis.com/mirror.tensorflow.org/developer.arm.com/media/Files/downloads/gnu-a/8.3-2019.03/binrel/gcc-arm-8.3-2019.03-x86_64-aarch64-linux-gnu.tar.xz
mkdir -p ${HOME}/toolchains
tar xvf gcc-arm-8.3-2019.03-x86_64-aarch64-linux-gnu.tar.xz -C ${HOME}/toolchains

Jalankan CMake

ARMCC_PREFIX=${HOME}/toolchains/gcc-arm-8.3-2019.03-x86_64-aarch64-linux-gnu/bin/aarch64-linux-gnu-
ARMCC_FLAGS="-funsafe-math-optimizations"
cmake -DCMAKE_C_COMPILER=${ARMCC_PREFIX}gcc \
  -DCMAKE_CXX_COMPILER=${ARMCC_PREFIX}g++ \
  -DCMAKE_C_FLAGS="${ARMCC_FLAGS}" \
  -DCMAKE_CXX_FLAGS="${ARMCC_FLAGS}" \
  -DCMAKE_VERBOSE_MAKEFILE:BOOL=ON \
  -DCMAKE_SYSTEM_NAME=Linux \
  -DCMAKE_SYSTEM_PROCESSOR=aarch64 \
  ../tensorflow/lite/

Bangun untuk ARMv7 NEON diaktifkan

Instruksi ini menunjukkan cara membangun ARMv7 dengan biner berkemampuan VFPv4 dan NEON yang kompatibel dengan Raspberry Pi 3 dan 4.

Unduh rantai alat

Perintah ini menginstal gcc-arm-8.3-2019.03-x86_64-arm-linux-gnueabihf toolchain di bawah ${HOME}/toolchains.

curl -LO https://storage.googleapis.com/mirror.tensorflow.org/developer.arm.com/media/Files/downloads/gnu-a/8.3-2019.03/binrel/gcc-arm-8.3-2019.03-x86_64-arm-linux-gnueabihf.tar.xz
mkdir -p ${HOME}/toolchains
tar xvf gcc-arm-8.3-2019.03-x86_64-arm-linux-gnueabihf.tar.xz -C ${HOME}/toolchains

Jalankan CMake

ARMCC_FLAGS="-march=armv7-a -mfpu=neon-vfpv4 -funsafe-math-optimizations -mfp16-format=ieee"
ARMCC_PREFIX=${HOME}/toolchains/gcc-arm-8.3-2019.03-x86_64-arm-linux-gnueabihf/bin/arm-linux-gnueabihf-
cmake -DCMAKE_C_COMPILER=${ARMCC_PREFIX}gcc \
  -DCMAKE_CXX_COMPILER=${ARMCC_PREFIX}g++ \
  -DCMAKE_C_FLAGS="${ARMCC_FLAGS}" \
  -DCMAKE_CXX_FLAGS="${ARMCC_FLAGS}" \
  -DCMAKE_VERBOSE_MAKEFILE:BOOL=ON \
  -DCMAKE_SYSTEM_NAME=Linux \
  -DCMAKE_SYSTEM_PROCESSOR=armv7 \
  ../tensorflow/lite/

Membangun untuk Raspberry Pi Zero (ARMv6)

Instruksi ini menunjukkan bagaimana membangun biner ARMv6 yang kompatibel dengan Raspberry Pi Zero.

Unduh rantai alat

Perintah ini menginstal arm-rpi-linux-gnueabihf toolchain di bawah ${HOME}/toolchains.

curl -L https://github.com/rvagg/rpi-newer-crosstools/archive/eb68350c5c8ec1663b7fe52c742ac4271e3217c5.tar.gz -o rpi-toolchain.tar.gz
tar xzf rpi-toolchain.tar.gz -C ${HOME}/toolchains
mv ${HOME}/toolchains/rpi-newer-crosstools-eb68350c5c8ec1663b7fe52c742ac4271e3217c5 ${HOME}/toolchains/arm-rpi-linux-gnueabihf

Jalankan CMake

ARMCC_PREFIX=${HOME}/toolchains/arm-rpi-linux-gnueabihf/x64-gcc-6.5.0/arm-rpi-linux-gnueabihf/bin/arm-rpi-linux-gnueabihf-
ARMCC_FLAGS="-march=armv6 -mfpu=vfp -funsafe-math-optimizations"
cmake -DCMAKE_C_COMPILER=${ARMCC_PREFIX}gcc \
  -DCMAKE_CXX_COMPILER=${ARMCC_PREFIX}g++ \
  -DCMAKE_C_FLAGS="${ARMCC_FLAGS}" \
  -DCMAKE_CXX_FLAGS="${ARMCC_FLAGS}" \
  -DCMAKE_VERBOSE_MAKEFILE:BOOL=ON \
  -DCMAKE_SYSTEM_NAME=Linux \
  -DCMAKE_SYSTEM_PROCESSOR=armv6 \
  -DTFLITE_ENABLE_XNNPACK=OFF \
  ../tensorflow/lite/