TensorFlow operatörlerini seçin

TensorFlow Lite yerleşik operatör kitaplığı yalnızca sınırlı sayıda TensorFlow operatörünü desteklediğinden, her model dönüştürülebilir değildir. Ayrıntılar için operatör uyumluluğuna bakın.

Dönüşüme izin vermek için kullanıcılar, TensorFlow Lite modellerinde belirli TensorFlow operasyonlarının kullanımını etkinleştirebilir. Bununla birlikte, TensorFlow Lite modellerini TensorFlow operasyonlarıyla çalıştırmak, TensorFlow Lite yorumlayıcı ikili boyutunu artıran çekirdek TensorFlow çalışma zamanını çekmeyi gerektirir. Android için, yalnızca gerekli Tensorflow operasyonlarını seçerek oluşturarak bunu önleyebilirsiniz. Ayrıntılar için ikili boyutu küçültme bölümüne bakın.

Bu belge, seçtiğiniz bir platformda TensorFlow operasyonlarını içeren bir TensorFlow Lite modelinin nasıl dönüştürüleceğini ve çalıştırılacağını açıklamaktadır. Ayrıca performans ve boyut ölçüleri ile bilinen sınırlamaları da tartışır.

Bir modeli dönüştürün

Aşağıdaki örnek, belirli TensorFlow operasyonlarıyla bir TensorFlow Lite modelinin nasıl oluşturulacağını gösterir.

import tensorflow as tf

converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter.target_spec.supported_ops = [
  tf.lite.OpsSet.TFLITE_BUILTINS, # enable TensorFlow Lite ops.
  tf.lite.OpsSet.SELECT_TF_OPS # enable TensorFlow ops.
]
tflite_model = converter.convert()
open("converted_model.tflite", "wb").write(tflite_model)

Çıkarımı Çalıştır

Belirli TensorFlow operasyonları desteğiyle dönüştürülmüş bir TensorFlow Lite modeli kullanırken, istemci ayrıca gerekli TensorFlow operasyonları kitaplığını içeren bir TensorFlow Lite çalışma zamanı kullanmalıdır.

Android AAR

İkili boyutu küçültmek için, lütfen bir sonraki bölümde yönlendirildiği gibi kendi özel AAR dosyalarınızı oluşturun. İkili boyut önemli bir endişe değilse , MavenCentral'da barındırılan TensorFlow operasyonlarıyla önceden oluşturulmuş AAR'yi kullanmanızı öneririz.

Bunu, standart TensorFlow Lite AAR'ın yanına aşağıdaki gibi ekleyerek build.gradle bağımlılıklarınızda belirtebilirsiniz:

dependencies {
    implementation 'org.tensorflow:tensorflow-lite:0.0.0-nightly-SNAPSHOT'
    // This dependency adds the necessary TF op support.
    implementation 'org.tensorflow:tensorflow-lite-select-tf-ops:0.0.0-nightly-SNAPSHOT'
}

Gecelik anlık görüntüleri kullanmak için Sonatype anlık görüntü deposunu eklediğinizden emin olun.

Bağımlılığı ekledikten sonra, grafiğin TensorFlow işlemlerini işlemek için gerekli temsilci, bunları gerektiren grafikler için otomatik olarak yüklenmelidir.

android {
    defaultConfig {
        ndk {
            abiFilters 'armeabi-v7a', 'arm64-v8a'
        }
    }
}

Android AAR'ı Oluşturma

İkili boyutu veya diğer gelişmiş durumları azaltmak için kitaplığı manuel olarak da oluşturabilirsiniz. Çalışan bir TensorFlow Lite oluşturma ortamı olduğunu varsayarak, Android AAR'yi belirli TensorFlow operasyonlarıyla aşağıdaki gibi oluşturun:

sh tensorflow/lite/tools/build_aar.sh \
  --input_models=/a/b/model_one.tflite,/c/d/model_two.tflite \
  --target_archs=x86,x86_64,arm64-v8a,armeabi-v7a

Bu, TensorFlow Lite yerleşik ve özel işlemler için bazel-bin/tmp/tensorflow-lite.aar AAR dosyasını oluşturacaktır; ve TensorFlow işlemleri için bazel-bin/tmp/tensorflow-lite-select-tf-ops.aar AAR dosyasını oluşturun. Çalışan bir yapı ortamınız yoksa , docker ile yukarıdaki dosyaları da oluşturabilirsiniz .

Buradan, AAR dosyalarını doğrudan projenize aktarabilir veya özel AAR dosyalarını yerel Maven deponuzda yayınlayabilirsiniz:

mvn install:install-file \
  -Dfile=bazel-bin/tmp/tensorflow-lite.aar \
  -DgroupId=org.tensorflow \
  -DartifactId=tensorflow-lite -Dversion=0.1.100 -Dpackaging=aar
mvn install:install-file \
  -Dfile=bazel-bin/tmp/tensorflow-lite-select-tf-ops.aar \
  -DgroupId=org.tensorflow \
  -DartifactId=tensorflow-lite-select-tf-ops -Dversion=0.1.100 -Dpackaging=aar

Son olarak, uygulamanızın build.gradle mavenLocal() bağımlılığına sahip olduğunuzdan emin olun ve standart TensorFlow Lite bağımlılığını belirli TensorFlow işlemlerini destekleyen bir bağımlılıkla değiştirin:

allprojects {
    repositories {
        mavenCentral()
        maven {  // Only for snapshot artifacts
            name 'ossrh-snapshot'
            url 'https://oss.sonatype.org/content/repositories/snapshots'
        }
        mavenLocal()
    }
}

dependencies {
    implementation 'org.tensorflow:tensorflow-lite:0.1.100'
    implementation 'org.tensorflow:tensorflow-lite-select-tf-ops:0.1.100'
}

iOS

CocoaPod'ları Kullanma

TensorFlow Lite, TensorFlowLiteSwift veya TensorFlowLiteObjC CocoaPod'ların yanı sıra güvenebileceğiniz arm64 için her gece önceden oluşturulmuş seçili TF operasyonları CocoaPod'ları sağlar.

# In your Podfile target:
  pod 'TensorFlowLiteSwift'   # or 'TensorFlowLiteObjC'
  pod 'TensorFlowLiteSelectTfOps', '~> 0.0.1-nightly'

pod install çalıştırdıktan sonra, seçili TF ops çerçevesini projenize yüklemeye zorlamak için ek bir bağlayıcı bayrağı sağlamanız gerekir. Xcode projenizde Build Settings -> Other Linker Flags seçeneğine gidin ve şunu ekleyin:

>= 2.9.0 sürümleri için:

-force_load $(SRCROOT)/Pods/TensorFlowLiteSelectTfOps/Frameworks/TensorFlowLiteSelectTfOps.xcframework/ios-arm64/TensorFlowLiteSelectTfOps.framework/TensorFlowLiteSelectTfOps

< 2.9.0 sürümleri için:

-force_load $(SRCROOT)/Pods/TensorFlowLiteSelectTfOps/Frameworks/TensorFlowLiteSelectTfOps.framework/TensorFlowLiteSelectTfOps

Ardından, iOS uygulamanızda SELECT_TF_OPS ile dönüştürülmüş tüm modelleri çalıştırabilmeniz gerekir. Örneğin, Select TF ops özelliğini test etmek için Image Classification iOS uygulamasını değiştirebilirsiniz.

• Model dosyasını, SELECT_TF_OPS etkinken dönüştürülmüş olanla değiştirin.
• TensorFlowLiteSelectTfOps bağımlılığını talimat verildiği şekilde Podfile dosyasına ekleyin.
• Ek bağlayıcı bayrağını yukarıdaki gibi ekleyin.
• Örnek uygulamayı çalıştırın ve modelin doğru çalışıp çalışmadığını görün.

Bazel + Xcode'u Kullanma

iOS için belirli TensorFlow operasyonlarına sahip TensorFlow Lite, Bazel kullanılarak oluşturulabilir. İlk olarak, Bazel çalışma alanınızı ve .bazelrc dosyanızı doğru şekilde yapılandırmak için iOS oluşturma talimatlarını izleyin.

Çalışma alanını iOS desteği etkin olarak yapılandırdıktan sonra, normal TensorFlowLiteC.framework üzerine eklenebilen seçkin TF ops eklenti çerçevesini oluşturmak için aşağıdaki komutu kullanabilirsiniz. Select TF ops çerçevesinin i386 mimarisi için oluşturulamayacağını unutmayın, bu nedenle i386 dışındaki hedef mimarilerin listesini açıkça sağlamanız gerekir.

bazel build -c opt --config=ios --ios_multi_cpus=arm64,x86_64 \
  //tensorflow/lite/ios:TensorFlowLiteSelectTfOps_framework

Bu, çerçeveyi bazel-bin/tensorflow/lite/ios/ dizini altında oluşturacaktır. iOS derleme kılavuzundaki Xcode proje ayarları bölümünde açıklanan benzer adımları izleyerek bu yeni çerçeveyi Xcode projenize ekleyebilirsiniz.

Çerçeveyi uygulama projenize ekledikten sonra, seçilen TF operasyon çerçevesini zorlamak için uygulama projenizde ek bir bağlayıcı bayrağı belirtilmelidir. Xcode projenizde Build Settings -> Other Linker Flags seçeneğine gidin ve şunu ekleyin:

-force_load <path/to/your/TensorFlowLiteSelectTfOps.framework/TensorFlowLiteSelectTfOps>

C/C++

TensorFlow Lite yorumlayıcısını oluşturmak için Bazel veya CMake kullanıyorsanız, bir TensorFlow Lite Flex temsilci paylaşılan kitaplığını bağlayarak Flex temsilcisini etkinleştirebilirsiniz. Aşağıdaki komut olarak Bazel ile kurabilirsiniz.

bazel build -c opt --config=monolithic tensorflow/lite/delegates/flex:tensorflowlite_flex

Bu komut, bazel-bin/tensorflow/lite/delegates/flex içinde aşağıdaki paylaşılan kitaplığı oluşturur.

Paylaşılan kitaplık bağlantılı olduğu sürece, çalışma zamanında yorumlayıcı oluşturulurken gerekli TfLiteDelegate otomatik olarak kurulacağını unutmayın. Diğer temsilci türlerinde genellikle gerektiği gibi temsilci örneğini açıkça yüklemek gerekli değildir.

piton

Belirli TensorFlow operasyonlarına sahip TensorFlow Lite, TensorFlow pip paketi ile otomatik olarak kurulacaktır. Ayrıca yalnızca TensorFlow Lite Interpreter pip paketini kurmayı da seçebilirsiniz.

Metrikler

Verim

Hem yerleşik hem de seçili TensorFlow işlemlerinin bir karışımını kullanırken, aynı TensorFlow Lite optimizasyonlarının ve optimize edilmiş yerleşik işlemlerin tümü dönüştürülen modelle kullanılabilir ve kullanılabilir olacaktır.

Aşağıdaki tablo, bir Pixel 2'de MobileNet'te çıkarımı çalıştırmak için geçen ortalama süreyi açıklamaktadır. Listelenen süreler, ortalama 100 çalıştırmadır. Bu hedefler Android için şu bayraklar kullanılarak oluşturulmuştur: --config=android_arm64 -c opt .

ikili boyut

Aşağıdaki tabloda, her yapı için TensorFlow Lite'ın ikili boyutu açıklanmaktadır. Bu hedefler Android için --config=android_arm -c opt kullanılarak oluşturulmuştur.

(1) Bu kitaplıklar, 8 TFLite yerleşik ops ve 3 Tensorflow ops ile i3d-kinetics-400 modeli için seçici olarak oluşturulmuştur. Daha fazla ayrıntı için lütfen TensorFlow Lite ikili boyutunu küçültme bölümüne bakın.

Bilinen sınırlamalar

• Desteklenmeyen türler: Belirli TensorFlow işlemleri, tipik olarak TensorFlow'da bulunan giriş/çıkış türlerinin tamamını desteklemeyebilir.

Güncellemeler

• Sürüm 2.6
  • GraphDef özniteliği tabanlı operatörler ve HashTable kaynak başlatmaları için destekler iyileştirildi.
• Sürüm 2.5
  • Eğitim sonrası niceleme olarak bilinen bir optimizasyon uygulayabilirsiniz.
• Sürüm 2.4
  • Donanım hızlandırmalı delegelerle uyumluluk geliştirildi