نشكرك على متابعة Google I / O. عرض جميع الجلسات عند الطلب مشاهدة عند الطلب

خارطة طريق TensorFlow Lite

تم التحديث: مايو 2021

يمثل ما يلي نظرة عامة عالية المستوى على خريطة الطريق الخاصة بنا. يجب أن تدرك أن خارطة الطريق هذه قد تتغير في أي وقت وأن الترتيب أدناه لا يعكس أي نوع من الأولوية.

نقسم خارطة الطريق الخاصة بنا إلى أربعة قطاعات رئيسية: قابلية الاستخدام والأداء والتحسين وقابلية النقل. ونحن نحثكم على التعليق على خارطة الطريق لدينا وتوفر لنا ردود الفعل في مجموعة مناقشة TensorFlow لايت .

سهولة الاستخدام

  • توسيع تغطية العمليات
    • أضف العمليات المستهدفة بناءً على ملاحظات المستخدم.
    • أضف مجموعات العمليات المستهدفة لمجالات ومناطق محددة بما في ذلك العمليات العشوائية ، وعمليات طبقة Keras الأساسية ، وجداول التجزئة ، وعمليات التدريب المحددة.
  • المزيد من الأدوات المساعدة
    • قم بتوفير التعليقات التوضيحية للرسم البياني TensorFlow وأدوات التوافق للتحقق من توافق TFLite ومسرع الأجهزة أثناء التدريب وبعد التحويل.
    • السماح بالاستهداف والتحسين لمسرعات معينة أثناء التحويل.
  • التدريب على الجهاز
    • دعم التدريب على الجهاز لإضفاء الطابع الشخصي ونقل التعلم ، بما في ذلك Colab الذي يوضح الاستخدام الشامل.
    • دعم أنواع المتغيرات / الموارد (سواء للاستدلال أو التدريب)
    • دعم تحويل وتنفيذ الرسوم البيانية باستخدام نقاط دخول متعددة الوظائف (أو التوقيع).
  • تكامل Android Studio المحسن
    • قم بسحب وإسقاط نماذج TFLite في Android Studio لإنشاء واجهات نموذجية.
    • تحسين دعم ملف تعريف Android Studio ، بما في ذلك تحديد سمات الذاكرة.
  • صانع نموذج
    • دعم المهام الأحدث ، بما في ذلك اكتشاف الكائنات والتوصية وتصنيف الصوت ، والتي تغطي مجموعة واسعة من الاستخدامات الشائعة.
    • دعم المزيد من مجموعات البيانات لتسهيل عملية النقل.
  • مكتبة المهام
    • دعم المزيد من أنواع النماذج (على سبيل المثال ، الصوت ، البرمجة اللغوية العصبية) مع إمكانيات المعالجة السابقة واللاحقة.
    • قم بتحديث المزيد من الأمثلة المرجعية باستخدام واجهات برمجة تطبيقات المهام.
    • دعم التسريع الجاهز لجميع المهام.
  • المزيد من نماذج وأمثلة سوتا
    • أضف المزيد من الأمثلة (مثل الصوت ، ومعالجة اللغة الطبيعية ، وبيانات البنية ذات الصلة) لتوضيح استخدام النموذج بالإضافة إلى الميزات الجديدة وواجهات برمجة التطبيقات التي تغطي منصات مختلفة.
    • أنشئ نماذج أساسية قابلة للمشاركة على الجهاز لتقليل تكاليف التدريب والنشر.
  • نشر سلس عبر منصات متعددة
    • قم بتشغيل نماذج TensorFlow Lite على الويب.
  • تحسين الدعم عبر الأنظمة الأساسية
    • قم بتوسيع وتحسين واجهات برمجة التطبيقات لـ Java على Android و Swift على iOS و Python على RPi.
    • تعزيز دعم CMake (على سبيل المثال ، دعم مسرع أوسع).
  • دعم أفضل للواجهة الأمامية
    • تحسين التوافق مع واجهات تأليف مختلفة ، بما في ذلك Keras و tf.numpy.

أداء

  • أدوات أفضل
    • لوحة تحكم عامة لتتبع مكاسب الأداء مع كل إصدار.
    • الأدوات لفهم توافق الرسم البياني بشكل أفضل مع مسرعات الهدف.
  • تحسين أداء وحدة المعالجة المركزية
    • يتم تمكين XNNPack افتراضيًا لاستدلال النقطة العائمة بشكل أسرع.
    • دعم نصف دقيق من طرف إلى طرف (float16) مع نواة محسّنة.
  • تحديث دعم NN API
    • دعم كامل لإصدار Android الأحدث من ميزات NN API وعملياتها وأنواعها.
  • تحسينات GPU
    • تحسين وقت بدء التشغيل مع دعم تسلسل المفوض.
    • تداخل المخزن المؤقت للأجهزة للاستدلال بنسخة صفرية.
    • إتاحة أكبر للتسريع على الجهاز.
    • تغطية عملية أفضل.

الاقوي

  • توضيح

    • التكميم الانتقائي بعد التدريب لاستبعاد طبقات معينة من التكميم.
    • مصحح أخطاء التكميم لفحص خسائر خطأ التكميم لكل طبقة.
    • تطبيق تدريب مدرك للتكميم على المزيد من تغطية النموذج ، مثل TensorFlow Model Garden.
    • تحسينات الجودة والأداء لتقدير النطاق الديناميكي بعد التدريب.
    • Tensor Compression API للسماح بخوارزميات الضغط مثل SVD.
  • تقليم / تناثر

    • اجمع بين واجهات برمجة التطبيقات لوقت التدريب القابل للتكوين (التقليم + التدريب المدرك للتكميم).
    • زيادة تطبيق spness على نماذج TF Model Garden.
    • دعم تنفيذ نموذج متفرق في TensorFlow Lite.

قابلية التنقل

  • دعم متحكم
    • أضف دعمًا لمجموعة من حالات استخدام بنية MCU 32 بت لتصنيف الكلام والصورة.
    • الواجهة الصوتية: دعم المعالجة المسبقة للصوت والتسريع داخل الرسم البياني
    • عينة كود ونماذج للرؤية والبيانات الصوتية.