ترجمت واجهة Cloud Translation API‏ هذه الصفحة.
Switch to English

باستخدام تجميع AOT

ما هو tfcompile؟

tfcompile هي أداة قائمة بذاتها تقوم بتجميع الرسوم البيانية لـ TensorFlow في تعليمات برمجية قابلة للتنفيذ. يمكن أن يقلل من الحجم الثنائي الإجمالي ، وكذلك تجنب بعض النفقات العامة لوقت التشغيل. حالة الاستخدام النموذجي لـ tfcompile هي تجميع رسم بياني للاستدلال في رمز قابل للتنفيذ للأجهزة المحمولة.

يتم تنفيذ الرسم البياني TensorFlow عادة بواسطة وقت تشغيل TensorFlow. يؤدي هذا إلى تحميل بعض وقت التشغيل لتنفيذ كل عقدة في الرسم البياني. يؤدي هذا أيضًا إلى حجم ثنائي إجمالي أكبر ، حيث يجب أن يكون رمز وقت تشغيل TensorFlow متاحًا ، بالإضافة إلى الرسم البياني نفسه. رمز قابل للتنفيذ التي تنتجها tfcompile لا يستخدم وقت TensorFlow، ولها تبعيات على حبات التي تستخدم فعلا في حساب فقط.

تم بناء المحول البرمجي في أعلى إطار عمل XLA. الكود الذي يربط TensorFlow بإطار XLA موجود تحت tensorflow / compiler .

ماذا تفعل tfcompile؟

يأخذ tfcompile ، تم تحديده من خلال مفاهيم TensorFlow للأعلاف والجلب ، ويولد وظيفة تنفذ هذا الرسم الفرعي. feeds هي وسائط الإدخال للدالة ، fetches هي وسائط الإخراج للدالة. يجب تحديد جميع المدخلات بالكامل من خلال الخلاصات ؛ لا يمكن أن يحتوي الرسم الفرعي المشذب الناتج على عنصر نائب أو عقد متغيرة. من الشائع تحديد جميع العناصر النائبة والمتغيرات كخلاصات ، مما يضمن أن المخطط الفرعي الناتج لم يعد يحتوي على هذه العقد. يتم تجميع الوظيفة التي تم إنشاؤها كملف cc_library ، مع ملف رأس يقوم بتصدير توقيع الوظيفة ، وملف كائن يحتوي على التنفيذ. يكتب المستخدم التعليمات البرمجية لاستدعاء الوظيفة التي تم إنشاؤها حسب الاقتضاء.

باستخدام tfcompile

يفصل هذا القسم خطوات عالية المستوى لتوليد ثنائي قابل للتنفيذ مع tfcompile من مخطط فرعي TensorFlow. الخطوات هي:

  • الخطوة 1: تكوين الرسم البياني للترجمة
  • الخطوة 2: استخدام الماكرو بناء tf_library لتجميع tf_library الفرعي
  • الخطوة 3: كتابة كود لاستدعاء الرسم البياني
  • الخطوة 4: إنشاء ثنائي النهائي

الخطوة 1: تكوين الرسم البياني للترجمة

حدد الخلاصات والجلبات التي تتوافق مع وسائط الإدخال والإخراج للدالة التي تم إنشاؤها. ثم تكوين feeds و fetches في tensorflow.tf2xla.Config بروتو.

 # Each feed is a positional input argument for the generated function.  The order
# of each entry matches the order of each input argument.  Here “x_hold” and “y_hold”
# refer to the names of placeholder nodes defined in the graph.
feed {
  id { node_name: "x_hold" }
  shape {
    dim { size: 2 }
    dim { size: 3 }
  }
}
feed {
  id { node_name: "y_hold" }
  shape {
    dim { size: 3 }
    dim { size: 2 }
  }
}

# Each fetch is a positional output argument for the generated function.  The order
# of each entry matches the order of each output argument.  Here “x_y_prod”
# refers to the name of a matmul node defined in the graph.
fetch {
  id { node_name: "x_y_prod" }
}
 

الخطوة 2: استخدام الماكرو بناء tf_library لتجميع subgraph

تقوم هذه الخطوة بتحويل الرسم البياني إلى cc_library باستخدام ماكرو بناء tf_library . تتكون cc_library من ملف كائن يحتوي على رمز تم إنشاؤه من الرسم البياني ، إلى جانب ملف رأس يمنح الوصول إلى التعليمات البرمجية التي تم إنشاؤها. tf_library متنفع tfcompile لتجميع الرسم البياني TensorFlow إلى رمز قابل للتنفيذ.

 load("//tensorflow/compiler/aot:tfcompile.bzl", "tf_library")

# Use the tf_library macro to compile your graph into executable code.
tf_library(
    # name is used to generate the following underlying build rules:
    # <name>           : cc_library packaging the generated header and object files
    # <name>_test      : cc_test containing a simple test and benchmark
    # <name>_benchmark : cc_binary containing a stand-alone benchmark with minimal deps;
    #                    can be run on a mobile device
    name = "test_graph_tfmatmul",
    # cpp_class specifies the name of the generated C++ class, with namespaces allowed.
    # The class will be generated in the given namespace(s), or if no namespaces are
    # given, within the global namespace.
    cpp_class = "foo::bar::MatMulComp",
    # graph is the input GraphDef proto, by default expected in binary format.  To
    # use the text format instead, just use the ‘.pbtxt’ suffix.  A subgraph will be
    # created from this input graph, with feeds as inputs and fetches as outputs.
    # No Placeholder or Variable ops may exist in this subgraph.
    graph = "test_graph_tfmatmul.pb",
    # config is the input Config proto, by default expected in binary format.  To
    # use the text format instead, use the ‘.pbtxt’ suffix.  This is where the
    # feeds and fetches were specified above, in the previous step.
    config = "test_graph_tfmatmul.config.pbtxt",
)
 

لإنشاء Proto GraphDef (test_graph_tfmatmul.pb) لهذا المثال ، قم بتشغيل make_test_graphs.py وحدد موقع الإخراج بعلامة --out_dir.

تحتوي الرسوم البيانية النموذجية على Variables تمثل الأوزان التي يتم تعلمها من خلال التدريب ، ولكن لا يمكن ل tfcompile ترجمة رسم فرعي يحتوي على Variables . تحول أداة freeze_graph.py المتغيرات إلى ثوابت ، باستخدام القيم المخزنة في ملف نقاط التحقق. للسهولة، و tf_library ماكرو يدعم freeze_checkpoint الحجة، التي تدير الأداة. لمزيد من الأمثلة انظر tensorflow / compiler / aot / اختبارات / BUILD .

يتم تجميع الثوابت التي تظهر في الرسم الفرعي المترجم مباشرة في التعليمات البرمجية التي تم إنشاؤها. لتمرير الثوابت إلى الوظيفة التي تم إنشاؤها ، بدلاً من تجميعها ، قم ببساطة بتمريرها كخلاصات.

للحصول على تفاصيل حول ماكرو إنشاء tf_library ، راجع tfcompile.bzl .

للحصول على تفاصيل حول أداة tfcompile الأساسية ، راجع tfcompile_main.cc .

الخطوة 3: كتابة كود لاستدعاء الرسم البياني

تستخدم هذه الخطوة ملف الرأس ( test_graph_tfmatmul.h ) الذي تم إنشاؤه بواسطة الماكرو بناء tf_library في الخطوة السابقة لاستدعاء التعليمات البرمجية التي تم إنشاؤها. يوجد ملف الرأس في دليل bazel-bin المطابق لحزمة tf_library ، ويتم تسميته بناءً على سمة الاسم tf_library ماكرو بناء tf_library . على سبيل المثال ، الرأس الذي تم إنشاؤه لـ test_graph_tfmatmul سيكون test_graph_tfmatmul.h . فيما يلي نسخة مختصرة مما تم إنشاؤه. يحتوي الملف الذي تم إنشاؤه ، في bazel-bin ، على تعليقات مفيدة إضافية.

 namespace foo {
namespace bar {

// MatMulComp represents a computation previously specified in a
// TensorFlow graph, now compiled into executable code.
class MatMulComp {
 public:
  // AllocMode controls the buffer allocation mode.
  enum class AllocMode {
    ARGS_RESULTS_AND_TEMPS,  // Allocate arg, result and temp buffers
    RESULTS_AND_TEMPS_ONLY,  // Only allocate result and temp buffers
  };

  MatMulComp(AllocMode mode = AllocMode::ARGS_RESULTS_AND_TEMPS);
  ~MatMulComp();

  // Runs the computation, with inputs read from arg buffers, and outputs
  // written to result buffers. Returns true on success and false on failure.
  bool Run();

  // Arg methods for managing input buffers. Buffers are in row-major order.
  // There is a set of methods for each positional argument.
  void** args();

  void set_arg0_data(float* data);
  float* arg0_data();
  float& arg0(size_t dim0, size_t dim1);

  void set_arg1_data(float* data);
  float* arg1_data();
  float& arg1(size_t dim0, size_t dim1);

  // Result methods for managing output buffers. Buffers are in row-major order.
  // Must only be called after a successful Run call. There is a set of methods
  // for each positional result.
  void** results();


  float* result0_data();
  float& result0(size_t dim0, size_t dim1);
};

}  // end namespace bar
}  // end namespace foo
 

تسمى فئة C ++ التي تم MatMulComp في مساحة الاسم foo::bar ، لأن ذلك كان cpp_class المحدد في الماكرو tf_library . جميع الفئات التي تم إنشاؤها لها واجهة برمجة تطبيقات مماثلة ، والفرق الوحيد هو طرق التعامل مع المخازن المؤقتة للنتائج والنتائج. هذه الأساليب تختلف بناء على عدد وأنواع المخازن المؤقتة، التي تم تحديدها من قبل feed و fetch الحجج ل tf_library الماكرو.

هناك ثلاثة أنواع من المخازن المؤقتة المدارة ضمن الفئة التي تم إنشاؤها: args تمثل المدخلات ، results تمثل المخرجات ، temps تمثل المخازن المؤقتة المؤقتة المستخدمة داخليًا لإجراء الحساب. بشكل افتراضي ، يخصص كل مثيل من الفئة التي تم إنشاؤها ويدير كل هذه المخازن المؤقتة نيابةً عنك. قد يتم استخدام وسيطة مُنشئ AllocMode لتغيير هذا السلوك. تتم محاذاة كافة المخازن المؤقتة إلى حدود 64 بايت.

فئة C ++ التي تم إنشاؤها هي مجرد غلاف حول رمز المستوى المنخفض الذي تم إنشاؤه بواسطة XLA.

مثال لاستدعاء الوظيفة التي تم إنشاؤها بناءً على tfcompile_test.cc :

 #define EIGEN_USE_THREADS
#define EIGEN_USE_CUSTOM_THREAD_POOL

#include <iostream>
#include "third_party/eigen3/unsupported/Eigen/CXX11/Tensor"
#include "tensorflow/compiler/aot/tests/test_graph_tfmatmul.h" // generated

int main(int argc, char** argv) {
  Eigen::ThreadPool tp(2);  // Size the thread pool as appropriate.
  Eigen::ThreadPoolDevice device(&tp, tp.NumThreads());


  foo::bar::MatMulComp matmul;
  matmul.set_thread_pool(&device);

  // Set up args and run the computation.
  const float args[12] = {1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12};
  std::copy(args + 0, args + 6, matmul.arg0_data());
  std::copy(args + 6, args + 12, matmul.arg1_data());
  matmul.Run();

  // Check result
  if (matmul.result0(0, 0) == 58) {
    std::cout << "Success" << std::endl;
  } else {
    std::cout << "Failed. Expected value 58 at 0,0. Got:"
              << matmul.result0(0, 0) << std::endl;
  }

  return 0;
}
 

الخطوة 4: إنشاء ثنائي النهائي

تجمع هذه الخطوة بين المكتبة التي تم إنشاؤها بواسطة tf_library في الخطوة 2 والرمز المكتوب في الخطوة 3 لإنشاء ثنائي نهائي. فيما يلي مثال لملف bazel BUILD.

 # Example of linking your binary
# Also see //tensorflow/compiler/aot/tests/BUILD
load("//tensorflow/compiler/aot:tfcompile.bzl", "tf_library")

# The same tf_library call from step 2 above.
tf_library(
    name = "test_graph_tfmatmul",
    ...
)

# The executable code generated by tf_library can then be linked into your code.
cc_binary(
    name = "my_binary",
    srcs = [
        "my_code.cc",  # include test_graph_tfmatmul.h to access the generated header
    ],
    deps = [
        ":test_graph_tfmatmul",  # link in the generated object file
        "//third_party/eigen3",
    ],
    linkopts = [
          "-lpthread",
    ]
)