সংরক্ষিত মডেল ওয়ার্মআপ

সেভ করা পৃষ্ঠা গুছিয়ে রাখতে 'সংগ্রহ' ব্যবহার করুন আপনার পছন্দ অনুযায়ী কন্টেন্ট সেভ করুন ও সঠিক বিভাগে রাখুন।

ভূমিকা

TensorFlow রানটাইমে এমন উপাদান রয়েছে যেগুলি অলসভাবে শুরু করা হয়, যা লোড হওয়ার পরে একটি মডেলে পাঠানো প্রথম অনুরোধ/গুলির জন্য উচ্চ বিলম্বিত হতে পারে। এই বিলম্ব একটি একক অনুমান অনুরোধের চেয়ে অনেক বেশি মাত্রার অর্ডার হতে পারে।

অনুরোধের বিলম্বে অলস প্রারম্ভিকতার প্রভাব কমাতে, SavedModel-এর সাথে অনুমান অনুরোধের একটি নমুনা সেট প্রদান করে মডেল লোডের সময় সাব-সিস্টেম এবং উপাদানগুলির প্রারম্ভিকতা ট্রিগার করা সম্ভব। এই প্রক্রিয়াটি মডেলটিকে "ওয়ার্মিং আপ" হিসাবে পরিচিত।

ব্যবহার

SavedModel Warmup Regress, Classify, MultiInference এবং Predict এর জন্য সমর্থিত। লোডের সময় মডেলের ওয়ার্মআপ ট্রিগার করতে, SavedModel ডিরেক্টরির assets.extra সাবফোল্ডারের অধীনে একটি ওয়ার্মআপ ডেটা ফাইল সংযুক্ত করুন।

সঠিকভাবে কাজ করার জন্য মডেল ওয়ার্মআপের প্রয়োজনীয়তা:

  • ওয়ার্মআপ ফাইলের নাম: 'tf_serving_warmup_requests'
  • ফাইলের অবস্থান: assets.extra/
  • ফাইল বিন্যাস: TFRecord হিসেবে প্রতিটি রেকর্ডের সঙ্গে PredictionLog
  • ওয়ার্মআপ রেকর্ডের সংখ্যা <= 1000।
  • ওয়ার্মআপ ডেটা অবশ্যই পরিবেশন করার সময় ব্যবহৃত অনুমান অনুরোধের প্রতিনিধি হতে হবে।

ওয়ার্মআপ ডেটা তৈরি করার উদাহরণ কোড স্নিপেট:

import tensorflow as tf
from tensorflow_serving.apis import classification_pb2
from tensorflow_serving.apis import inference_pb2
from tensorflow_serving.apis import model_pb2
from tensorflow_serving.apis import predict_pb2
from tensorflow_serving.apis import prediction_log_pb2
from tensorflow_serving.apis import regression_pb2

def main():
    with tf.io.TFRecordWriter("tf_serving_warmup_requests") as writer:
        # replace <request> with one of:
        # predict_pb2.PredictRequest(..)
        # classification_pb2.ClassificationRequest(..)
        # regression_pb2.RegressionRequest(..)
        # inference_pb2.MultiInferenceRequest(..)
        log = prediction_log_pb2.PredictionLog(
            predict_log=prediction_log_pb2.PredictLog(request=<request>))
        writer.write(log.SerializeToString())

if __name__ == "__main__":
    main()