This page was translated by the Cloud Translation API.
Switch to English

টিএফ হাব থেকে মডেল ডাউনলোড করা ক্যাচিং

ওভারভিউ

tensorflow_hub লাইব্রেরি বর্তমানে মডেলগুলি ডাউনলোড করার জন্য দুটি মোড সমর্থন করে। ডিফল্টরূপে, একটি মডেল সংকুচিত সংরক্ষণাগার হিসাবে ডাউনলোড করা হয় এবং ডিস্কে ক্যাশে হয়। দ্বিতীয়ত, মডেলগুলি প্রত্যন্ত স্টোরেজ থেকে টেনসরফ্লোতে সরাসরি পড়া যায়। যে কোনও উপায়ে, প্রকৃত পাইথন কোডে tensorflow_hub ফাংশনগুলিতে কলগুলি ক্যানোনিকাল tfhub.dev মডেলগুলির ইউআরএল ব্যবহার করতে এবং চালিয়ে যাওয়া উচিত, যা সিস্টেমে পোর্টেবল এবং ডকুমেন্টেশনের জন্য নেভিগেশনযোগ্য।

সংক্ষিপ্ত ডাউনলোডের ক্যাচিং

যখন tfhub.dev (বা অন্যান্য হোস্টিং সাইটগুলি ) ডাউনলোড করা হয়েছে এবং সঙ্কুচিত হয়ে গেছে তখন ফাইল সিস্টেমের ডিফল্ট ক্যাশে মডেলগুলির দ্বারা tensorflow_hub লাইব্রেরি। এই মোডটি বেশিরভাগ পরিবেশের জন্যই সুপারিশ করা হয়, যদি না ডিস্কের জায়গার অভাব হয় তবে নেটওয়ার্ক ব্যান্ডউইথ এবং লেটেন্সি চমত্কার হয়।

ডাউনলোডের অবস্থানটি স্থানীয় অস্থায়ী ডিরেক্টরিতে ডিফল্ট হয় তবে পরিবেশের ভেরিয়েবল TFHUB_CACHE_DIR (প্রস্তাবিত) সেট করে বা কমান্ড-লাইন পতাকা --tfhub_cache_dir পাস করে --tfhub_cache_dir । ডিফল্ট ক্যাশে অবস্থান /tmp/tfhub_modules (বা যাইহোক os.path.join(tempfile.gettempdir(), "tfhub_modules") যাচাই করা হয়) বেশিরভাগ ক্ষেত্রে কাজ করা উচিত।

ব্যবহারকারীরা সিস্টেম রিবুটগুলি জুড়ে অবিরাম ক্যাশে পছন্দ করেন তারা পরিবর্তে তাদের হোম ডিরেক্টরিতে কোনও স্থানে TFHUB_CACHE_DIR সেট করতে পারেন। উদাহরণস্বরূপ, লিনাক্স সিস্টেমের ব্যাশ শেলের ব্যবহারকারী ~/.bashrc এ নিম্নলিখিতগুলির মতো একটি লাইন যুক্ত করতে পারেন

export TFHUB_CACHE_DIR=$HOME/.cache/tfhub_modules

... শেলটি পুনরায় চালু করুন এবং তারপরে এই অবস্থানটি ব্যবহার করা হবে। অবিরাম অবস্থান ব্যবহার করার সময়, সচেতন থাকুন যে কোনও স্বয়ংক্রিয় ক্লিনআপ নেই।

রিমোট স্টোরেজ থেকে পড়া

ব্যবহারকারীরা স্থানীয়ভাবে মডেলগুলি ডাউনলোড না করে দূরবর্তী স্টোরেজ (জিসিএস) থেকে সরাসরি মডেলগুলি পড়ার জন্য tensorflow_hub লাইব্রেরিকে নির্দেশ দিতে পারেন

0edd7d240

অথবা কমান্ড-লাইন পতাকা --tfhub_model_load_format করে UNCOMPRESSED । এইভাবে, কোনও ক্যাচিং ডিরেক্টরি প্রয়োজন হয় না, যা বিশেষত এমন পরিবেশে সহায়তা করে যা অল্প ডিস্কের স্থান সরবরাহ করে তবে একটি দ্রুত ইন্টারনেট সংযোগ দেয়।

কলাব নোটবুকগুলিতে টিপিইউতে চলছে

Colab.research.google.com এ , সংক্ষেপিত মডেলগুলি ডাউনলোড করা টিপিইউ রানটাইমটির সাথে বিরোধ করবে কারণ গণনা কাজের চাপটি অন্য কোনও মেশিনের কাছে অর্পণ করা হয়েছে যা ডিফল্টরূপে ক্যাশে অবস্থানের অ্যাক্সেস নেই। এই পরিস্থিতির জন্য দুটি কার্যক্রম রয়েছে:

1) একটি জিসিএস বালতি ব্যবহার করুন যাতে টিপিইউ কর্মী প্রবেশ করতে পারবেন

উপরের ব্যাখ্যা অনুসারে টিএফ হাবের tensorflow_hub বালতি থেকে মডেলগুলি পড়ার জন্য tensorflow_hub লাইব্রেরির নির্দেশ দেওয়া সবচেয়ে সহজ সমাধান। ব্যবহারকারীদের নিজস্ব জিসিএস বালতি পরিবর্তে কোডের মতো ক্যাশের অবস্থান হিসাবে তাদের বালতিতে একটি ডিরেক্টরি নির্দিষ্ট করতে পারে

import os
os.environ["TFHUB_CACHE_DIR"] = "gs://my-bucket/tfhub-modules-cache"

... tensorflow_hub লাইব্রেরি কল করার আগে।

2) কলাব হোস্টের মাধ্যমে সমস্ত পাঠ্য পুনর্নির্দেশ করুন

আরেকটি কর্মসূচী হ'ল কলাব হোস্টের মাধ্যমে সমস্ত পাঠ (বৃহত্তর ভেরিয়েবলগুলির এমনকি) পুনর্নির্দেশ করা:

load_options =
tf.saved_model.LoadOptions(experimental_io_device='/job:localhost')
reloaded_model = hub.load("https://tfhub.dev/...", options=load_options)