টেনসরফ্লো টেক্সটের ভূমিকা

টেনসরফ্লো টেক্সট টেন্সরফ্লো 2.0-এর সাথে ব্যবহারের জন্য প্রস্তুত টেক্সট সম্পর্কিত ক্লাস এবং অপারেশনগুলির একটি সংগ্রহ প্রদান করে। লাইব্রেরি পাঠ্য-ভিত্তিক মডেলগুলির দ্বারা নিয়মিত প্রয়োজনীয় প্রিপ্রসেসিং সম্পাদন করতে পারে এবং মূল টেনসরফ্লো দ্বারা সরবরাহ করা হয়নি এমন সিকোয়েন্স মডেলিংয়ের জন্য দরকারী অন্যান্য বৈশিষ্ট্যগুলি অন্তর্ভুক্ত করে।

আপনার টেক্সট প্রিপ্রসেসিং-এ এই অপ্সগুলি ব্যবহার করার সুবিধা হল যে সেগুলি TensorFlow গ্রাফে করা হয়। অনুমানে টোকেনাইজেশন বা প্রি-প্রসেসিং স্ক্রিপ্ট পরিচালনার চেয়ে প্রশিক্ষণে টোকেনাইজেশন নিয়ে আপনাকে চিন্তা করার দরকার নেই।

টেনসরফ্লো টেক্সট ইনস্টল করুন

পিপ ব্যবহার করে ইনস্টল করুন

পিপ ইন্সটল সহ টিএফ টেক্সট ইনস্টল করার সময়, আপনি যে টেনসরফ্লো চালাচ্ছেন তার সংস্করণটি নোট করুন, যেমন আপনাকে টিএফ টেক্সটের সংশ্লিষ্ট সংস্করণ উল্লেখ করতে হবে।

pip install -U tensorflow-text==<version>

উৎস থেকে তৈরি করুন

TensorFlow পাঠ্য অবশ্যই TensorFlow এর মতো একই পরিবেশে তৈরি করা উচিত। এইভাবে, আপনি যদি ম্যানুয়ালি TF টেক্সট তৈরি করেন, তাহলে আপনাকে TensorFlowও তৈরি করার পরামর্শ দেওয়া হয়।

MacOS-এ তৈরি হলে, আপনার অবশ্যই coreutils ইনস্টল থাকতে হবে। হোমব্রু দিয়ে করা সম্ভবত সবচেয়ে সহজ। প্রথমত, বিল্ড TensorFlow উৎস থেকে

TF টেক্সট রেপো ক্লোন করুন।

git clone  https://github.com/tensorflow/text.git

অবশেষে, একটি পিপ প্যাকেজ তৈরি করতে বিল্ড স্ক্রিপ্ট চালান।

./oss_scripts/run_build.sh