TensorFlow Text, TensorFlow 2.0 के साथ उपयोग के लिए तैयार टेक्स्ट से संबंधित कक्षाओं और ऑप्स का एक संग्रह प्रदान करता है। पुस्तकालय पाठ-आधारित मॉडलों के लिए नियमित रूप से आवश्यक पूर्व-प्रसंस्करण कर सकता है, और इसमें अनुक्रम मॉडलिंग के लिए उपयोगी अन्य सुविधाएँ शामिल हैं जो कोर TensorFlow द्वारा प्रदान नहीं की गई हैं।
आपके टेक्स्ट प्रीप्रोसेसिंग में इन ऑप्स का उपयोग करने का लाभ यह है कि वे TensorFlow ग्राफ़ में किए जाते हैं। आपको प्रशिक्षण में टोकननाइज़ेशन के बारे में चिंता करने की ज़रूरत नहीं है क्योंकि यह अनुमान पर टोकननाइज़ेशन से अलग है, या प्रीप्रोसेसिंग स्क्रिप्ट का प्रबंधन करता है।
TensorFlow टेक्स्ट स्थापित करें
पाइप का उपयोग करके स्थापित करें
पाइप इंस्टाल के साथ TF टेक्स्ट इंस्टॉल करते समय, आपके द्वारा चलाए जा रहे TensorFlow के संस्करण पर ध्यान दें, क्योंकि आपको TF टेक्स्ट के संगत संस्करण को निर्दिष्ट करना चाहिए।
pip install -U tensorflow-text==<version>
स्रोत से निर्माण
TensorFlow टेक्स्ट को TensorFlow के समान वातावरण में बनाया जाना चाहिए। इस प्रकार, यदि आप मैन्युअल रूप से TF टेक्स्ट बनाते हैं, तो यह अत्यधिक अनुशंसा की जाती है कि आप TensorFlow भी बनाएं।
यदि MacOS पर निर्माण कर रहे हैं, तो आपके पास coreutils स्थापित होना चाहिए। Homebrew के साथ करना शायद सबसे आसान है। सबसे पहले, निर्माण TensorFlow स्रोत से ।
TF टेक्स्ट रेपो को क्लोन करें।
git clone https://github.com/tensorflow/text.git
अंत में, पिप पैकेज बनाने के लिए बिल्ड स्क्रिप्ट चलाएँ।
./oss_scripts/run_build.sh