TensorFlow Transform یک کتابخانه برای پیش پردازش داده ها با TensorFlow است. tf.Transform برای داده هایی که نیاز به یک گذر کامل دارند مفید است، مانند:
- یک مقدار ورودی را با میانگین و انحراف استاندارد عادی کنید.
- با ایجاد یک واژگان بر روی تمام مقادیر ورودی، رشته ها را به اعداد صحیح تبدیل کنید.
- با اختصاص دادن آنها به سطل ها بر اساس توزیع داده های مشاهده شده، شناورها را به اعداد صحیح تبدیل کنید.
TensorFlow دارای پشتیبانی داخلی برای دستکاری در یک نمونه یا دسته ای از نمونه ها است. tf.Transform این قابلیت‌ها را برای پشتیبانی از گذرهای کامل از داده‌های نمونه گسترش می‌دهد.
خروجی tf.Transform به عنوان یک نمودار TensorFlow برای استفاده برای آموزش و سرویس صادر می شود. استفاده از نمودار یکسان هم برای آموزش و هم برای سرویس دهی می تواند از انحراف جلوگیری کند زیرا در هر دو مرحله تغییرات یکسانی اعمال می شود.
برای آشنایی با tf.Transform ، به بخش tf.Transform گفتگوی TFX Dev Summit در TFX ( پیوند ) مراجعه کنید.
نصب و راه اندازی
بسته PyPI tensorflow-transform روش توصیه شده برای نصب tf.Transform است:
pip install tensorflow-transform
ساخت TFT از منبع
برای ساختن از منبع مراحل زیر را دنبال کنید: با اجرای دستورات یک محیط مجازی ایجاد کنید
python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/transform.git
cd transform
python3 setup.py bdist_wheel
با این کار چرخ TFT در دایرکتوری dist ایجاد می شود. برای نصب چرخ از دایرکتوری dist دستورات را اجرا کنید
cd dist
pip3 install tensorflow_transform-<version>-py3-none-any.whl
بسته های شبانه
TFT همچنین بسته های شبانه را در https://pypi-nightly.tensorflow.org در Google Cloud میزبانی می کند. برای نصب آخرین بسته شبانه لطفا از دستور زیر استفاده کنید:
pip install --extra-index-url https://pypi-nightly.tensorflow.org/simple tensorflow-transform
این بسته‌های شبانه را برای وابستگی‌های اصلی TFT مانند Metadata TensorFlow (TFMD)، کتابخانه‌های عمومی مشترک TFX (TFX-BSL) نصب می‌کند.
وابستگی های قابل توجه
TensorFlow مورد نیاز است.
پرتو آپاچی مورد نیاز است. این روشی است که از محاسبات توزیع شده کارآمد پشتیبانی می شود. به طور پیش‌فرض، پرتو Apache در حالت محلی اجرا می‌شود، اما همچنین می‌تواند در حالت توزیع شده با استفاده از Google Cloud Dataflow و سایر اجراکننده‌های پرتو Apache اجرا شود.
Apache Arrow نیز مورد نیاز است. TFT از Arrow برای نمایش داده ها به صورت داخلی استفاده می کند تا از توابع numpy برداری شده استفاده کند.
نسخه های سازگار
جدول زیر نسخه های بسته tf.Transform است که با یکدیگر سازگار هستند. این توسط چارچوب تست ما تعیین می شود، اما سایر ترکیبات آزمایش نشده نیز ممکن است کار کنند.
| تانسورفلو-تبدیل | پرتو آپاچی[gcp] | پیارو | جریان تنسور | tensorflow-metadata | tfx-bsl |
|---|---|---|---|---|---|
| استاد GitHub | 2.47.0 | 10.0.0 | شبانه (2.x) | 1.15.0 | 1.15.1 |
| 1.15.0 | 2.47.0 | 10.0.0 | 2.15 | 1.15.0 | 1.15.1 |
| 1.14.0 | 2.47.0 | 10.0.0 | 2.13 | 1.14.0 | 1.14.0 |
| 1.13.0 | 2.41.0 | 6.0.0 | 2.12 | 1.13.1 | 1.13.0 |
| 1.12.0 | 2.41.0 | 6.0.0 | 2.11 | 1.12.0 | 1.12.0 |
| 1.11.0 | 2.41.0 | 6.0.0 | 1.15.5 / 2.10 | 1.11.0 | 1.11.0 |
| 1.10.0 | 2.40.0 | 6.0.0 | 1.15.5 / 2.9 | 1.10.0 | 1.10.0 |
| 1.9.0 | 2.38.0 | 5.0.0 | 1.15.5 / 2.9 | 1.9.0 | 1.9.0 |
| 1.8.0 | 2.38.0 | 5.0.0 | 1.15.5 / 2.8 | 1.8.0 | 1.8.0 |
| 1.7.0 | 2.36.0 | 5.0.0 | 1.15.5 / 2.8 | 1.7.0 | 1.7.0 |
| 1.6.1 | 2.35.0 | 5.0.0 | 1.15.5 / 2.8 | 1.6.0 | 1.6.0 |
| 1.6.0 | 2.35.0 | 5.0.0 | 1.15.5 / 2.7 | 1.6.0 | 1.6.0 |
| 1.5.0 | 2.34.0 | 5.0.0 | 1.15.2 / 2.7 | 1.5.0 | 1.5.0 |
| 1.4.1 | 2.33.0 | 4.0.1 | 1.15.2 / 2.6 | 1.4.0 | 1.4.0 |
| 1.4.0 | 2.33.0 | 4.0.1 | 1.15.2 / 2.6 | 1.4.0 | 1.4.0 |
| 1.3.0 | 2.31.0 | 2.0.0 | 1.15.2 / 2.6 | 1.2.0 | 1.3.0 |
| 1.2.0 | 2.31.0 | 2.0.0 | 1.15.2 / 2.5 | 1.2.0 | 1.2.0 |
| 1.1.1 | 2.29.0 | 2.0.0 | 1.15.2 / 2.5 | 1.1.0 | 1.1.1 |
| 1.1.0 | 2.29.0 | 2.0.0 | 1.15.2 / 2.5 | 1.1.0 | 1.1.0 |
| 1.0.0 | 2.29.0 | 2.0.0 | 1.15 / 2.5 | 1.0.0 | 1.0.0 |
| 0.30.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.30.0 | 0.30.0 |
| 0.29.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.29.0 | 0.29.0 |
| 0.28.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.28.0 | 0.28.1 |
| 0.27.0 | 2.27.0 | 2.0.0 | 1.15 / 2.4 | 0.27.0 | 0.27.0 |
| 0.26.0 | 2.25.0 | 0.17.0 | 1.15 / 2.3 | 0.26.0 | 0.26.0 |
| 0.25.0 | 2.25.0 | 0.17.0 | 1.15 / 2.3 | 0.25.0 | 0.25.0 |
| 0.24.1 | 2.24.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.1 |
| 0.24.0 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.0 |
| 0.23.0 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.23.0 | 0.23.0 |
| 0.22.0 | 2.20.0 | 0.16.0 | 1.15 / 2.2 | 0.22.0 | 0.22.0 |
| 0.21.2 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.3 |
| 0.21.0 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.0 |
| 0.15.0 | 2.16.0 | 0.14.0 | 1.15 / 2.0 | 0.15.0 | 0.15.0 |
| 0.14.0 | 2.14.0 | 0.14.0 | 1.14 | 0.14.0 | n/a |
| 0.13.0 | 2.11.0 | n/a | 1.13 | 0.12.1 | n/a |
| 0.12.0 | 2.10.0 | n/a | 1.12 | 0.12.0 | n/a |
| 0.11.0 | 2.8.0 | n/a | 1.11 | 0.9.0 | n/a |
| 0.9.0 | 2.6.0 | n/a | 1.9 | 0.9.0 | n/a |
| 0.8.0 | 2.5.0 | n/a | 1.8 | n/a | n/a |
| 0.6.0 | 2.4.0 | n/a | 1.6 | n/a | n/a |
| 0.5.0 | 2.3.0 | n/a | 1.5 | n/a | n/a |
| 0.4.0 | 2.2.0 | n/a | 1.4 | n/a | n/a |
| 0.3.1 | 2.1.1 | n/a | 1.3 | n/a | n/a |
| 0.3.0 | 2.1.1 | n/a | 1.3 | n/a | n/a |
| 0.1.10 | 2.0.0 | n/a | 1.0 | n/a | n/a |
سوالات
لطفاً هرگونه سؤالی در مورد کار با tf.Transform to Stack Overflow با استفاده از برچسب tensorflow-transform مطرح کنید.