 عرض على TensorFlow.org |  تشغيل في جوجل كولاب |  عرض على جيثب |  تحميل دفتر |  تشغيل في Kaggle |
يهدف هذا الدليل إلى مساعدة المستخدمين لأول مرة على إعداد حساب Google Cloud Platform على وجه التحديد بهدف استخدام Tensorflow_cloud لتشغيل التدريب بسهولة على نطاق واسع على Google Cloud AI Platform. توفر TensorFlow Cloud واجهات برمجة التطبيقات التي تتيح للمستخدمين الانتقال بسهولة من تصحيح الأخطاء والتدريب وضبط تعليمات Keras وTensorFlow البرمجية في بيئة محلية أو kaggle إلى التدريب/الضبط الموزع على السحابة.
1. قم بالتسجيل في Google Cloud Platform
للبدء، انتقل إلى https://cloud.google.com/ وانقر على "ابدأ مجانًا". هذه عملية تسجيل مكونة من خطوتين حيث ستحتاج إلى تقديم اسمك وعنوانك وبطاقة الائتمان. الحساب المبدئي مجاني ويأتي مع رصيد بقيمة 300 دولار يمكنك استخدامه. ولهذه الخطوة، ستحتاج إلى توفير حساب Google (أي حساب Gmail الخاص بك) لتسجيل الدخول.
بعد الانتهاء من عملية التسجيل، ستتم إعادة توجيهك إلى صفحة الترحيب الخاصة بـ Google Cloud Platform . انقر فوق علامة التبويب "الصفحة الرئيسية" وقم بتدوين معرف المشروع الخاص بك ورقم المشروع. (انظر تحديد المشاريع )
GCP_PROJECT_ID = 'YOUR_PROJECT_ID'
PROJECT_NUMBER = 'YOUR_PROJECT_NUMBER'
2. قم بتمكين Google Cloud SDK وقم بالمصادقة على الكمبيوتر الدفتري الخاص بك
الآن وبعد أن قمت بإعداد مشروعك، يمكننا متابعة بقية خطوات التكوين مباشرةً من هذا الكمبيوتر الدفتري. هناك ثلاثة أنواع من دفاتر الملاحظات، هذه الخطوة (الخطوة رقم 2) تختلف قليلاً لكل دفتر ملاحظات، وبقية الخطوات (الخطوة رقم 3 إلى رقم 6) هي نفسها لجميع دفاتر الملاحظات.
- 2.1. مصادقة لأجهزة الكمبيوتر المحمولة Kaggle
- 2.2. مصادقة لدفتر Colab
- 2.3. مصادقة لأجهزة الكمبيوتر المحمولة Cloud AI - غير مدعومة.
2.1 مصادقة الإعداد لدفتر ملاحظات Kaggle
إذا كنت تستخدم دفتر ملاحظات Kaggle، فستحتاج إلى تكرار هذه الخطوة لأي دفتر ملاحظات جديد تستخدمه مع هذا المشروع. في دفتر ملاحظاتك، انقر على الوظائف الإضافية -> Google Cloud SDK واتبع الإرشادات التي تظهر على المطالبة. ثم قم بتشغيل الأمر التالي لإضافة بيانات اعتماد المصادقة الخاصة بك إلى دفتر الملاحظات هذا.
import sys
if "kaggle_secrets" in sys.modules:
from kaggle_secrets import UserSecretsClient
UserSecretsClient().set_gcloud_credentials(project=GCP_PROJECT_ID)
2.2 مصادقة الإعداد لدفتر ملاحظات Colab
إذا كنت تستخدم دفتر ملاحظات Colab، فستحتاج إلى تكرار هذه الخطوة لأي دفتر ملاحظات جديد تستخدمه مع هذا المشروع. قم بتشغيل الأمر التالي لإضافة بيانات اعتماد المصادقة الخاصة بك إلى دفتر الملاحظات هذا.
import sys
if "google.colab" in sys.modules:
from google.colab import auth
auth.authenticate_user()
3. اربط حساب الفواتير الخاص بك بمشروعك
الخطوة التالية هي إعداد حساب الفواتير لهذا المشروع. يقوم Google Cloud بإنشاء مشروع لك بشكل افتراضي يسمى "مشروعي الأول". سوف نستخدم هذا المشروع الافتراضي. استخدم معرف المشروع الخاص بك (من الخطوة 1) لتشغيل الأوامر التالية. سيُظهر لك هذا Account_ID الخاص بالفوترة، قم بتدوين ذلك للخطوة التالية.
gcloud beta billing accounts list
استخدم Account_ID الخاص بالفوترة من الأعلى وقم بتشغيل ما يلي لربط حساب الفوترة الخاص بك بمشروعك.
لاحظ أنه إذا كنت تستخدم مشروعًا موجودًا، فقد لا ترى Account_ID، وهذا يعني أنه ليس لديك الأذونات المناسبة لتشغيل الأوامر التالية أو الاتصال بالمسؤول أو إنشاء مشروع جديد.
BILLING_ACCOUNT_ID = 'YOUR_BILLING_ACCOUNT_ID'
!gcloud beta billing projects link $GCP_PROJECT_ID --billing-account $BILLING_ACCOUNT_ID
4. قم بتمكين واجهات برمجة التطبيقات المطلوبة لـ Tensorflow-cloud في مشروعك
بالنسبة إلى Tensorflow_cloud، نستخدم واجهتي برمجة تطبيقات محددتين: AI Platform Training Jobs API و Cloud builder API . لاحظ أن هذا الإعداد يتم مرة واحدة لهذا المشروع، ولا تحتاج إلى إعادة تشغيل هذا الأمر لكل دفتر ملاحظات.
gcloud services --project $GCP_PROJECT_ID enable ml.googleapis.com cloudbuild.googleapis.com
5. قم بإنشاء مجموعة تخزين Google Cloud
سوف نستخدم مجموعة التخزين هذه للأصول المؤقتة وكذلك لحفظ نقاط التفتيش النموذجية. قم بتدوين اسم الدلو للرجوع إليه في المستقبل. تعتبر أسماء مجموعة الملاحظات فريدة عالميًا.
BUCKET_NAME = 'YOUR_BUCKET_NAME'
GCS_BUCKET = f'gs://{BUCKET_NAME}'
!gsutil mb -p $GCP_PROJECT_ID $GCS_BUCKET
قم بإنشاء حساب خدمة لمهام HP Tuning
هذه الخطوة مطلوبة لاستخدام HP Tuning على Google Cloud باستخدام CloudTuner. لإنشاء حساب خدمة ومنحه حق الوصول إلى محرر المشروع، قم بتشغيل الأمر التالي وقم بتدوين اسم حساب الخدمة الخاص بك.
SERVICE_ACCOUNT_NAME ='YOUR_SERVICE_ACCOUNT_NAME'
SERVICE_ACCOUNT_EMAIL = f'{SERVICE_ACCOUNT_NAME}@{GCP_PROJECT_ID}.iam.gserviceaccount.com'
!gcloud iam --project $GCP_PROJECT_ID service-accounts create $SERVICE_ACCOUNT_NAME
!gcloud projects add-iam-policy-binding $GCP_PROJECT_ID \
--member serviceAccount:$SERVICE_ACCOUNT_EMAIL \
--role=roles/editor
يتم تحديد default AI Platform service account من خلال عنوان بريد إلكتروني بالتنسيق service-PROJECT_NUMBER@cloud-ml.google.com.iam.gserviceaccount.com . باستخدام رقم مشروعك من الخطوة الأولى، نقوم بإنشاء البريد الإلكتروني لحساب الخدمة ونمنح دور مسؤول default AI Platform service account (roles/iam.serviceAccountAdmin) في حساب الخدمة الجديد الخاص بك.
DEFAULT_AI_PLATFORM_SERVICE_ACCOUNT = f'service-{PROJECT_NUMBER}@cloud-ml.google.com.iam.gserviceaccount.com'
!gcloud iam --project $GCP_PROJECT_ID service-accounts add-iam-policy-binding \
--role=roles/iam.serviceAccountAdmin \
--member=serviceAccount:$DEFAULT_AI_PLATFORM_SERVICE_ACCOUNT \
$SERVICE_ACCOUNT_EMAIL
تهانينا !
أنت الآن جاهز لتشغيل Tensorflow-cloud. لاحظ أن هذه الخطوات تحتاج إلى تشغيلها مرة واحدة فقط. بمجرد الانتهاء من إعداد مشروعك، يمكنك إعادة استخدام نفس تكوين المشروع والحاوية لعمليات التشغيل المستقبلية. بالنسبة لأي دفاتر ملاحظات جديدة، ستحتاج إلى تكرار الخطوة الثانية لإضافة بيانات اعتماد مصادقة Google Cloud الخاصة بك.
قم بتدوين القيم التالية لأنها ضرورية لتشغيل Tensorflow-cloud.
print(f"Your GCP_PROJECT_ID is: {GCP_PROJECT_ID}")
print(f"Your SERVICE_ACCOUNT_NAME is: {SERVICE_ACCOUNT_NAME}")
print(f"Your BUCKET_NAME is: {BUCKET_NAME}")
Your GCP_PROJECT_ID is: YOUR_PROJECT_ID Your SERVICE_ACCOUNT_NAME is: YOUR_SERVICE_ACCOUNT_NAME Your BUCKET_NAME is: YOUR_BUCKET_NAME