Google Bulut Hesabınızı Kurma ve Bağlanma

TensorFlow.org adresinden görüntüleyin Google Colab'da çalıştırın GitHub'da görüntüle Not defterini indir Kaggle logosuKaggle'da yarışın

Bu kılavuz, özellikle Google Cloud AI Platform'da büyük ölçekli eğitim çalıştırmak için tensorflow_cloud'u kullanma amacıyla Google Cloud Platform hesabı kuracak ilk kez kullanıcılar için hazırlanmıştır. TensorFlow Cloud, kullanıcıların Keras ve TensorFlow kodunu yerel veya Kaggle ortamında hata ayıklama, eğitim ve ayarlama işlemlerinden bulutta dağıtılmış eğitim/ayarlama işlemlerine kolayca geçmelerini sağlayan API'ler sunar.

1. Google Cloud Platform'a kaydolun

Başlamak için https://cloud.google.com/ adresine gidin ve "Ücretsiz Başlayın" seçeneğine tıklayın. Bu, adınızı, adresinizi ve kredi kartınızı vermeniz gereken iki aşamalı bir kayıt işlemidir. Başlangıç ​​hesabı ücretsizdir ve kullanabileceğiniz 300$ kredi ile birlikte gelir. Bu adımda oturum açmak için bir Google Hesabı (örneğin Gmail hesabınız) sağlamanız gerekecektir.

Kayıt işlemini tamamladıktan sonra Google Cloud Platform karşılama sayfasına yönlendirileceksiniz. "Ana Sayfa" sekmesine tıklayın ve Proje Kimliğinizi ve Proje numaranızı not edin. ( Projeleri tanımlama bölümüne bakın)

GCP_PROJECT_ID = 'YOUR_PROJECT_ID'
PROJECT_NUMBER = 'YOUR_PROJECT_NUMBER'

2. Google Cloud SDK'yı etkinleştirin ve not defterinizin kimliğini doğrulayın.

Projenizi kurduğunuza göre, yapılandırma adımlarının geri kalanına doğrudan bu not defterinden devam edebiliriz. Üç tür not defteri vardır; bu adım (adım #2) her not defteri için biraz farklıdır, geri kalan adımlar (adım #3 ila #6) tüm not defterleri için aynıdır.

  • 2.1. Kaggle defterleri için yetkilendirme
  • 2.2. Colab not defteri için yetkilendirme
  • 2.3. Bulut Yapay Zeka Not Defterleri için Kimlik Doğrulama - Desteklenmiyor.

2.1 Kaggle Notebook için Kimlik Doğrulama Kurulumu

Kaggle not defteri kullanıyorsanız, bu projeyle kullandığınız her yeni not defteri için bu adımı tekrarlamanız gerekecektir. Not defterinizde Eklentiler -> Google Cloud SDK'ya tıklayın ve açılan penceredeki talimatları izleyin. Ardından, kimlik doğrulama bilgilerinizi bu not defterine eklemek için aşağıdaki komutu çalıştırın.

import sys
if "kaggle_secrets" in sys.modules:
    from kaggle_secrets import UserSecretsClient
    UserSecretsClient().set_gcloud_credentials(project=GCP_PROJECT_ID)

2.2 Colab Not Defteri için Kimlik Doğrulama Ayarları

Eğer Colab not defteri kullanıyorsanız, bu projeyle kullandığınız her yeni not defteri için bu adımı tekrarlamanız gerekecektir. Kimlik doğrulama bilgilerinizi bu not defterine eklemek için aşağıdaki komutu çalıştırın.

import sys
if "google.colab" in sys.modules:
    from google.colab import auth
    auth.authenticate_user()

Sonraki adım, bu proje için faturalandırma hesabını ayarlamaktır . Google Cloud, varsayılan olarak sizin için "İlk Projem" adlı bir proje oluşturur. Bu varsayılan projeyi kullanacağız. Aşağıdaki komutları çalıştırmak için Proje Kimliğinizi (1. adımdan) kullanın. Bu size Faturalandırma Hesabı Kimliğinizi gösterecektir, bunu bir sonraki adım için not edin.

gcloud beta billing accounts list

Yukarıda yer alan Faturalama Hesabı Kimliğinizi (Billing Account_ID) kullanarak aşağıdaki komutu çalıştırın ve faturalama hesabınızı projenizle ilişkilendirin.

Mevcut bir projeyi kullanıyorsanız Account_ID'yi göremeyebilirsiniz; bu, aşağıdaki komutları çalıştırmak için gerekli izinlere sahip olmadığınız anlamına gelir. Lütfen yöneticinizle iletişime geçin veya yeni bir proje oluşturun.

BILLING_ACCOUNT_ID = 'YOUR_BILLING_ACCOUNT_ID'

!gcloud beta billing projects link $GCP_PROJECT_ID --billing-account $BILLING_ACCOUNT_ID

4. Projenizde tensorflow-cloud için gerekli API'leri etkinleştirin.

TensorFlow_Cloud için iki özel API kullanıyoruz: AI Platform Training Jobs API ve Cloud Builder API . Bu, bu proje için tek seferlik bir kurulumdur, her notebook için bu komutu yeniden çalıştırmanıza gerek yoktur.

gcloud services --project $GCP_PROJECT_ID enable ml.googleapis.com cloudbuild.googleapis.com

5. Bir Google Cloud Storage kovası oluşturun.

Bu depolama alanını hem geçici varlıklar hem de model kontrol noktalarını kaydetmek için kullanacağız. İleride başvurmak üzere depolama alanının adını not edin. Depolama alanı adlarının küresel olarak benzersiz olduğunu unutmayın.

BUCKET_NAME = 'YOUR_BUCKET_NAME'

GCS_BUCKET = f'gs://{BUCKET_NAME}'
!gsutil mb -p $GCP_PROJECT_ID $GCS_BUCKET

HP Tuning işleri için bir hizmet hesabı oluşturun.

Bu adım, CloudTuner kullanarak Google Cloud üzerinde HP Tuning'i kullanmak için gereklidir. Bir hizmet hesabı oluşturmak ve ona proje düzenleyici erişimi vermek için aşağıdaki komutu çalıştırın ve hizmet hesabınızın adını not edin.

SERVICE_ACCOUNT_NAME ='YOUR_SERVICE_ACCOUNT_NAME'

SERVICE_ACCOUNT_EMAIL = f'{SERVICE_ACCOUNT_NAME}@{GCP_PROJECT_ID}.iam.gserviceaccount.com'
!gcloud iam --project $GCP_PROJECT_ID service-accounts create $SERVICE_ACCOUNT_NAME
!gcloud projects add-iam-policy-binding $GCP_PROJECT_ID \
    --member serviceAccount:$SERVICE_ACCOUNT_EMAIL \
    --role=roles/editor

default AI Platform service account service-PROJECT_NUMBER@cloud-ml.google.com.iam.gserviceaccount.com formatındaki bir e-posta adresiyle tanımlanır. Birinci adımda aldığınız Proje numarasını kullanarak, hizmet hesabı e-postasını oluşturuyoruz ve yeni hizmet hesabınıza default AI Platform service account yönetici rolünü (roles/iam.serviceAccountAdmin) atıyoruz. 

DEFAULT_AI_PLATFORM_SERVICE_ACCOUNT = f'service-{PROJECT_NUMBER}@cloud-ml.google.com.iam.gserviceaccount.com'

!gcloud iam --project $GCP_PROJECT_ID service-accounts add-iam-policy-binding \
--role=roles/iam.serviceAccountAdmin \
--member=serviceAccount:$DEFAULT_AI_PLATFORM_SERVICE_ACCOUNT \
$SERVICE_ACCOUNT_EMAIL

Tebrikler !

Artık tensorflow-cloud'u çalıştırmaya hazırsınız. Bu adımların yalnızca bir kez çalıştırılması gerektiğini unutmayın. Projenizi kurduktan sonra, aynı proje ve bucket yapılandırmasını gelecekteki çalıştırmalar için yeniden kullanabilirsiniz. Yeni not defterleri için, Google Cloud kimlik doğrulama bilgilerinizi eklemek üzere ikinci adımı tekrarlamanız gerekecektir.

Tensorflow-cloud'u çalıştırmak için gerekli olan aşağıdaki değerleri not edin. 

print(f"Your GCP_PROJECT_ID is:       {GCP_PROJECT_ID}")
print(f"Your SERVICE_ACCOUNT_NAME is: {SERVICE_ACCOUNT_NAME}")
print(f"Your BUCKET_NAME is:          {BUCKET_NAME}")

Your GCP_PROJECT_ID is:       YOUR_PROJECT_ID
Your SERVICE_ACCOUNT_NAME is: YOUR_SERVICE_ACCOUNT_NAME
Your BUCKET_NAME is:          YOUR_BUCKET_NAME