Bu sayfa, Cloud Translation API ile çevrilmiştir.

Kubernetes ile TensorFlow Hizmetini Kullanın

Bu eğitimde, TensorFlow ResNet modeline hizmet vermek için Docker kapsayıcılarında çalışan TensorFlow Hizmet bileşenlerinin nasıl kullanılacağı ve hizmet kümesinin Kubernetes ile nasıl dağıtılacağı gösterilmektedir.

TensorFlow Sunumu hakkında daha fazla bilgi edinmek için TensorFlow Sunumu temel eğitimini ve TensorFlow Sunumu gelişmiş eğitimini öneriyoruz.

TensorFlow ResNet modeli hakkında daha fazla bilgi edinmek için TensorFlow'daki ResNet'i okumanızı öneririz.

Bölüm 1, ortam kurulumunuzu alır
Bölüm 2, yerel Docker sunum görüntüsünün nasıl çalıştırılacağını gösterir
Bölüm 3, Kubernetes'te nasıl dağıtılacağını gösterir.

Bölüm 1: Kurulum

Başlamadan önce Docker'ı yükleyin .

ResNet SavedModel'i indirin

Zaten bir tane varsa, yerel modeller dizinimizi temizleyelim:

rm -rf /tmp/resnet

Derin artık ağlar veya kısaca ResNet'ler, çok derin evrişimli sinir ağlarının eğitilmesine olanak sağlamak için kimlik eşlemeleri konusunda çığır açan bir fikir sağladı. Örneğimiz için, ImageNet veri kümesi için ResNet'in TensorFlow SavedModel'ini indireceğiz.

# Download Resnet model from TF Hub
wget https://tfhub.dev/tensorflow/resnet_50/classification/1?tf-hub-format=compressed -o resnet.tar.gz

# Extract SavedModel into a versioned subfolder ‘123’
mkdir -p /tmp/resnet/123
tar xvfz resnet.tar.gz -C /tmp/resnet/123/

SavedModel'e sahip olduğumuzu doğrulayabiliriz:

$ ls /tmp/resnet/*
saved_model.pb  variables

Bölüm 2: Docker'da Çalıştırma

Dağıtım için görüntüyü kaydet

Şimdi bir sunum görüntüsü almak ve tüm değişiklikleri Kubernetes dağıtımı için yeni bir $USER/resnet_serving görüntüsüne uygulamak istiyoruz.

İlk önce hizmet veren bir imajı daemon olarak çalıştırıyoruz:

docker run -d --name serving_base tensorflow/serving

Daha sonra ResNet model verilerini konteynerin model klasörüne kopyalıyoruz:

docker cp /tmp/resnet serving_base:/models/resnet

Son olarak konteyneri ResNet modeline hizmet etmeye adadık:

docker commit --change "ENV MODEL_NAME resnet" serving_base \
  $USER/resnet_serving

Şimdi servis tabanı kabını durduralım

docker kill serving_base
docker rm serving_base

Sunucuyu başlat

Şimdi kapsayıcıyı ResNet modeliyle başlatalım, böylece hizmete hazır olsun ve gRPC bağlantı noktası 8500'ü açığa çıkaralım:

docker run -p 8500:8500 -t $USER/resnet_serving &

Sunucuyu sorgula

Müşteri için TensorFlow Serving GitHub deposunu klonlamamız gerekecek:

git clone https://github.com/tensorflow/serving
cd serving

Sunucuyu resnet_client_grpc.py ile sorgulayın. İstemci bir görüntüyü indirir ve bunu ImageNet kategorilerine göre sınıflandırılmak üzere gRPC üzerinden gönderir.

tools/run_in_docker.sh python tensorflow_serving/example/resnet_client_grpc.py

Bu, aşağıdaki gibi bir çıktıyla sonuçlanmalıdır:

outputs {
  key: "classes"
  value {
    dtype: DT_INT64
    tensor_shape {
      dim {
        size: 1
      }
    }
    int64_val: 286
  }
}
outputs {
  key: "probabilities"
  value {
    dtype: DT_FLOAT
    tensor_shape {
      dim {
        size: 1
      }
      dim {
        size: 1001
      }
    }
    float_val: 2.41628322328e-06
    float_val: 1.90121829746e-06
    float_val: 2.72477100225e-05
    float_val: 4.42638565801e-07
    float_val: 8.98362372936e-07
    float_val: 6.84421956976e-06
    float_val: 1.66555237229e-05
...
    float_val: 1.59407863976e-06
    float_val: 1.2315689446e-06
    float_val: 1.17812135159e-06
    float_val: 1.46365800902e-05
    float_val: 5.81210713335e-07
    float_val: 6.59980651108e-05
    float_val: 0.00129527016543
  }
}
model_spec {
  name: "resnet"
  version {
    value: 123
  }
  signature_name: "serving_default"
}

İşe yarıyor! Sunucu bir kedi görüntüsünü başarıyla sınıflandırıyor!

Bölüm 3: Kubernetes'te Dağıtım

Bu bölümde , Google Cloud Platform'da Kubernetes ile bir sunum kümesi dağıtmak için Bölüm 0'da yerleşik konteyner görüntüsünü kullanıyoruz.

GCloud projesine giriş

Burada tensorflow-serving adında bir gcloud projesi oluşturup oturum açtığınızı varsayıyoruz.

gcloud auth login --project tensorflow-serving

Kapsayıcı kümesi oluşturma

Öncelikle hizmet dağıtımı için bir Google Kubernetes Engine kümesi oluşturuyoruz.

$ gcloud container clusters create resnet-serving-cluster --num-nodes 5

Hangisi şöyle bir çıktı vermelidir:

Creating cluster resnet-serving-cluster...done.
Created [https://container.googleapis.com/v1/projects/tensorflow-serving/zones/us-central1-f/clusters/resnet-serving-cluster].
kubeconfig entry generated for resnet-serving-cluster.
NAME                       ZONE           MASTER_VERSION  MASTER_IP        MACHINE_TYPE   NODE_VERSION  NUM_NODES  STATUS
resnet-serving-cluster  us-central1-f  1.1.8           104.197.163.119  n1-standard-1  1.1.8         5          RUNNING

gcloud kapsayıcı komutu için varsayılan kümeyi ayarlayın ve küme kimlik bilgilerini kubectl'e iletin.

gcloud config set container/cluster resnet-serving-cluster
gcloud container clusters get-credentials resnet-serving-cluster

bunun sonucunda:

Fetching cluster endpoint and auth data.
kubeconfig entry generated for resnet-serving-cluster.

Docker görüntüsünü yükleyin

Şimdi görselimizi Google Cloud Platform'da çalıştırabilmek için Google Container Registry'ye aktaralım.

Öncelikle $USER/resnet_serving imajını Container Registry formatını ve proje ismimizi kullanarak etiketliyoruz,

docker tag $USER/resnet_serving gcr.io/tensorflow-serving/resnet

Daha sonra Docker'ı gcloud'u kimlik bilgisi yardımcısı olarak kullanacak şekilde yapılandırıyoruz:

gcloud auth configure-docker

Daha sonra görüntüyü Kayıt Defterine gönderiyoruz,

docker push gcr.io/tensorflow-serving/resnet

Kubernetes Dağıtımı ve Hizmeti Oluşturun

Dağıtım, Kubernetes Dağıtımı tarafından kontrol edilen resnet_inference sunucusunun 3 kopyasından oluşur. Replikalar, Harici Yük Dengeleyici ile birlikte bir Kubernetes Hizmeti tarafından harici olarak kullanıma sunulur.

Bunları Kubernetes config resnet_k8s.yaml örneğini kullanarak oluşturuyoruz.

kubectl create -f tensorflow_serving/example/resnet_k8s.yaml

Çıkış ile:

deployment "resnet-deployment" created
service "resnet-service" created

Dağıtımın ve bölmelerin durumunu görüntülemek için:

$ kubectl get deployments
NAME                    DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
resnet-deployment    3         3         3            3           5s

$ kubectl get pods
NAME                         READY     STATUS    RESTARTS   AGE
resnet-deployment-bbcbc   1/1       Running   0          10s
resnet-deployment-cj6l2   1/1       Running   0          10s
resnet-deployment-t1uep   1/1       Running   0          10s

Hizmetin durumunu görüntülemek için:

$ kubectl get services
NAME                    CLUSTER-IP       EXTERNAL-IP       PORT(S)     AGE
resnet-service       10.239.240.227   104.155.184.157   8500/TCP    1m

Her şeyin çalışır duruma gelmesi biraz zaman alabilir.

$ kubectl describe service resnet-service
Name:           resnet-service
Namespace:      default
Labels:         run=resnet-service
Selector:       run=resnet-service
Type:           LoadBalancer
IP:         10.239.240.227
LoadBalancer Ingress:   104.155.184.157
Port:           <unset> 8500/TCP
NodePort:       <unset> 30334/TCP
Endpoints:      <none>
Session Affinity:   None
Events:
  FirstSeen LastSeen    Count   From            SubobjectPath   Type        Reason      Message
  --------- --------    -----   ----            -------------   --------    ------      -------
  1m        1m      1   {service-controller }           Normal      CreatingLoadBalancer    Creating load balancer
  1m        1m      1   {service-controller }           Normal      CreatedLoadBalancer Created load balancer

Hizmetin harici IP adresi LoadBalancer Girişi'nin yanında listelenir.

Modeli sorgula

Artık hizmeti yerel ana makinemizden harici adresinde sorgulayabiliriz.

$ tools/run_in_docker.sh python \
  tensorflow_serving/example/resnet_client_grpc.py \
  --server=104.155.184.157:8500
outputs {
  key: "classes"
  value {
    dtype: DT_INT64
    tensor_shape {
      dim {
        size: 1
      }
    }
    int64_val: 286
  }
}
outputs {
  key: "probabilities"
  value {
    dtype: DT_FLOAT
    tensor_shape {
      dim {
        size: 1
      }
      dim {
        size: 1001
      }
    }
    float_val: 2.41628322328e-06
    float_val: 1.90121829746e-06
    float_val: 2.72477100225e-05
    float_val: 4.42638565801e-07
    float_val: 8.98362372936e-07
    float_val: 6.84421956976e-06
    float_val: 1.66555237229e-05
...
    float_val: 1.59407863976e-06
    float_val: 1.2315689446e-06
    float_val: 1.17812135159e-06
    float_val: 1.46365800902e-05
    float_val: 5.81210713335e-07
    float_val: 6.59980651108e-05
    float_val: 0.00129527016543
  }
}
model_spec {
  name: "resnet"
  version {
    value: 1538687457
  }
  signature_name: "serving_default"
}

Kubernetes'te hizmet olarak hizmet veren ResNet modelini başarıyla devreye aldınız!