Bu sayfa, Cloud Translation API ile çevrilmiştir.
Switch to English

TFX Kullanıcı Kılavuzu

Giriş

TFX, TensorFlow'a dayalı bir Google üretim ölçeğinde makine öğrenimi (ML) platformudur. Makine öğrenimi sisteminizi tanımlamak, başlatmak ve izlemek için gereken ortak bileşenleri entegre etmek için bir yapılandırma çerçevesi ve paylaşılan kitaplıklar sağlar.

Kurulum

Python PyPI

pip install tfx

Gecelik Paketler

TFX ayrıca Google Cloud'da https://pypi-nightly.tensorflow.org adresinde gece paketleri barındırır. En son gecelik paketi yüklemek için lütfen aşağıdaki komutu kullanın:

pip install -i https://pypi-nightly.tensorflow.org/simple tfx

Bu, TensorFlow Model Analysis (TFMA), TensorFlow Data Validation (TFDV), TensorFlow Transform (TFT), TFX Basic Shared Libraries (TFX-BSL), ML Metadata (MLMD) gibi önemli TFX bağımlılıkları için gecelik paketleri yükleyecektir.

TFX hakkında

TFX, bir üretim ortamında makine öğrenimi iş akışlarını oluşturmak ve yönetmek için bir platformdur. TFX şunları sağlar:

  • Makine öğrenimi ardışık düzenleri oluşturmak için bir araç seti. TFX ardışık düzenleri, ML iş akışınızı Apache Airflow, Apache Beam ve Kubeflow Pipelines gibi çeşitli platformlarda düzenlemenizi sağlar.

    TFX ardışık düzenleri hakkında daha fazla bilgi edinin .

  • Bir ardışık düzenin parçası olarak veya ML eğitim komut dosyanızın bir parçası olarak kullanabileceğiniz bir dizi standart bileşen. TFX standart bileşenleri, bir makine öğrenimi sürecini kolayca oluşturmaya başlamanıza yardımcı olmak için kanıtlanmış işlevsellik sağlar.

    TFX standart bileşenleri hakkında daha fazla bilgi edinin .

  • Standart bileşenlerin çoğu için temel işlevselliği sağlayan kitaplıklar. Bu işlevselliği kendi özel bileşenlerinize eklemek için TFX kitaplıklarını kullanabilir veya bunları ayrı olarak kullanabilirsiniz.

    TFX kitaplıkları hakkında daha fazla bilgi edinin .

TFX, TensorFlow'a dayalı, Google üretimi ölçekli bir makine öğrenimi araç setidir. Makine öğrenimi sisteminizi tanımlamak, başlatmak ve izlemek için gereken ortak bileşenleri entegre etmek için bir yapılandırma çerçevesi ve paylaşılan kitaplıklar sağlar.

TFX Standart Bileşenleri

Bir TFX boru hattı, ilgili bir uygulamanın bileşenlerin bir dizisidir ML boru hattı özellikle ölçeklenebilir, yüksek performanslı makine görevleri öğrenmek için tasarlanmıştır. Bu, modelleme, eğitim, çıkarım sunma ve çevrimiçi, yerel mobil ve JavaScript hedeflerine dağıtımları yönetmeyi içerir.

Bir TFX işlem hattı tipik olarak aşağıdaki bileşenleri içerir:

  • ÖrnekGen , girdi veri kümesini alan ve isteğe bağlı olarak bölen bir ardışık düzenin ilk girdi bileşenidir.

  • StatisticsGen , veri kümesi için istatistikleri hesaplar.

  • SchemaGen istatistikleri inceler ve bir veri şeması oluşturur.

  • ExampleValidator , veri kümesindeki anormallikleri ve eksik değerleri arar.

  • Dönüşüm , veri kümesinde özellik mühendisliği gerçekleştirir.

  • Eğitmen modeli eğitir.

  • Tuner , modelin hiperparametrelerini ayarlar.

  • Değerlendirici , eğitim sonuçlarının derinlemesine analizini gerçekleştirir ve dışa aktarılan modellerinizi doğrulamanıza yardımcı olarak üretime aktarılabilecek "yeterince iyi" olmalarını sağlar.

  • InfraValidator , modelin aslında altyapıdan hizmet verilebilir olup olmadığını kontrol eder ve kötü modelin zorlanmasını önler.

  • İtici , modeli bir hizmet altyapısı üzerinde dağıtır.

  • BulkInferrer , etiketlenmemiş çıkarım isteklerine sahip bir model üzerinde toplu işlem gerçekleştirir.

Bu şema, bu bileşenler arasındaki veri akışını göstermektedir:

Bileşen Akışı

TFX Kitaplıkları

TFX hem kitaplıkları hem de boru hattı bileşenlerini içerir. Bu şema, TFX kitaplıkları ve işlem hattı bileşenleri arasındaki ilişkileri gösterir:

Kitaplıklar ve Bileşenler

TFX, ardışık düzen bileşenlerini oluşturmak için kullanılan kitaplıklar olan birkaç Python paketi sağlar. Bu kitaplıkları, kodunuzun ardışık düzeninizin benzersiz yönlerine odaklanabilmesi için ardışık düzenlerinizin bileşenlerini oluşturmak için kullanırsınız.

TFX kitaplıkları şunları içerir:

  • TensorFlow Veri Doğrulama (TFDV) , makine öğrenimi verilerini analiz etmek ve doğrulamak için kullanılan bir kitaplıktır. Yüksek düzeyde ölçeklenebilir olacak ve TensorFlow ve TFX ile iyi çalışacak şekilde tasarlanmıştır. TFDV şunları içerir:

    • Eğitim ve test verilerinin özet istatistiklerinin ölçeklenebilir hesaplaması.
    • Veri dağıtımları ve istatistikler için bir görüntüleyiciyle entegrasyonun yanı sıra veri kümesi çiftlerinin (Özellikler) yönlü karşılaştırması.

    • Gerekli değerler, aralıklar ve sözlükler gibi verilerle ilgili beklentileri açıklamak için otomatik veri şeması oluşturma.

    • Şemayı incelemenize yardımcı olacak bir şema görüntüleyici.

    • Eksik özellikler, aralık dışı değerler veya yanlış özellik türleri gibi anormallikleri tanımlamak için anormallik algılama.

    • Bir anormallik görüntüleyiciyi, böylece hangi özelliklerin anormallikleri olduğunu görebilir ve bunları düzeltmek için daha fazla bilgi edinebilirsiniz.

  • TensorFlow Transform (TFT) , verileri TensorFlow ile ön işlemeye yönelik bir kitaplıktır. TensorFlow Dönüşümü, aşağıdakiler gibi tam geçiş gerektiren veriler için kullanışlıdır:

    • Bir giriş değerini ortalama ve standart sapma ile normalize edin.
    • Tüm giriş değerleri üzerinden bir kelime hazinesi oluşturarak dizeleri tam sayılara dönüştürün.
    • Gözlemlenen veri dağılımına göre kayan sayıları tamsayılara dönüştürün.
  • TensorFlow , modelleri TFX ile eğitmek için kullanılır. Eğitim verilerini ve modelleme kodunu alır ve bir SavedModel sonucu oluşturur. Ayrıca, giriş verilerini önceden işlemek için TensorFlow Transform tarafından oluşturulan bir özellik mühendisliği ardışık düzenini de entegre eder.

    KerasTuner , model için hiperparametrelerin ayarlanması için kullanılır.

  • TensorFlow Model Analizi (TFMA) , TensorFlow modellerini değerlendirmek için bir kitaplıktır. Analizinin temeli haline gelen bir EvalSavedModel oluşturmak için TensorFlow ile birlikte kullanılır. Kullanıcıların, eğitmenlerinde tanımlanan aynı ölçümleri kullanarak modellerini büyük miktarda veri üzerinde dağıtılmış bir şekilde değerlendirmelerine olanak tanır. Bu ölçümler, farklı veri dilimlerinde hesaplanabilir ve Jupyter not defterlerinde görselleştirilebilir.

  • TensorFlow Meta Verileri (TFMD) , TensorFlow ile makine öğrenimi modellerini eğitirken yararlı olan meta veriler için standart temsiller sağlar. Meta veriler, giriş veri analizi sırasında elle veya otomatik olarak üretilebilir ve veri doğrulama, araştırma ve dönüştürme için tüketilebilir. Meta veri serileştirme formatları şunları içerir:

    • Tablo verilerini açıklayan bir şema (örneğin, tf.Örnekler).
    • Bu tür veri kümeleri üzerinden özet istatistikler koleksiyonu.
  • ML Meta Verileri (MLMD) , makine öğrenimi geliştiricisi ve veri bilimcisi iş akışlarıyla ilişkili meta verileri kaydetmek ve almak için kullanılan bir kitaplıktır. Çoğu zaman meta veriler TFMD temsillerini kullanır. MLMD, SQL-Lite , MySQL ve diğer benzer veri depolarını kullanarak kalıcılığı yönetir.

Destekleyici Teknolojiler

gereklidir

  • Apache Beam , hem toplu iş hem de veri akışı paralel işleme ardışık düzenlerini tanımlamak için açık kaynaklı, birleşik bir modeldir. TFX, paralel veri ardışık düzenlerini uygulamak için Apache Beam kullanır. Ardışık düzen, Apache Flink, Apache Spark, Google Cloud Dataflow ve diğerlerini içeren Beam'in desteklenen dağıtılmış işleme arka uçlarından biri tarafından yürütülür.

İsteğe bağlı

Apache Airflow ve Kubeflow gibi orkestratörler, ML ardışık düzenini yapılandırmayı, çalıştırmayı, izlemeyi ve sürdürmeyi kolaylaştırır.

  • Apache Airflow , iş akışlarını programlı olarak yazmak, planlamak ve izlemek için bir platformdur. TFX, görevlerin yönlendirilmiş döngüsel olmayan grafikleri (DAG'ler) olarak iş akışlarını yazmak için Airflow kullanır. Airflow planlayıcı, belirtilen bağımlılıkları takip ederken bir dizi çalışan üzerinde görevleri yürütür. Zengin komut satırı yardımcı programları, DAG'lerde karmaşık ameliyatları bir çırpıda gerçekleştirmeyi sağlar. Zengin kullanıcı arayüzü, üretimde çalışan boru hatlarını görselleştirmeyi, ilerlemeyi izlemeyi ve gerektiğinde sorunları gidermeyi kolaylaştırır. İş akışları kod olarak tanımlandığında, daha sürdürülebilir, versiyonlanabilir, test edilebilir ve işbirliğine dayalı hale gelirler.

  • Kubeflow , Kubernetes'teki makine öğrenimi (ML) iş akışlarının dağıtımlarını basit, taşınabilir ve ölçeklenebilir hale getirmeye adanmıştır. Kubeflow'un amacı, diğer hizmetleri yeniden oluşturmak değil, makine öğrenimi için türünün en iyisi açık kaynaklı sistemleri çeşitli altyapılara dağıtmanın basit bir yolunu sağlamaktır. Kubeflow Ardışık Düzenleri, deney ve not defteri tabanlı deneyimlerle entegre olan Kubeflow üzerinde yeniden üretilebilir iş akışlarının oluşturulmasını ve yürütülmesini sağlar. Kubernetes üzerindeki Kubeflow Pipelines hizmetleri, kullanıcıların karmaşık makine öğrenimi ardışık düzenlerini geniş ölçekte geliştirmelerine, çalıştırmalarına ve yönetmelerine yardımcı olmak için barındırılan Meta veri deposu, konteyner tabanlı düzenleme motoru, dizüstü bilgisayar sunucusu ve kullanıcı arayüzünü içerir. Kubeflow Pipelines SDK, bileşenlerin ve ardışık düzenlerin bileşiminin programlı olarak oluşturulmasına ve paylaşılmasına olanak tanır.

Taşınabilirlik ve Birlikte Çalışabilirlik

TFX, Apache Airflow , Apache Beam ve Kubeflow dahil olmak üzere birden çok ortama ve düzenleme çerçevesine taşınabilir olacak şekilde tasarlanmıştır. Şirket içi ve Google Cloud Platform (GCP) gibi bulut platformları dahil olmak üzere farklı bilgi işlem platformlarına da taşınabilir. TFX, özellikle Eğitim ve Tahmin için Cloud AI Platformu ve ML yaşam döngüsünün diğer birkaç yönü için dağıtılmış veri işleme için Cloud Dataflow gibi sunucu tarafından yönetilen GCP hizmetleriyle birlikte çalışır.

Model ve SavedModel

Modeli

Bir model, eğitim sürecinin çıktısıdır. Eğitim sürecinde öğrenilen ağırlıkların serileştirilmiş kaydıdır. Bu ağırlıklar daha sonra yeni girdi örnekleri için tahminleri hesaplamak için kullanılabilir. TFX ve TensorFlow için 'model', o noktaya kadar öğrenilen ağırlıkları içeren kontrol noktalarını ifade eder.

'Model'in aynı zamanda bir tahminin nasıl hesaplanacağını ifade eden TensorFlow hesaplama grafiğinin (yani bir Python dosyası) tanımına da atıfta bulunabileceğini unutmayın. İki duyu, bağlama göre birbirinin yerine kullanılabilir.

SavedModel

  • SavedModel nedir : TensorFlow modelinin evrensel, dilden bağımsız, hermetik, kurtarılabilir serileştirmesi.
  • Neden önemlidir : Üst düzey sistemlerin tek bir soyutlama kullanarak TensorFlow modellerini üretmesini, dönüştürmesini ve tüketmesini sağlar.

SavedModel, üretimde bir TensorFlow modelini sunmak veya yerel bir mobil veya JavaScript uygulaması için eğitimli bir modeli dışa aktarmak için önerilen serileştirme biçimidir. Örneğin, bir modeli tahmin yapmak için bir REST hizmetine dönüştürmek için, modeli bir SavedModel olarak serileştirebilir ve TensorFlow Sunumu kullanarak sunabilirsiniz. Daha fazla bilgi için TensorFlow Modeli Sunma konusuna bakın.

Şema

Bazı TFX bileşenleri, giriş verilerinizin şema adı verilen bir açıklamasını kullanır. Şema, bir schema.proto örneğidir. Şemalar, daha genel olarak "protobuf" olarak bilinen bir tür protokol arabelleğidir . Şema, bir özelliğin tüm örneklerde, izin verilen değer aralıklarında ve diğer özelliklerde bulunması gerekip gerekmediği, özellik değerleri için veri türleri belirtebilir. TensorFlow Data Validation (TFDV) kullanmanın avantajlarından biri, eğitim verilerinden türler, kategoriler ve aralıklar çıkararak otomatik olarak bir şema oluşturmasıdır.

İşte bir şema protobufundan bir alıntı:

...
feature {
  name: "age"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
feature {
  name: "capital-gain"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
...

Aşağıdaki bileşenler şemayı kullanır:

  • TensorFlow Veri Doğrulaması
  • TensorFlow Dönüşümü

Tipik bir TFX işlem hattında TensorFlow Veri Doğrulama, diğer bileşenler tarafından tüketilen bir şema oluşturur.

TFX ile Geliştirme

TFX, bir makine öğrenimi projesinin araştırma, deneme ve yerel makinenizde geliştirmeden devreye almaya kadar her aşaması için güçlü bir platform sağlar. Kod tekrarını önlemek ve eğitim / sunum olasılığını ortadan kaldırmak için, TFX ardışık düzeninizin eğitimli modellerin hem model eğitimi hem de dağıtımı için uygulanması ve hem eğitim hem de çıkarım için TensorFlow Transform kitaplığından yararlanan Dönüştürme bileşenlerini kullanmanız şiddetle önerilir. Bunu yaparak, aynı ön işleme ve analiz kodunu tutarlı bir şekilde kullanacak ve eğitim için kullanılan veriler ile üretimdeki eğitimli modellerinize beslenen veriler arasındaki farklardan kaçınacak ve bu kodu bir kez yazmaktan yararlanacaksınız.

Veri Keşfi, Görselleştirme ve Temizleme

Veri Keşfi, Görselleştirme ve Temizleme

TFX ardışık düzenleri genellikle girdi verilerini kabul eden ve tf.Examples olarak biçimlendiren bir ExampleGen bileşeniyle başlar. Genellikle bu, veriler eğitim ve değerlendirme veri kümelerine bölündükten sonra yapılır, böylece aslında ExampleGen bileşenlerinin her biri eğitim ve değerlendirme için olmak üzere iki kopyası vardır. Bunu genellikle bir StatisticsGen bileşeni ve verilerinizi inceleyecek ve bir veri şeması ve istatistik çıkaracak bir SchemaGen bileşeni izler . Şema ve istatistikler, verilerinizdeki anormallikleri, eksik değerleri ve yanlış veri türlerini arayan bir ExampleValidator bileşeni tarafından tüketilecektir. Tüm bu bileşenler, TensorFlow Veri Doğrulama kitaplığının yeteneklerinden yararlanır.

TensorFlow Veri Doğrulama (TFDV) , veri kümenizin ilk keşfini, görselleştirmesini ve temizliğini yaparken değerli bir araçtır. TFDV verilerinizi inceler ve veri türlerini, kategorileri ve aralıkları belirler ve ardından otomatik olarak anormalliklerin ve eksik değerlerin belirlenmesine yardımcı olur. Ayrıca, veri kümenizi incelemenize ve anlamanıza yardımcı olabilecek görselleştirme araçları sağlar. Ardışık düzeniniz tamamlandıktan sonra, MLMD'den meta verileri okuyabilir ve verilerinizi analiz etmek için bir Jupyter not defterinde TFDV'nin görselleştirme araçlarını kullanabilirsiniz.

İlk model eğitiminizi ve dağıtımınızı takiben, TFDV, konuşlandırılmış modellerinize yönelik çıkarım isteklerinden yeni verileri izlemek ve anormallikleri ve / veya sapmaları aramak için kullanılabilir. Bu, özellikle eğilim veya mevsimselliğin bir sonucu olarak zaman içinde değişen zaman serisi verileri için kullanışlıdır ve veri sorunları olduğunda veya modellerin yeni veriler üzerinde yeniden eğitilmesi gerektiğinde bilgilendirmeye yardımcı olabilir.

Veri goruntuleme

TFDV (tipik olarak StatisticsGen, SchemaGen ve ExampleValidator) kullanan ardışık düzeninizin bölümü boyunca verilerinizin ilk çalıştırmasını tamamladıktan sonra, sonuçları Jupyter tarzı bir not defterinde görselleştirebilirsiniz. Ek çalıştırmalar için, verileriniz modeliniz ve uygulamanız için en uygun olana kadar ayarlamalar yaparken bu sonuçları karşılaştırabilirsiniz.

Bu bileşenlerin bu yürütmelerinin sonuçlarını bulmak için önce ML Meta Verilerini (MLMD) sorgulayacaksınız ve ardından not defterinizde görselleştirmeleri oluşturmak için TFDV'deki görselleştirme desteği API'sini kullanacaksınız. Buna tfdv.load_statistics () ve tfdv.visualize_statistics () dahildir . Bu görselleştirmeyi kullanarak veri kümenizin özelliklerini daha iyi anlayabilir ve gerekirse gerektiği gibi değiştirebilirsiniz.

Model Geliştirme ve Eğitim

Özellik Mühendisliği

Tipik bir TFX işlem hattı, TensorFlow Transform (TFT) kitaplığının yeteneklerinden yararlanarak özellik mühendisliği gerçekleştirecek bir Transform bileşeni içerecektir. Bir Transform bileşeni, bir SchemaGen bileşeni tarafından oluşturulan şemayı kullanır ve modelinizi eğitmek için kullanılacak özellikleri oluşturmak, birleştirmek ve dönüştürmek için veri dönüşümlerini uygular. Eksik değerlerin temizlenmesi ve türlerin dönüştürülmesi, bunların çıkarım talepleri için gönderilen verilerde de bulunma olasılığı varsa, Dönüştür bileşeninde de yapılmalıdır. TFX'te eğitim için TensorFlow kodunu tasarlarken bazı önemli hususlar vardır .

Modelleme ve Eğitim

Bir Transform bileşeninin sonucu, bir Trainer bileşeni sırasında TensorFlow'daki modelleme kodunuzda içe aktarılacak ve kullanılacak olan bir SavedModel'dir. Bu SavedModel, Dönüşüm bileşeninde oluşturulan tüm veri mühendisliği dönüşümlerini içerir, böylece aynı dönüşümler hem eğitim hem de çıkarım sırasında tam olarak aynı kod kullanılarak gerçekleştirilir. Transform bileşeninden SavedModel dahil olmak üzere modelleme kodunu kullanarak eğitim ve değerlendirme verilerinizi kullanabilir ve modelinizi eğitebilirsiniz.

Tahminci tabanlı modellerle çalışırken, modelleme kodunuzun son bölümü, modelinizi hem SavedModel hem de EvalSavedModel olarak kaydetmelidir. EvalSavedModel olarak kaydetme, eğitim zamanında kullanılan ölçümlerin değerlendirme sırasında da kullanılabilir olmasını sağlar (bunun keras tabanlı modeller için gerekli olmadığını unutmayın). EvalSavedModel'i kaydetmek, Trainer bileşeninize TensorFlow Model Analizi (TFMA) kitaplığını içe aktarmanızı gerektirir.

import tensorflow_model_analysis as tfma
...

tfma.export.export_eval_savedmodel(
        estimator=estimator,
        export_dir_base=eval_model_dir,
        eval_input_receiver_fn=receiver_fn)

Modelin hiperparametrelerini (örneğin katman sayısı) ayarlamak için Trainer'dan önce isteğe bağlı bir Tuner bileşeni eklenebilir. Verilen model ve hiperparametrelerin arama alanıyla, ayarlama algoritması hedefe göre en iyi hiperparametreleri bulacaktır.

Model Performansını Analiz Etmek ve Anlamak

Model Analizi

İlk model geliştirme ve eğitiminin ardından, modelinizin performansını analiz etmek ve gerçekten anlamak önemlidir. Tipik bir TFX işlem hattı, bu geliştirme aşaması için bir elektrikli araç seti sağlayan TensorFlow Model Analizi (TFMA) kitaplığının yeteneklerinden yararlanan bir Değerlendirici bileşeni içerir. Bir Evaluator bileşeni, yukarıda dışa aktardığınız modeli kullanır ve modelinizin performansını görselleştirirken ve analiz ederken kullanabileceğiniz bir tfma.SlicingSpec listesi belirlemenize olanak tanır. Her SlicingSpec , incelemek istediğiniz eğitim verilerinizin, kategorik özellikler için belirli kategoriler veya sayısal özellikler için belirli aralıklar gibi bir dilimini tanımlar.

Örneğin, bu, modelinizin performansını, yıllık satın almalar, coğrafi veriler, yaş grubu veya cinsiyete göre bölümlere ayrılabilen müşterilerinizin farklı segmentleri için anlamaya çalışmak açısından önemlidir. Bu, özellikle uzun kuyruklu veri kümeleri için önemli olabilir, burada baskın bir grubun performansı önemli ancak daha küçük gruplar için kabul edilemez performansı maskeleyebilir. Örneğin, modeliniz ortalama çalışanlar için iyi performans gösterebilir ancak yönetici personel için sefil bir şekilde başarısız olabilir ve bunu bilmek sizin için önemli olabilir.

Model Analizi ve Görselleştirme

Modelinizi eğiterek ve ( TFMA'dan yararlanan) Değerlendirici bileşenini eğitim sonuçları üzerinde çalıştırarak verilerinizin ilk çalıştırmasını tamamladıktan sonra, sonuçları Jupyter tarzı bir defterde görselleştirebilirsiniz. Ek çalıştırmalar için, sonuçlarınız modeliniz ve uygulamanız için en uygun olana kadar ayarlamalar yaparken bu sonuçları karşılaştırabilirsiniz.

Bu bileşenlerin bu yürütmelerinin sonuçlarını bulmak için önce ML Meta Verilerini (MLMD) sorgulayacaksınız ve ardından not defterinizde görselleştirmeleri oluşturmak için TFMA'daki görselleştirme desteği API'sini kullanacaksınız. Bu, tfma.load_eval_results ve tfma.view.render_slicing_metrics'i içerir. Bu görselleştirmeyi kullanarak modelinizin özelliklerini daha iyi anlayabilir ve gerekirse gerektiği gibi değiştirebilirsiniz.

Model Performansını Doğrulama

Bir modelin performansını analiz etmenin bir parçası olarak, performansı bir temele göre (şu anda hizmet veren model gibi) doğrulamak isteyebilirsiniz. Model doğrulaması, Değerlendirici bileşenine hem aday hem de temel model geçirilerek gerçekleştirilir. Değerlendirici, hem aday hem de taban çizgisi için metrikleri (örneğin, AUC, kayıp) karşılık gelen bir fark ölçümleri seti ile birlikte hesaplar. Eşikler daha sonra uygulanabilir ve modellerinizi üretime itmek için kullanılabilir.

Bir Modelin Sunulabileceğini Doğrulama

Infra Validation

Eğitimli modeli dağıtmadan önce, modelin hizmet altyapısında gerçekten sunulup sunulmadığını doğrulamak isteyebilirsiniz. Bu, yeni yayınlanan modelin sistemin tahminlere hizmet etmesini engellememesini sağlamak için özellikle üretim ortamlarında önemlidir. InfraValidator bileşeni, modelinizin korumalı bir ortamda canary dağıtımını yapar ve isteğe bağlı olarak modelinizin doğru çalışıp çalışmadığını kontrol etmek için gerçek istekler gönderir.

Dağıtım Hedefleri

Memnun olduğunuz bir modeli geliştirip eğittikten sonra, şimdi onu çıkarım isteklerini alacağı bir veya daha fazla dağıtım hedefine dağıtmanın zamanı geldi. TFX, üç dağıtım hedefi sınıfına dağıtımı destekler. SavedModels olarak dışa aktarılan eğitilmiş modeller, bu dağıtım hedeflerinden herhangi birine veya tümüne dağıtılabilir.

Bileşen Akışı

Çıkarım: TensorFlow Sunumu

TensorFlow Hizmeti (TFS) , üretim ortamları için tasarlanmış makine öğrenimi modellerine yönelik esnek, yüksek performanslı bir hizmet sistemidir. Bir SavedModel kullanır ve REST veya gRPC arabirimleri üzerinden çıkarım isteklerini kabul eder. Senkronizasyon ve dağıtılmış hesaplamayı işlemek için birkaç gelişmiş mimariden birini kullanarak bir veya daha fazla ağ sunucusunda bir dizi işlem olarak çalışır. TFS çözümlerini geliştirme ve dağıtma hakkında daha fazla bilgi için TFS belgelerine bakın.

Tipik bir işlem hattında, bir Eğitmen bileşeninde eğitilmiş bir SavedModel, ilk olarak bir InfraValidator bileşeninde infra-validasyona tabi tutulacaktır . InfraValidator, SavedModel'e gerçekten hizmet etmek için bir kanarya TFS model sunucusu başlatır. Doğrulama geçtiyse, bir İtici bileşeni sonunda SavedModel'i TFS altyapınıza dağıtır. Bu, birden çok sürümü ve model güncellemelerini işlemeyi içerir.

Yerel Mobil ve IoT Uygulamalarında Çıkarım: TensorFlow Lite

TensorFlow Lite , geliştiricilerin eğitimli TensorFlow Modellerini yerel mobil ve IoT uygulamalarında kullanmalarına yardımcı olmaya adanmış bir araçlar paketidir. TensorFlow Sunumu ile aynı SavedModel'leri kullanır ve mobil ve IoT cihazlarında çalışmanın zorlukları için ortaya çıkan modellerin boyutunu ve performansını optimize etmek için niceleme ve budama gibi optimizasyonları uygular. TensorFlow Lite kullanımı hakkında daha fazla bilgi için TensorFlow Lite belgelerine bakın.

JavaScript'te Çıkarım: TensorFlow JS

TensorFlow JS , ML modellerini tarayıcıda ve Node.js üzerinde eğitmek ve dağıtmak için kullanılan bir JavaScript kitaplığıdır. TensorFlow Sunumu ve TensorFlow Lite ile aynı SavedModelleri kullanır ve bunları TensorFlow.js Web biçimine dönüştürür. TensorFlow JS kullanımı hakkında daha fazla ayrıntı için TensorFlow JS belgelerine bakın.

Hava Akışı ile TFX Ardışık Düzeni Oluşturma

Ayrıntılar için hava akışı atölyesini kontrol edin

Kubeflow ile TFX Ardışık Düzeni Oluşturma

Kurmak

Kubeflow, ardışık düzenleri uygun ölçekte çalıştırmak için bir Kubernetes kümesi gerektirir. Kubeflow kümesini dağıtma seçeneklerinde kılavuzluk eden Kubeflow dağıtım kılavuzuna bakın .

TFX işlem hattını yapılandırın ve çalıştırın

Kubeflow'da TFX örnek ardışık düzenini çalıştırmak için lütfen Cloud AI Platform Pipeline eğiticisinde TFX'i izleyin. TFX bileşenleri, Kubeflow ardışık düzenini oluşturmak için konteyner haline getirildi ve örnek, ardışık düzeni büyük genel veri kümesini okuyacak ve bulutta büyük ölçekte eğitim ve veri işleme adımlarını yürütecek şekilde yapılandırma becerisini gösteriyor.

Ardışık düzen işlemleri için komut satırı arayüzü

TFX, Apache Airflow, Apache Beam ve Kubeflow dahil olmak üzere çeşitli orkestratörlerde ardışık düzen oluşturma, güncelleme, çalıştırma, listeleme ve silme gibi tüm ardışık düzen eylemlerinin gerçekleştirilmesine yardımcı olan birleşik bir CLI sağlar. Ayrıntılar için lütfen bu talimatları izleyin.