SIG TFX-Addons topluluğuna katılın ve TFX'in daha da iyi olmasına yardımcı olun! SIG TFX Eklentilerine Katılın

TFX Kullanıcı Kılavuzu

Tanıtım

TFX, TensorFlow'a dayalı, Google üretimi ölçekli bir makine öğrenimi (ML) platformudur. Makine öğrenimi sisteminizi tanımlamak, başlatmak ve izlemek için gereken ortak bileşenleri entegre etmek için bir yapılandırma çerçevesi ve paylaşılan kitaplıklar sağlar.

TFX 1.0

Biz durumu duyurmaktan mutluyuz Tfx 1.0.0 . Bu, kararlı genel API'ler ve yapılar sağlayan TFX'in ilk beta sonrası sürümüdür. Eğer gelecek TFX boru hatları bu tanımlanan uyumluluk kapsamında bir yükseltmeden sonra çalışmaya devam edeceğinden emin olabilir RFC .

Kurulum

pitonPyPI

pip install tfx

Gecelik Paketler

TFX ayrıca her gece paketleri barındıran https://pypi-nightly.tensorflow.org tarihinde Cloud üzerinde. En son gece paketini kurmak için lütfen aşağıdaki komutu kullanın:

pip install -i https://pypi-nightly.tensorflow.org/simple --pre tfx

Bu, TensorFlow Model Analysis (TFMA), TensorFlow Data Validation (TFDV), TensorFlow Transform (TFT), TFX Basic Shared Libraries (TFX-BSL), ML Metadata (MLMD) gibi TFX'in başlıca bağımlılıkları için gecelik paketleri kuracaktır.

TFX Hakkında

TFX, bir üretim ortamında ML iş akışları oluşturmak ve yönetmek için bir platformdur. TFX aşağıdakileri sağlar:

  • ML işlem hatları oluşturmak için bir araç seti. TFX işlem hatları, ML iş akışınızı Apache Airflow, Apache Beam ve Kubeflow Pipelines gibi çeşitli platformlarda düzenlemenize olanak tanır.

    TFX boru hatları hakkında daha fazla bilgi .

  • İşlem hattının veya makine öğrenimi eğitim komut dosyanızın bir parçası olarak kullanabileceğiniz bir dizi standart bileşen. TFX standart bileşenleri, bir makine öğrenimi sürecini kolayca oluşturmaya başlamanıza yardımcı olmak için kanıtlanmış işlevsellik sağlar.

    TFX standart bileşenleri hakkında daha fazla bilgi .

  • Standart bileşenlerin çoğu için temel işlevsellik sağlayan kitaplıklar. Bu işlevi kendi özel bileşenlerinize eklemek için TFX kitaplıklarını kullanabilir veya bunları ayrı ayrı kullanabilirsiniz.

    TFX kütüphaneleri hakkında daha fazla bilgi .

TFX, TensorFlow'a dayalı, Google'ın üretim ölçeğinde bir makine öğrenimi araç takımıdır. Makine öğrenimi sisteminizi tanımlamak, başlatmak ve izlemek için gereken ortak bileşenleri entegre etmek için bir yapılandırma çerçevesi ve paylaşılan kitaplıklar sağlar.

TFX Standart Bileşenleri

Bir TFX boru hattı, ilgili bir uygulamanın bileşenlerin bir dizisidir ML boru hattı özellikle ölçeklenebilir, yüksek performanslı makine görevleri öğrenmek için tasarlanmıştır. Buna modelleme, eğitim, çıkarım sunma ve çevrimiçi, yerel mobil ve JavaScript hedeflerine dağıtımları yönetme dahildir.

Bir TFX işlem hattı tipik olarak aşağıdaki bileşenleri içerir:

  • ExampleGen isteğe giriş veri kümesi böler hastanın aldığı ve bir boru hattının ilk giriş bileşenidir.

  • StatisticsGen veri kümesi için istatistikler hesaplanır.

  • SchemaGen istatistiklerini inceler ve bir veri şemasını oluşturur.

  • ExampleValidator veri kümesindeki anomaliler ve eksik değerleri arar.

  • Transform veri kümesi üzerinde gerçekleştirdiği özellik mühendislik.

  • Eğitici modeli eğitir.

  • Tuner modelinin hyperparameters ayarlamaktadır.

  • Değerlendirici gerçekleştirdiği antrenman sonuçlarının derin analiz ve onlar üretime itilmeye "yeterince iyi" olmasını sağlayarak, dışarı aktarılan modelleri doğrulamak yardımcı olur.

  • InfraValidator itilmesini modeli altyapıdan aslında Sunulabilir olduğunu kontrol eder ve önler kötü bir model.

  • İtici bir hizmet altyapısı üzerinde modeli dağıtır.

  • BulkInferrer etiketsiz çıkarım istekleri ile bir model üzerinde gerçekleştirdiği toplu işlem.

Bu diyagram, bu bileşenler arasındaki veri akışını göstermektedir:

Bileşen Akışı

TFX Kitaplıkları

TFX, hem kitaplıkları hem de işlem hattı bileşenlerini içerir. Bu diyagram, TFX kitaplıkları ve işlem hattı bileşenleri arasındaki ilişkileri gösterir:

Kitaplıklar ve Bileşenler

TFX, ardışık düzen bileşenleri oluşturmak için kullanılan kitaplıklar olan birkaç Python paketi sağlar. Kodunuzun işlem hattınızın benzersiz yönlerine odaklanabilmesi için işlem hatlarınızın bileşenlerini oluşturmak için bu kitaplıkları kullanacaksınız.

TFX kitaplıkları şunları içerir:

  • TensorFlow Veri Doğrulama (TFDV) analizi ve doğrulama makine öğrenme verileri için bir kütüphanedir. Yüksek düzeyde ölçeklenebilir olacak ve TensorFlow ve TFX ile iyi çalışacak şekilde tasarlanmıştır. TFDV şunları içerir:

    • Eğitim ve test verilerinin özet istatistiklerinin ölçeklenebilir hesaplaması.
    • Veri dağılımları ve istatistikler için bir görüntüleyici ile entegrasyon ve ayrıca veri kümesi çiftlerinin (Yönler) yönlü karşılaştırması.

    • Gerekli değerler, aralıklar ve sözlükler gibi verilerle ilgili beklentileri tanımlamak için otomatikleştirilmiş veri şeması oluşturma.

    • Şemayı incelemenize yardımcı olacak bir şema görüntüleyici.

    • Eksik özellikler, aralık dışı değerler veya yanlış özellik türleri gibi anormallikleri belirlemek için anormallik algılama.

    • Hangi özelliklerde anormallikler olduğunu görebilmeniz ve bunları düzeltmek için daha fazlasını öğrenebilmeniz için bir anormallik görüntüleyici.

  • Transform TensorFlow (TFT) TensorFlow veri ön işlemesi için bir kütüphanedir. TensorFlow Dönüşümü, aşağıdakiler gibi tam geçiş gerektiren veriler için kullanışlıdır:

    • Bir giriş değerini ortalama ve standart sapma ile normalleştirin.
    • Tüm girdi değerleri üzerinde bir sözlük oluşturarak dizeleri tam sayılara dönüştürün.
    • Gözlenen veri dağılımına göre kovalara atayarak kayan noktaları tam sayılara dönüştürün.
  • TensorFlow TFX olan modeller eğitimi için kullanılır. Eğitim verilerini ve modelleme kodunu alır ve bir SavedModel sonucu oluşturur. Ayrıca, giriş verilerinin ön işlenmesi için TensorFlow Transform tarafından oluşturulan bir özellik mühendisliği işlem hattını da entegre eder.

    KerasTuner modeli için ayarlama hyperparameters için kullanılır.

  • TensorFlow Modeli Analizi (TFMA) TensorFlow modelleri değerlendirmek için bir kütüphanedir. Analizinin temeli olan bir EvalSavedModel oluşturmak için TensorFlow ile birlikte kullanılır. Kullanıcıların, eğitmenlerinde tanımlanan aynı metrikleri kullanarak, dağıtılmış bir şekilde büyük miktarda veri üzerinde modellerini değerlendirmelerine olanak tanır. Bu metrikler, farklı veri dilimleri üzerinden hesaplanabilir ve Jupyter not defterlerinde görselleştirilebilir.

  • TensorFlow Meta veri (TFMD) eğitim makinesi TensorFlow olan modeller öğrenme sırasında faydalıdır meta verileri için standart temsillerini sağlar. Meta veriler, girdi verilerinin analizi sırasında elle veya otomatik olarak üretilebilir ve veri doğrulama, araştırma ve dönüştürme için kullanılabilir. Meta veri serileştirme biçimleri şunları içerir:

    • Tablo verilerini açıklayan bir şema (ör. tf.Örnekler).
    • Bu tür veri kümeleri üzerinde bir özet istatistikler koleksiyonu.
  • ML Meta veri (MLMD) ML geliştirici ve veri bilim iş akışları ile ilgili meta kayıt ve almak için bir kütüphanedir. Çoğu zaman meta veriler TFMD temsillerini kullanır. MLMD kullanarak kalıcılık yöneten SQL Lite , MySQL , ve diğer benzer veri depolarını.

Destekleyici Teknolojiler

Gerekli

  • Apache Işın bir açık kaynak hem toplu tanımlanması ve veri paralel işlem boru hatlarının akışı için birleşik bir modeldir. TFX, veri paralel işlem hatlarını uygulamak için Apache Beam'i kullanır. Boru hattı daha sonra Apache FLINK Apache Spark dahil Beam'in desteklenen dağıtımlı işlem arka uçları, biri tarafından yürütülür Google Cloud veriakışı ve diğerleri.

İsteğe bağlı

Apache Airflow ve Kubeflow gibi düzenleyiciler, bir ML işlem hattının yapılandırılmasını, çalıştırılmasını, izlenmesini ve bakımını kolaylaştırır.

  • Apache Hava akımı programlı yazar, zamanlama ve monitör iş akışlarına bir platformdur. TFX, iş akışlarını görevlerin yönlendirilmiş döngüsel olmayan grafikleri (DAG'ler) olarak yazmak için Airflow'u kullanır. Airflow planlayıcı, belirtilen bağımlılıkları takip ederken bir dizi çalışan üzerinde görevleri yürütür. Zengin komut satırı yardımcı programları, DAG'lerde karmaşık ameliyatlar gerçekleştirmeyi çok kolaylaştırır. Zengin kullanıcı arabirimi, üretimde çalışan işlem hatlarını görselleştirmeyi, ilerlemeyi izlemeyi ve gerektiğinde sorunları gidermeyi kolaylaştırır. İş akışları kod olarak tanımlandığında, daha sürdürülebilir, sürümlenebilir, test edilebilir ve işbirlikçi hale gelirler.

  • Kubeflow makine öğrenme dağıtımları yapmaya adamıştır (ML) taşınabilir ve ölçeklenebilir Kubernetes basit, üzerine iş akışları. Kubeflow'un amacı, diğer hizmetleri yeniden oluşturmak değil, ML için türünün en iyisi açık kaynak sistemlerini çeşitli altyapılara dağıtmanın basit bir yolunu sağlamaktır. Kubeflow boru hattı bileşimi ve deney ve dizüstü göre deneyimleri ile entegre Kubeflow tekrarlanabilir iş akışları yürütülmesini sağlar. Kubernetes'teki Kubeflow Pipelines hizmetleri, barındırılan Meta Veri deposunu, kapsayıcı tabanlı düzenleme motorunu, not defteri sunucusunu ve kullanıcıların karmaşık ML işlem hatlarını geniş ölçekte geliştirmesine, çalıştırmasına ve yönetmesine yardımcı olmak için kullanıcı arabirimini içerir. Kubeflow Pipelines SDK, bileşenlerin oluşturulmasına ve paylaşılmasına ve işlem hatlarının programlı olarak oluşturulmasına olanak tanır.

Taşınabilirlik ve Birlikte Çalışabilirlik

TFX de dahil olmak üzere birden fazla ortamlar ve düzenleme çerçeveler, taşınabilir olacak şekilde tasarlanmıştır Apache Hava akışı , Apache Işın ve Kubeflow . Aynı zamanda gibi farklı şirket içi dahil bilgi işlem platformları, ve bulut platformlarına taşınabilir Google Cloud Platform (GSO) . Özellikle, örneğin Serveral yönetilen GSO hizmetleri ile TFX cıları Bulut AI Platformu için Eğitim ve Tahmin ve Bulut veri akışı dağıtılan veri için ML yaşam döngüsünün diğer bazı yönleri için işleme.

Model ve Kaydedilmiş Model

modeli

Model, eğitim sürecinin çıktısıdır. Eğitim sürecinde öğrenilen ağırlıkların serileştirilmiş kaydıdır. Bu ağırlıklar daha sonra yeni girdi örnekleri için tahminleri hesaplamak için kullanılabilir. TFX ve TensorFlow için 'model', o noktaya kadar öğrenilen ağırlıkları içeren kontrol noktalarını ifade eder.

'Model'in, bir tahminin nasıl hesaplanacağını ifade eden TensorFlow hesaplama grafiğinin (yani bir Python dosyası) tanımına da atıfta bulunabileceğini unutmayın. İki duyu, bağlama dayalı olarak birbirinin yerine kullanılabilir.

Kayıtlı Model

  • Ne olduğunu SavedModel : Bir TensorFlow modelinin evrensel, dil-nötr, hermetik, geri kazanılabilir seri.
  • Önemlidir Nedeni: üretmek için üst düzey sistemlerini sağlayan, dönüşümü ve tek soyutlama kullanılarak TensorFlow modellerini tüketir.

SavedModel, üretimde bir TensorFlow modeli sunmak veya yerel bir mobil veya JavaScript uygulaması için eğitilmiş bir modeli dışa aktarmak için önerilen serileştirme biçimidir. Örneğin, bir modeli tahminler yapmak için REST hizmetine dönüştürmek için modeli SavedModel olarak seri hale getirebilir ve TensorFlow Serving'i kullanarak sunabilirsiniz. Bkz Bir TensorFlow Modeli Porsiyon daha fazla bilgi için.

Şema

Bazı TFX bileşenleri şema adı verilen veri girişi için bir açıklama kullanın. Şema bir örneğidir schema.proto . Şemalar bir tür protokol tamponu daha genel olarak bir "protobuf" olarak da bilinir. Şema, bir özelliğin tüm örneklerde, izin verilen değer aralıklarında ve diğer özelliklerde bulunması gerekip gerekmediğine bakılmaksızın, özellik değerleri için veri türlerini belirleyebilir. TensorFlow Veri Doğrulaması (TFDV) kullanmanın faydalarından biri, eğitim verilerinden türler, kategoriler ve aralıklar çıkararak otomatik olarak bir şema oluşturmasıdır.

İşte bir şema protobuf'tan bir alıntı:

...
feature {
  name: "age"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
feature {
  name: "capital-gain"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
...

Aşağıdaki bileşenler şemayı kullanır:

  • TensorFlow Veri Doğrulaması
  • TensorFlow Dönüşümü

Tipik bir TFX ardışık düzeninde TensorFlow Veri Doğrulama, diğer bileşenler tarafından tüketilen bir şema oluşturur.

TFX ile Geliştirme

TFX, yerel makinenizde araştırma, deneme ve geliştirmeden dağıtıma kadar bir makine öğrenimi projesinin her aşaması için güçlü bir platform sağlar. Önlemek kod tekrarına düzen ve potansiyelini ortadan kaldırmak ise çarpık hizmet / eğitim kuvvetle modeli eğitim ve eğitilmiş modelleri konuşlandırılması her ikisi için TFX boru hattı uygulamak ve kullanılması önerilir Transform kaldıraç bileşenlerini TensorFlow Transform eğitim ve çıkarım ikisi için kütüphane. Bunu yaparak, aynı ön işleme ve analiz kodunu tutarlı bir şekilde kullanacak ve eğitim için kullanılan veriler ile üretimde eğitilmiş modellerinize beslenen veriler arasındaki farklardan kaçınacak ve aynı zamanda bu kodu bir kez yazmanın avantajından yararlanacaksınız.

Veri Keşfi, Görselleştirme ve Temizleme

Veri Keşfi, Görselleştirme ve Temizleme

TFX boru hatları, genellikle, bir ile başlar ExampleGen bu tf.Examples gibi giriş veri ve biçimlerini kabul bileşen. Genellikle bu, veriler eğitim ve değerlendirme veri kümelerine bölündükten sonra yapılır, böylece her biri eğitim ve değerlendirme için birer tane olmak üzere ExampleGen bileşenlerinin iki kopyası olur. Bu tipik bir izlemektedir StatisticsGen bileşeni ve bir SchemaGen verilerinizi inceleme ve veri şema ve istatistik sonucuna edecek bileşeni. Şema ve istatistikler bir tarafından tüketilen edilecektir ExampleValidator Verilerinizde anomaliler, eksik değerler ve hatalı veri türleri için bakacağız bileşeni. Bu bileşenlerin hepsi yeteneklerini kaldıraç TensorFlow Veri Doğrulama kütüphanesine.

TensorFlow Veri Doğrulama (TFDV) ilk keşif, görselleştirme yapıyor ve veri kümesinin temizlerken değerli bir araçtır. TFDV verilerinizi inceler ve veri türleri, kategorileri ve aralıkları hakkında çıkarımlar yapar ve ardından anormallikleri ve eksik değerleri otomatik olarak belirlemeye yardımcı olur. Ayrıca, veri kümenizi incelemenize ve anlamanıza yardımcı olabilecek görselleştirme araçları sağlar. Senin boru hattı tamamlanıncaya sonra meta verileri okuyabilir MLMD ve verilerinizi analiz etmek için Jupyter defterde TFDV görselleştirilmesi araçlarını kullanın.

İlk model eğitiminizi ve dağıtımınızı takiben, TFDV, çıkarım taleplerinden dağıtılan modellerinize gelen yeni verileri izlemek ve anormallikleri ve/veya sapmaları aramak için kullanılabilir. Bu, özellikle trend veya mevsimselliğin bir sonucu olarak zaman içinde değişen zaman serisi verileri için kullanışlıdır ve veri sorunları olduğunda veya modellerin yeni veriler üzerinde ne zaman yeniden eğitilmesi gerektiğine dair bilgi vermeye yardımcı olabilir.

Veri goruntuleme

İşlem hattınızın TFDV (tipik olarak StatisticsGen, SchemaGen ve ExampleValidator) kullanan bölümündeki verilerinizi ilk çalıştırmanızı tamamladıktan sonra, sonuçları Jupyter stili bir not defterinde görselleştirebilirsiniz. Ek çalıştırmalar için, verileriniz modeliniz ve uygulamanız için en uygun olana kadar ayarlamalar yaparken bu sonuçları karşılaştırabilirsiniz.

Önce sorgular ML Meta Verileri (MLMD) bu bileşenlerin bu infazların sonuçları bulmak için, ve sonra not defterine görsellik açısından TFDV görselleştirme destek API kullanmak. Buna, tfdv.load_statistics () ve tfdv.visualize_statistics () daha iyi veri kümesi özelliklerini anlayabilir bu görselleştirme kullanarak ve değiştirebileceği gerektiğinde gerektiği gibi eğer.

Model Geliştirme ve Eğitim

Özellik Mühendisliği

Tipik bir TFX boru hattı bir içerecektir Transform yeteneklerini yararlanarak özellik mühendislik yapacak bileşeni TensorFlow Transform (TFT) kütüphanesinde. Bir bileşen tüketen bir SchemaGen bileşeni tarafından oluşturulan şema Transform ve uygular veri dönüşümleri oluşturmak birleştirmek, ve model eğitmek için kullanılacak özellik dönüşümü. Eksik değerlerin temizlenmesi ve türlerin dönüştürülmesi, bunların çıkarım istekleri için gönderilen verilerde de bulunma olasılığı varsa, Dönüştür bileşeninde de yapılmalıdır. Bazı önemli hususlar vardır Tfx eğitim için TensorFlow kodunu tasarlarken.

Modelleme ve Eğitim

Bir Transform bileşeni sonucu bir sırasında, ithal ve TensorFlow daki modelleme kodunda kullanılacak bir SavedModel olduğunu Eğitici bileşeni. Bu SavedModel, Transform bileşeninde oluşturulan tüm veri mühendisliği dönüşümlerini içerir, böylece aynı dönüşümler hem eğitim hem de çıkarım sırasında tam olarak aynı kod kullanılarak gerçekleştirilir. Transform bileşeninden SavedModel dahil modelleme kodunu kullanarak eğitim ve değerlendirme verilerinizi tüketebilir ve modelinizi eğitebilirsiniz.

Tahminci tabanlı modellerle çalışırken, modelleme kodunuzun son bölümü modelinizi hem SavedModel hem de EvalSavedModel olarak kaydetmelidir. EvalSavedModel olarak kaydetme, eğitim zamanında kullanılan metriklerin değerlendirme sırasında da kullanılabilir olmasını sağlar (bunun keras tabanlı modeller için gerekli olmadığını unutmayın). Bir EvalSavedModel kaydetme içe gerektirir TensorFlow Modeli Analizi (TFMA) sizin Eğitici bileşeninde kütüphane.

import tensorflow_model_analysis as tfma
...

tfma.export.export_eval_savedmodel(
        estimator=estimator,
        export_dir_base=eval_model_dir,
        eval_input_receiver_fn=receiver_fn)

İsteğe bağlı bir Radyo bileşeni Eğitici önce model için ayar hyperparameters (örneğin, katman sayısı) ilave edilebilir. Verilen model ve hiperparametrelerin arama alanı ile ayar algoritması, amaca dayalı olarak en iyi hiperparametreleri bulacaktır.

Model Performansını Analiz Etme ve Anlama

Model Analizi

İlk model geliştirme ve eğitimin ardından, modelinizin performansını analiz etmek ve gerçekten anlamak önemlidir. Tipik TFX boru hattı bir içerecektir Değerlendirici yeteneklerini yararlanır bileşeni, TensorFlow Modeli Analizi (TFMA) Bu gelişme aşaması için bir güç araç seti sağlar kütüphane,. Bir Değerlendirici bileşeni yukarıda ihraç bu modeli tüketir ve bir listesini belirlemenizi sağlar tfma.SlicingSpec Eğer görselleştirme ve modelin performansını analiz ederken kullanabileceği. Her SlicingSpec böyle kategorik özellikler veya sayısal özellikler için belirli aralıklar için belirli kategoriler olarak incelemek istediğiniz eğitim verileri, bir dilim tanımlar.

Örneğin, bu, modelinizin, yıllık satın alma işlemlerine, coğrafi verilere, yaş grubuna veya cinsiyete göre segmentlere ayrılabilen müşterilerinizin farklı segmentleri için performansını anlamaya çalışmak için önemli olacaktır. Bu, baskın bir grubun performansının önemli, ancak daha küçük gruplar için kabul edilemez performansı maskeleyebileceği uzun kuyruklu veri kümeleri için özellikle önemli olabilir. Örneğin, modeliniz ortalama çalışanlar için iyi performans gösterebilir, ancak yönetici personel için sefil bir şekilde başarısız olabilir ve bunu bilmeniz sizin için önemli olabilir.

Model Analizi ve Görselleştirme

Eğer modeli eğitim ve çalışan yoluyla verilerinizin ilk çalışmasını tamamladıktan sonra Değerlendirici (güçlendirir bileşeni TFMA eğitim sonuçlarına), bir Jupyter tarzı dizüstü sonuçları görüntüleyebilir. Ek çalıştırmalar için, sonuçlarınız modeliniz ve uygulamanız için en uygun olana kadar ayarlamalar yaparken bu sonuçları karşılaştırabilirsiniz.

Önce sorgular ML Meta Verileri (MLMD) bu bileşenlerin bu infazların sonuçları bulmak için, ve sonra not defterine görsellik açısından TFMA görselleştirme destek API kullanmak. Bunlar arasında tfma.load_eval_results ve tfma.view.render_slicing_metrics daha iyi modelin özelliklerini anlayabilir bu görselleştirme kullanarak ve gerekli değiştirirseniz gerektiği gibi.

Model Performansını Doğrulama

Bir modelin performansını analiz etmenin bir parçası olarak, performansı bir temele (şu anda sunulan model gibi) göre doğrulamak isteyebilirsiniz. Model doğrulama için bir aday ve referans model hem geçirilmesiyle gerçekleştirilir Değerlendirici bileşeni. Değerlendirici, karşılık gelen bir diff metrik seti ile birlikte hem aday hem de temel için metrikleri (örneğin AUC, kayıp) hesaplar. Eşikler daha sonra uygulanabilir ve modellerinizi üretime itmek için kullanılabilir.

Bir Modelin Sunulabileceğini Doğrulama

Kızılötesi Doğrulama

Eğitilen modeli dağıtmadan önce, modelin hizmet veren altyapıda gerçekten sunulabilir olup olmadığını doğrulamak isteyebilirsiniz. Bu, yeni yayınlanan modelin sistemin tahmin sunmasını engellemediğinden emin olmak için üretim ortamlarında özellikle önemlidir. InfraValidator bileşeni korumalı ortamında modelin kanarya dağıtımını yapmak ve isteğe bağlı modeliniz doğru şekilde çalıştığını kontrol etmek gerçek istekleri gönderir.

Dağıtım Hedefleri

Memnun olduğunuz bir model geliştirip eğittikten sonra, şimdi onu çıkarım isteklerini alacağı bir veya daha fazla dağıtım hedefine dağıtmanın zamanı geldi. TFX, üç dağıtım hedefi sınıfına dağıtımı destekler. SavedModels olarak dışa aktarılan eğitilmiş modeller, bu dağıtım hedeflerinin herhangi birine veya tümüne dağıtılabilir.

Bileşen Akışı

Çıkarım: TensorFlow Sunumu

TensorFlow Servis (TFS) üretim ortamları için tasarlanmış makine öğrenme modellerinde, bir esnek, yüksek performanslı hizmet sistemidir. Bir SavedModel kullanır ve REST veya gRPC arabirimleri üzerinden çıkarım isteklerini kabul eder. Senkronizasyon ve dağıtılmış hesaplamayı işlemek için birkaç gelişmiş mimariden birini kullanarak bir veya daha fazla ağ sunucusunda bir dizi işlem olarak çalışır. Bkz TFS belgelerine gelişmekte olan ve TFS çözümleri dağıtma hakkında daha fazla bilgi için.

Tipik bir boru hattı olarak, bir eğitim gördü bir SavedModel Eğitmen bileşeninin ilk olarak bir de kızıl-valide olacağını InfraValidator bileşeni. InfraValidator, SavedModel'e gerçekten hizmet etmek için bir kanarya TFS model sunucusunu başlatır. Doğrulama geçmişse, bir İtici bileşeni nihayet TFS altyapısına SavedModel dağıtacak. Bu, birden çok sürümün ve model güncellemelerinin ele alınmasını içerir.

Yerel Mobil ve IoT Uygulamalarında Çıkarım: TensorFlow Lite

TensorFlow Lite yerli mobil ve IOT uygulamalarında onların eğitimli TensorFlow Modelleri kullanmak yardım geliştiriciler adanmıştır araçları paketidir. TensorFlow Serving ile aynı SavedModel'leri kullanır ve mobil ve IoT cihazlarda çalıştırmanın zorlukları için ortaya çıkan modellerin boyutunu ve performansını optimize etmek için niceleme ve budama gibi optimizasyonlar uygular. TensorFlow Lite'ı kullanma hakkında daha fazla bilgi için TensorFlow Lite belgelerine bakın.

JavaScript'te Çıkarım: TensorFlow JS

TensorFlow JS tarayıcıda ve Node.js. üzerinde ML modelleri eğitim ve dağıtmak için bir JavaScript kütüphanesidir TensorFlow Serving ve TensorFlow Lite ile aynı SavedModel'leri kullanır ve bunları TensorFlow.js Web formatına dönüştürür. TensorFlow JS'yi kullanma hakkında daha fazla ayrıntı için TensorFlow JS belgelerine bakın.

Hava Akışı ile TFX İşlem Hattı Oluşturma

Kontrol akımı atölye detayları için

Kubeflow ile TFX İşlem Hattı Oluşturma

Kurmak

Kubeflow, işlem hatlarını geniş ölçekte çalıştırmak için bir Kubernetes kümesi gerektirir. İçin seçenekler arasında Kubeflow dağıtım kılavuz o kılavuzuna bakın Kubeflow kümesi dağıtma.

TFX ardışık düzenini yapılandırın ve çalıştırın

Takip edin Bulut AI Platformu Boru Hattı öğretici üzerinde Tfx Kubeflow üzerinde TFX örnek boru hattını çalıştırmak için. TFX bileşenleri, Kubeflow ardışık düzenini oluşturmak için kapsayıcılaştırılmıştır ve örnek, ardışık düzeni büyük genel veri kümesini okuyacak ve bulutta geniş ölçekte eğitim ve veri işleme adımlarını yürütecek şekilde yapılandırma yeteneğini göstermektedir.

Ardışık düzen eylemleri için komut satırı arabirimi

TFX, Apache Airflow, Apache Beam ve Kubeflow dahil olmak üzere çeşitli düzenleyicilerde ardışık düzen oluşturma, güncelleme, çalıştırma, listeleme ve silme gibi tüm işlem hattı eylemlerinin gerçekleştirilmesine yardımcı olan birleşik bir CLI sağlar. Ayrıntılar için lütfen aşağıdaki bu talimatları .