Bantuan melindungi Great Barrier Reef dengan TensorFlow pada Kaggle Bergabung Tantangan

Panduan Pengguna TFX

pengantar

TFX adalah platform machine learning (ML) skala produksi Google berdasarkan TensorFlow. Ini menyediakan kerangka kerja konfigurasi dan pustaka bersama untuk mengintegrasikan komponen umum yang diperlukan untuk menentukan, meluncurkan, dan memantau sistem pembelajaran mesin Anda.

TFX 1.0

Kami dengan senang hati mengumumkan ketersediaan TFX 1.0.0 . Ini adalah rilis pasca-beta awal TFX, yang menyediakan API dan artefak publik yang stabil. Anda dapat yakin bahwa masa depan Anda jaringan pipa TFX akan tetap bekerja setelah upgrade dalam lingkup kompatibilitas didefinisikan dalam ini RFC .

Instalasi

PythonPyPI

pip install tfx

Paket Malam

TFX juga menjadi tuan rumah paket malam di https://pypi-nightly.tensorflow.org di Google Cloud. Untuk menginstal paket nightly terbaru, silakan gunakan perintah berikut:

pip install -i https://pypi-nightly.tensorflow.org/simple --pre tfx

Ini akan menginstal paket malam untuk dependensi utama TFX seperti TensorFlow Model Analysis (TFMA), TensorFlow Data Validation (TFDV), TensorFlow Transform (TFT), TFX Basic Shared Libraries (TFX-BSL), ML Metadata (MLMD).

Tentang TFX

TFX adalah platform untuk membangun dan mengelola alur kerja ML di lingkungan produksi. TFX menyediakan yang berikut:

  • Toolkit untuk membuat pipeline ML. Pipeline TFX memungkinkan Anda mengatur alur kerja ML di beberapa platform, seperti: Apache Airflow, Apache Beam, dan Kubeflow Pipelines.

    Pelajari lebih lanjut tentang TFX pipa .

  • Kumpulan komponen standar yang dapat Anda gunakan sebagai bagian dari pipeline, atau sebagai bagian dari skrip pelatihan ML Anda. Komponen standar TFX menyediakan fungsionalitas yang telah terbukti untuk membantu Anda mulai membangun proses ML dengan mudah.

    Pelajari lebih lanjut tentang TFX komponen standar .

  • Perpustakaan yang menyediakan fungsionalitas dasar untuk banyak komponen standar. Anda dapat menggunakan pustaka TFX untuk menambahkan fungsionalitas ini ke komponen kustom Anda sendiri, atau menggunakannya secara terpisah.

    Pelajari lebih lanjut tentang perpustakaan TFX .

TFX adalah toolkit machine learning skala produksi Google berdasarkan TensorFlow. Ini menyediakan kerangka kerja konfigurasi dan pustaka bersama untuk mengintegrasikan komponen umum yang diperlukan untuk menentukan, meluncurkan, dan memantau sistem pembelajaran mesin Anda.

Komponen Standar TFX

Pipa A TFX adalah urutan komponen yang menerapkan pipa ML yang dirancang khusus untuk mesin scalable, kinerja tinggi tugas-tugas belajar. Itu termasuk pemodelan, pelatihan, penyajian inferensi, dan pengelolaan penerapan ke target online, seluler asli, dan JavaScript.

Pipa TFX biasanya mencakup komponen berikut:

  • ExampleGen adalah komponen masukan awal dari pipa yang ingests dan opsional membagi dataset masukan.

  • StatisticsGen menghitung statistik untuk dataset.

  • SchemaGen meneliti statistik dan menciptakan skema data.

  • ExampleValidator mencari anomali dan nilai-nilai yang hilang dalam dataset.

  • Transform Melakukan rekayasa fitur pada dataset.

  • Trainer melatih model.

  • Tuner seting hyperparameters model.

  • Evaluator melakukan analisis mendalam dari hasil pelatihan dan membantu Anda memvalidasi model yang diekspor, memastikan bahwa mereka "cukup baik" untuk mendorong produksi.

  • InfraValidator cek model sebenarnya servable dari infrastruktur, dan mencegah Model buruk dari didorong.

  • Pusher menyebarkan model pada infrastruktur yang melayani.

  • BulkInferrer Melakukan batch processing pada model dengan permintaan inferensi unlabelled.

Diagram ini menggambarkan aliran data antara komponen-komponen ini:

Aliran Komponen

Perpustakaan TFX

TFX mencakup perpustakaan dan komponen pipa. Diagram ini mengilustrasikan hubungan antara library TFX dan komponen pipeline:

Perpustakaan dan Komponen

TFX menyediakan beberapa paket Python yang merupakan library yang digunakan untuk membuat komponen pipeline. Anda akan menggunakan pustaka ini untuk membuat komponen saluran Anda sehingga kode Anda bisa fokus pada aspek unik dari saluran Anda.

Pustaka TFX meliputi:

  • TensorFlow Validasi Data (TFDV) adalah perpustakaan untuk menganalisis dan memvalidasi data yang pembelajaran mesin. Ini dirancang agar sangat skalabel dan bekerja dengan baik dengan TensorFlow dan TFX. TFDV termasuk:

    • Perhitungan scalable statistik ringkasan pelatihan dan data uji.
    • Integrasi dengan penampil untuk distribusi data dan statistik, serta perbandingan segi pasangan set data (Fase).
    • Pembuatan skema data otomatis untuk menggambarkan ekspektasi tentang data seperti nilai, rentang, dan kosakata yang diperlukan.
    • Penampil skema untuk membantu Anda memeriksa skema.
    • Deteksi anomali untuk mengidentifikasi anomali, seperti fitur yang hilang, nilai di luar rentang, atau jenis fitur yang salah, untuk beberapa nama.
    • Penampil anomali sehingga Anda dapat melihat fitur apa saja yang memiliki anomali dan mempelajari lebih lanjut untuk memperbaikinya.
  • TensorFlow Transform (TFT) adalah library untuk preprocessing data dengan TensorFlow. TensorFlow Transform berguna untuk data yang memerlukan full-pass, seperti:

    • Menormalkan nilai input dengan mean dan standar deviasi.
    • Mengonversi string menjadi bilangan bulat dengan menghasilkan kosakata pada semua nilai input.
    • Konversikan float ke integer dengan menetapkannya ke bucket berdasarkan distribusi data yang diamati.
  • TensorFlow digunakan untuk pelatihan model dengan TFX. Ini menyerap data pelatihan dan kode pemodelan dan membuat hasil SavedModel. Ini juga mengintegrasikan pipeline rekayasa fitur yang dibuat oleh TensorFlow Transform untuk prapemrosesan data input.

    KerasTuner digunakan untuk hyperparameters tala untuk model.

  • Analisis Model TensorFlow (TFMA) adalah library untuk mengevaluasi model TensorFlow. Ini digunakan bersama dengan TensorFlow untuk membuat EvalSavedModel, yang menjadi dasar analisisnya. Ini memungkinkan pengguna untuk mengevaluasi model mereka pada sejumlah besar data secara terdistribusi, menggunakan metrik yang sama yang ditentukan dalam pelatih mereka. Metrik ini dapat dihitung melalui potongan data yang berbeda dan divisualisasikan di notebook Jupyter.

  • TensorFlow Metadata (TFMD) menyediakan representasi standar untuk metadata yang berguna ketika mesin pelatihan model pembelajaran dengan TensorFlow. Metadata dapat diproduksi dengan tangan atau secara otomatis selama analisis data input, dan dapat digunakan untuk validasi data, eksplorasi, dan transformasi. Format serialisasi metadata meliputi:

    • Skema yang menjelaskan data tabular (misalnya, tf.Examples).
    • Kumpulan statistik ringkasan atas kumpulan data tersebut.
  • ML Metadata (MLMD) adalah library untuk merekam dan mengambil metadata yang terkait dengan pengembang ML dan ilmuwan data yang alur kerja. Paling sering metadata menggunakan representasi TFMD. MLMD mengelola kegigihan menggunakan SQL-Lite , MySQL , dan menyimpan data lain yang sejenis.

Teknologi Pendukung

Yg dibutuhkan

  • Apache Beam merupakan open source, model yang bersatu untuk mendefinisikan kedua batch dan mengalir pipa pengolahan data-paralel. TFX menggunakan Apache Beam untuk mengimplementasikan pipa paralel data. Pipa tersebut kemudian dieksekusi oleh salah satu Beam ini didukung didistribusikan pengolahan kembali-ujungnya, yang meliputi Apache Flink, Apache Spark, Google Cloud Dataflow , dan lain-lain.

Opsional

Orchestrator seperti Apache Airflow dan Kubeflow membuat konfigurasi, pengoperasian, pemantauan, dan pemeliharaan pipeline ML menjadi lebih mudah.

  • Apache Airflow adalah platform untuk pemrograman penulis, jadwal dan memantau alur kerja. TFX menggunakan Airflow untuk membuat alur kerja sebagai grafik asiklik terarah (DAG) tugas. Penjadwal Airflow menjalankan tugas pada larik pekerja sambil mengikuti dependensi yang ditentukan. Utilitas baris perintah yang kaya membuat operasi kompleks pada DAG menjadi mudah. Antarmuka pengguna yang kaya memudahkan untuk memvisualisasikan pipeline yang berjalan dalam produksi, memantau kemajuan, dan memecahkan masalah saat diperlukan. Saat alur kerja didefinisikan sebagai kode, alur kerja menjadi lebih dapat dipelihara, dapat dibuat versi, dapat diuji, dan kolaboratif.

  • Kubeflow didedikasikan untuk membuat penyebaran pembelajaran mesin (ML) alur kerja di Kubernetes sederhana, portabel dan scalable. Tujuan Kubeflow bukan untuk membuat ulang layanan lain, tetapi menyediakan cara langsung untuk menerapkan sistem sumber terbuka terbaik untuk ML ke berbagai infrastruktur. Kubeflow Pipa memungkinkan komposisi dan pelaksanaan alur kerja direproduksi pada Kubeflow, terintegrasi dengan eksperimen dan notebook pengalaman berbasis. Layanan Kubeflow Pipelines di Kubernetes mencakup penyimpanan Metadata yang dihosting, mesin orkestrasi berbasis container, server notebook, dan UI untuk membantu pengguna mengembangkan, menjalankan, dan mengelola pipeline ML kompleks dalam skala besar. Kubeflow Pipelines SDK memungkinkan pembuatan dan berbagi komponen dan komposisi pipeline secara terprogram.

Portabilitas dan Interoperabilitas

TFX dirancang untuk menjadi portabel untuk beberapa lingkungan dan kerangka kerja orkestrasi, termasuk Apache Airflow , Apache Beam dan Kubeflow . Hal ini juga portabel untuk platform yang berbeda komputasi, termasuk on-premise, dan platform awan seperti Google Cloud Platform (GCP) . Secara khusus, TFX interoperasi dengan layanan GCP serveral dikelola, seperti Cloud AI Landasan untuk Pelatihan dan Prediksi , dan Cloud Dataflow untuk data terdistribusi pengolahan untuk beberapa aspek lain dari siklus hidup ML.

Model vs. Model Tersimpan

Model

Sebuah model adalah output dari proses pelatihan. Ini adalah catatan serial dari bobot yang telah dipelajari selama proses pelatihan. Bobot ini selanjutnya dapat digunakan untuk menghitung prediksi untuk contoh input baru. Untuk TFX dan TensorFlow, 'model' mengacu pada pos pemeriksaan yang berisi bobot yang dipelajari hingga saat itu.

Perhatikan bahwa 'model' mungkin juga merujuk pada definisi grafik komputasi TensorFlow (yaitu file Python) yang menyatakan bagaimana prediksi akan dihitung. Kedua pengertian tersebut dapat digunakan secara bergantian berdasarkan konteks.

Model Tersimpan

  • Apa yang dimaksud dengan SavedModel : a, bahasa-netral, kedap udara, serialisasi dipulihkan universal model TensorFlow.
  • Mengapa penting: Ini memungkinkan sistem-tingkat yang lebih tinggi untuk menghasilkan, mengubah, dan mengkonsumsi model TensorFlow menggunakan abstraksi tunggal.

SavedModel adalah format serialisasi yang direkomendasikan untuk menyajikan model TensorFlow dalam produksi, atau mengekspor model terlatih untuk aplikasi seluler atau JavaScript asli. Misalnya, untuk mengubah model menjadi layanan REST untuk membuat prediksi, Anda dapat membuat serial model sebagai SavedModel dan menyajikannya menggunakan TensorFlow Serving. Lihat Melayani Model TensorFlow untuk informasi lebih lanjut.

Skema

Beberapa komponen TFX menggunakan deskripsi data masukan Anda disebut skema. Skema adalah turunan dari schema.proto . Skema adalah jenis protokol penyangga , lebih umum dikenal sebagai "protobuf". Skema dapat menentukan tipe data untuk nilai fitur, apakah fitur harus ada di semua contoh, rentang nilai yang diizinkan, dan properti lainnya. Salah satu manfaat menggunakan TensorFlow Data Validation (TFDV) adalah akan secara otomatis menghasilkan skema dengan menyimpulkan jenis, kategori, dan rentang dari data pelatihan.

Berikut kutipan dari protobuf skema:

...
feature {
  name: "age"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
feature {
  name: "capital-gain"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
...

Komponen berikut menggunakan skema:

  • Validasi Data TensorFlow
  • Transformasi TensorFlow

Dalam pipeline TFX, Validasi Data TensorFlow menghasilkan skema, yang digunakan oleh komponen lain.

Berkembang bersama TFX

TFX menyediakan platform yang kuat untuk setiap fase proyek pembelajaran mesin, mulai dari penelitian, eksperimen, dan pengembangan di mesin lokal Anda, hingga penerapan. Dalam rangka untuk kode menghindari duplikasi dan menghilangkan potensi pelatihan / melayani condong sangat disarankan untuk menerapkan pipa TFX Anda untuk kedua model pelatihan dan penyebaran model terlatih, dan penggunaan Transform komponen yang leverage TensorFlow Transform perpustakaan untuk kedua pelatihan dan inferensi. Dengan melakukannya, Anda akan menggunakan kode prapemrosesan dan analisis yang sama secara konsisten, dan menghindari perbedaan antara data yang digunakan untuk pelatihan dan data yang diumpankan ke model terlatih Anda dalam produksi, serta mendapat manfaat dari menulis kode itu sekali.

Eksplorasi, Visualisasi, dan Pembersihan Data

Eksplorasi, Visualisasi, dan Pembersihan Data

TFX pipa biasanya dimulai dengan ExampleGen komponen, yang menerima input data dan format sebagai tf.Examples. Seringkali ini dilakukan setelah data dipecah menjadi set data pelatihan dan evaluasi sehingga sebenarnya ada dua salinan komponen ExampleGen, masing-masing untuk pelatihan dan evaluasi. Hal ini biasanya diikuti dengan StatisticsGen komponen dan SchemaGen komponen, yang akan memeriksa data dan menyimpulkan skema data dan statistik. Skema dan statistik akan dikonsumsi oleh ExampleValidator komponen, yang akan mencari anomali, nilai-nilai yang hilang, dan tidak benar jenis data dalam data Anda. Semua komponen ini memanfaatkan kemampuan dari TensorFlow Validasi data perpustakaan.

TensorFlow Validasi Data (TFDV) adalah alat yang berharga ketika melakukan eksplorasi awal, visualisasi, dan membersihkan dari dataset Anda. TFDV memeriksa data Anda dan menyimpulkan tipe data, kategori, dan rentang, lalu secara otomatis membantu mengidentifikasi anomali dan nilai yang hilang. Ini juga menyediakan alat visualisasi yang dapat membantu Anda memeriksa dan memahami kumpulan data Anda. Setelah Selesaikan pipa Anda, Anda dapat membaca metadata dari MLMD dan menggunakan alat-alat visualisasi TFDV di notebook Jupyter untuk menganalisis data Anda.

Setelah pelatihan dan penerapan model awal Anda, TFDV dapat digunakan untuk memantau data baru dari permintaan inferensi ke model yang Anda terapkan, dan mencari anomali dan/atau penyimpangan. Ini sangat berguna untuk data deret waktu yang berubah dari waktu ke waktu sebagai akibat dari tren atau musim, dan dapat membantu menginformasikan ketika ada masalah data atau ketika model perlu dilatih ulang pada data baru.

Visualisasi data

Setelah Anda menyelesaikan menjalankan pertama data Anda melalui bagian pipa Anda yang menggunakan TFDV (biasanya StatisticsGen, SchemaGen, dan ExampleValidator), Anda dapat memvisualisasikan hasilnya dalam notebook gaya Jupyter. Untuk proses tambahan, Anda dapat membandingkan hasil ini saat melakukan penyesuaian, hingga data Anda optimal untuk model dan aplikasi Anda.

Anda pertama akan permintaan ML Metadata (MLMD) untuk mencari hasil eksekusi ini komponen ini, dan kemudian menggunakan dukungan visualisasi API di TFDV untuk menciptakan visualisasi di notebook Anda. Ini termasuk tfdv.load_statistics () dan tfdv.visualize_statistics () Menggunakan visualisasi ini Anda dapat lebih memahami karakteristik dataset Anda, dan jika memodifikasi diperlukan seperti yang diperlukan.

Mengembangkan dan Melatih Model

Rekayasa Fitur

Sebuah pipa TFX khas akan mencakup Transform komponen, yang akan melakukan rekayasa fitur dengan memanfaatkan kemampuan dari TensorFlow Transform (TFT) perpustakaan. Sebuah Transform mengkonsumsi komponen skema yang dibuat oleh komponen SchemaGen, dan berlaku transformasi data yang menciptakan, menggabungkan, dan mengubah fitur yang akan digunakan untuk melatih model Anda. Pembersihan nilai yang hilang dan konversi tipe juga harus dilakukan dalam komponen Transform jika ada kemungkinan bahwa ini juga akan ada dalam data yang dikirim untuk permintaan inferensi. Ada beberapa pertimbangan penting ketika merancang kode TensorFlow untuk pelatihan di TFX.

Pemodelan dan Pelatihan

Hasil dari komponen Transform adalah SavedModel yang akan diimpor dan digunakan dalam kode pemodelan Anda di TensorFlow, selama Trainer komponen. SavedModel ini mencakup semua transformasi rekayasa data yang dibuat dalam komponen Transform, sehingga transformasi identik dilakukan menggunakan kode yang sama persis selama pelatihan dan inferensi. Dengan menggunakan kode pemodelan, termasuk SavedModel dari komponen Transform, Anda dapat menggunakan data pelatihan dan evaluasi serta melatih model Anda.

Saat bekerja dengan model berbasis Estimator, bagian terakhir dari kode pemodelan Anda harus menyimpan model Anda sebagai SavedModel dan EvalSavedModel. Menyimpan sebagai EvalSavedModel memastikan metrik yang digunakan pada waktu pelatihan juga tersedia selama evaluasi (perhatikan bahwa ini tidak diperlukan untuk model berbasis keras). Menyimpan EvalSavedModel mengharuskan Anda mengimpor Analisis Model TensorFlow (TFMA) perpustakaan dalam komponen Trainer Anda.

import tensorflow_model_analysis as tfma
...

tfma.export.export_eval_savedmodel(
        estimator=estimator,
        export_dir_base=eval_model_dir,
        eval_input_receiver_fn=receiver_fn)

Opsional Tuner komponen dapat ditambahkan sebelum Trainer untuk menyetel hyperparameters (misalnya, jumlah lapisan) untuk model. Dengan model dan ruang pencarian hyperparameter yang diberikan, algoritma tuning akan menemukan hyperparameter terbaik berdasarkan tujuannya.

Menganalisis dan Memahami Kinerja Model

Analisis Model

Setelah pengembangan dan pelatihan model awal, penting untuk menganalisis dan benar-benar memahami kinerja model Anda. Sebuah pipa TFX khas akan mencakup Evaluator komponen, yang memanfaatkan kemampuan dari TensorFlow Analisis Model (TFMA) perpustakaan, yang menyediakan toolset daya untuk fase ini pembangunan. Komponen sebuah Evaluator mengkonsumsi model yang diekspor atas, dan memungkinkan Anda untuk menentukan daftar tfma.SlicingSpec yang dapat Anda gunakan ketika memvisualisasikan dan menganalisis kinerja model Anda. Setiap SlicingSpec mendefinisikan sepotong data pelatihan Anda yang ingin Anda memeriksa, seperti kategori tertentu untuk fitur kategoris, atau rentang tertentu untuk fitur numerik.

Misalnya, ini penting untuk mencoba memahami kinerja model Anda untuk berbagai segmen pelanggan Anda, yang dapat disegmentasikan menurut pembelian tahunan, data geografis, kelompok usia, atau jenis kelamin. Ini bisa menjadi sangat penting untuk kumpulan data dengan ekor panjang, di mana kinerja kelompok dominan dapat menutupi kinerja yang tidak dapat diterima untuk kelompok penting namun lebih kecil. Misalnya, model Anda mungkin berkinerja baik untuk karyawan rata-rata tetapi gagal total untuk staf eksekutif, dan mungkin penting bagi Anda untuk mengetahuinya.

Analisis dan Visualisasi Model

Setelah Anda menyelesaikan dijalankan pertama Anda data Anda melalui pelatihan model Anda dan menjalankan Evaluator komponen (yang memanfaatkan TFMA ) hasil pelatihan, Anda dapat memvisualisasikan hasil dalam notebook gaya Jupyter. Untuk proses tambahan, Anda dapat membandingkan hasil ini saat melakukan penyesuaian, hingga hasilnya optimal untuk model dan aplikasi Anda.

Anda pertama akan permintaan ML Metadata (MLMD) untuk mencari hasil eksekusi ini komponen ini, dan kemudian menggunakan dukungan visualisasi API di TFMA untuk menciptakan visualisasi di notebook Anda. Ini termasuk tfma.load_eval_results dan tfma.view.render_slicing_metrics Menggunakan visualisasi ini Anda dapat lebih memahami karakteristik model Anda, dan jika memodifikasi diperlukan seperti yang diperlukan.

Memvalidasi Kinerja Model

Sebagai bagian dari menganalisis kinerja model, Anda mungkin ingin memvalidasi kinerja terhadap garis dasar (seperti model yang sedang ditayangkan). Validasi model dilakukan dengan melewati kedua calon dan model dasar dengan Evaluator komponen. Evaluator menghitung metrik (misalnya AUC, kerugian) untuk kandidat dan baseline bersama dengan serangkaian metrik berbeda yang sesuai. Ambang batas kemudian dapat diterapkan dan digunakan untuk mendorong model Anda ke produksi.

Memvalidasi Bahwa Model Dapat Dilayani

Validasi Infra

Sebelum menerapkan model terlatih, Anda mungkin ingin memvalidasi apakah model tersebut benar-benar dapat ditayangkan dalam infrastruktur penyajian. Ini sangat penting dalam lingkungan produksi untuk memastikan bahwa model yang baru diterbitkan tidak mencegah sistem menyajikan prediksi. The InfraValidator komponen akan membuat penyebaran burung kenari dari model Anda dalam lingkungan sandboxed, dan secara opsional mengirim permintaan nyata untuk memeriksa bahwa model Anda bekerja dengan benar.

Target Penerapan

Setelah Anda mengembangkan dan melatih model yang Anda sukai, sekarang saatnya untuk menerapkannya ke satu atau beberapa target penerapan di mana ia akan menerima permintaan inferensi. TFX mendukung penerapan ke tiga kelas target penerapan. Model terlatih yang telah diekspor sebagai SavedModels dapat diterapkan ke salah satu atau semua target penerapan ini.

Aliran Komponen

Inferensi: Penayangan TensorFlow

TensorFlow Melayani (TFS) adalah fleksibel, tinggi-kinerja sistem melayani untuk model pembelajaran mesin, yang dirancang untuk lingkungan produksi. Ini menggunakan SavedModel dan akan menerima permintaan inferensi melalui antarmuka REST atau gRPC. Ini berjalan sebagai satu set proses pada satu atau lebih server jaringan, menggunakan salah satu dari beberapa arsitektur canggih untuk menangani sinkronisasi dan komputasi terdistribusi. Lihat dokumentasi TFS untuk informasi lebih lanjut tentang mengembangkan dan menggunakan TFS solusi.

Dalam pipa yang khas, suatu SavedModel yang telah dilatih dalam Trainer komponen pertama akan infra-divalidasi dalam InfraValidator komponen. InfraValidator meluncurkan server model TFS canary untuk benar-benar melayani SavedModel. Jika validasi telah berlalu, seorang ambisius komponen akhirnya akan menyebarkan SavedModel untuk infrastruktur TFS Anda. Ini termasuk menangani beberapa versi dan pembaruan model.

Inferensi dalam Aplikasi Seluler dan IoT Asli: TensorFlow Lite

TensorFlow Lite adalah seperangkat alat yang didedikasikan untuk membantu pengembang menggunakan TensorFlow Model mereka dilatih dalam aplikasi mobile dan IOT asli. Ini menggunakan SavedModels yang sama dengan TensorFlow Serving, dan menerapkan pengoptimalan seperti kuantisasi dan pemangkasan untuk mengoptimalkan ukuran dan kinerja model yang dihasilkan untuk tantangan berjalan di perangkat seluler dan IoT. Lihat dokumentasi TensorFlow Lite untuk informasi selengkapnya tentang penggunaan TensorFlow Lite.

Inferensi dalam JavaScript: TensorFlow JS

TensorFlow JS adalah library JavaScript untuk melatih dan menggunakan model ML di browser dan Node.js. Ini menggunakan SavedModels yang sama dengan TensorFlow Serving dan TensorFlow Lite, dan mengonversinya ke format Web TensorFlow.js. Lihat dokumentasi TensorFlow JS untuk detail selengkapnya tentang penggunaan TensorFlow JS.

Membuat Pipa TFX Dengan Aliran Udara

Periksa aliran udara lokakarya untuk rincian

Membuat Pipeline TFX Dengan Kubeflow

Mempersiapkan

Kubeflow memerlukan cluster Kubernetes untuk menjalankan pipeline dalam skala besar. Lihat Kubeflow penyebaran pedoman panduan yang melalui pilihan untuk menyebarkan cluster Kubeflow.

Konfigurasikan dan jalankan pipa TFX

Ikuti TFX pada Cloud AI Landasan Pipeline tutorial untuk menjalankan contoh pipa TFX pada Kubeflow. Komponen TFX telah ditampung untuk menyusun pipeline Kubeflow dan sampel menggambarkan kemampuan untuk mengonfigurasi pipeline untuk membaca kumpulan data publik yang besar dan menjalankan pelatihan dan langkah-langkah pemrosesan data dalam skala besar di cloud.

Antarmuka baris perintah untuk tindakan pipa

TFX menyediakan CLI terpadu yang membantu melakukan berbagai tindakan pipeline seperti membuat, memperbarui, menjalankan, membuat daftar, dan menghapus pipeline di berbagai orkestra termasuk Apache Airflow, Apache Beam, dan Kubeflow. Untuk detail, silakan ikuti petunjuk ini .