Bergabunglah dengan komunitas SIG TFX-Addons dan bantu menjadikan TFX lebih baik!
Halaman ini diterjemahkan oleh Cloud Translation API.
Switch to English

Panduan Pengguna TFX

pengantar

TFX adalah platform pembelajaran mesin (ML) skala produksi Google berdasarkan TensorFlow. Ini menyediakan kerangka kerja konfigurasi dan pustaka bersama untuk mengintegrasikan komponen umum yang diperlukan untuk menentukan, meluncurkan, dan memantau sistem pembelajaran mesin Anda.

Instalasi

Python PyPI

pip install tfx

Paket Malam

TFX juga menghosting paket nightly di https://pypi-nightly.tensorflow.org di Google Cloud. Untuk menginstal paket nightly terbaru, gunakan perintah berikut:

pip install -i https://pypi-nightly.tensorflow.org/simple tfx

Ini akan menginstal paket nightly untuk dependensi utama TFX seperti TensorFlow Model Analysis (TFMA), TensorFlow Data Validation (TFDV), TensorFlow Transform (TFT), TFX Basic Shared Libraries (TFX-BSL), ML Metadata (MLMD).

Tentang TFX

TFX adalah platform untuk membangun dan mengelola alur kerja ML di lingkungan produksi. TFX menyediakan yang berikut ini:

  • Toolkit untuk membuat pipeline ML. Pipeline TFX memungkinkan Anda mengatur alur kerja ML di beberapa platform, seperti: Apache Airflow, Apache Beam, dan Kubeflow Pipelines.

    Pelajari lebih lanjut tentang pipeline TFX .

  • Sekumpulan komponen standar yang dapat Anda gunakan sebagai bagian dari pipeline, atau sebagai bagian dari skrip pelatihan ML Anda. Komponen standar TFX menyediakan fungsionalitas yang telah terbukti untuk membantu Anda mulai membangun proses ML dengan mudah.

    Pelajari lebih lanjut tentang komponen standar TFX .

  • Pustaka yang menyediakan fungsionalitas dasar untuk banyak komponen standar. Anda dapat menggunakan pustaka TFX untuk menambahkan fungsionalitas ini ke komponen kustom Anda sendiri, atau menggunakannya secara terpisah.

    Pelajari lebih lanjut tentang perpustakaan TFX .

TFX adalah toolkit pembelajaran mesin berskala produksi Google berdasarkan TensorFlow. Ini menyediakan kerangka kerja konfigurasi dan pustaka bersama untuk mengintegrasikan komponen umum yang diperlukan untuk menentukan, meluncurkan, dan memantau sistem pembelajaran mesin Anda.

Komponen Standar TFX

Pipeline TFX adalah urutan komponen yang mengimplementasikan pipeline ML yang dirancang khusus untuk tugas machine learning berperforma tinggi yang dapat diskalakan. Itu termasuk pemodelan, pelatihan, penyajian inferensi, dan pengelolaan penerapan ke target online, seluler asli, dan JavaScript.

Pipeline TFX biasanya mencakup komponen berikut:

  • ExampleGen adalah komponen masukan awal dari pipeline yang menyerap dan secara opsional membagi set data masukan.

  • StatisticsGen menghitung statistik untuk kumpulan data.

  • SchemaGen memeriksa statistik dan membuat skema data.

  • ExampleValidator mencari anomali dan nilai yang hilang dalam kumpulan data.

  • Transform melakukan rekayasa fitur pada set data.

  • Pelatih melatih model.

  • Tuner menyetel hyperparameter model.

  • Service Checker melakukan analisis mendalam terhadap hasil pelatihan dan membantu Anda memvalidasi model yang diekspor, memastikan model tersebut "cukup baik" untuk didorong ke produksi.

  • InfraValidator memeriksa model yang sebenarnya dapat dilayani dari infrastruktur, dan mencegah model yang buruk didorong.

  • Pendorong menerapkan model pada infrastruktur layanan.

  • BulkInferrer melakukan pemrosesan batch pada model dengan permintaan inferensi yang tidak berlabel.

Diagram ini menggambarkan aliran data antara komponen-komponen ini:

Aliran Komponen

Perpustakaan TFX

TFX menyertakan library dan komponen pipeline. Diagram ini menggambarkan hubungan antara library TFX dan komponen pipeline:

Perpustakaan dan Komponen

TFX menyediakan beberapa paket Python yang merupakan pustaka yang digunakan untuk membuat komponen pipeline. Anda akan menggunakan pustaka ini untuk membuat komponen pipeline Anda sehingga kode Anda dapat fokus pada aspek unik pipeline Anda.

Perpustakaan TFX meliputi:

  • TensorFlow Data Validation (TFDV) adalah library untuk menganalisis dan memvalidasi data machine learning. Ini dirancang agar sangat skalabel dan bekerja dengan baik dengan TensorFlow dan TFX. TFDV meliputi:

    • Perhitungan skalabel dari statistik ringkasan data pelatihan dan pengujian.
    • Integrasi dengan penampil untuk distribusi data dan statistik, serta perbandingan segi pasangan kumpulan data (Facets).

    • Pembuatan skema data otomatis untuk mendeskripsikan ekspektasi tentang data seperti nilai, rentang, dan kosakata yang diperlukan.

    • Penampil skema untuk membantu Anda memeriksa skema.

    • Deteksi anomali untuk mengidentifikasi anomali, seperti fitur yang hilang, nilai di luar jangkauan, atau jenis fitur yang salah, untuk beberapa nama.

    • Penampil anomali sehingga Anda dapat melihat fitur apa yang memiliki anomali dan mempelajari lebih lanjut untuk memperbaikinya.

  • TensorFlow Transform (TFT) adalah library untuk praproses data dengan TensorFlow. Transformasi TensorFlow berguna untuk data yang membutuhkan full-pass, seperti:

    • Normalisasi nilai input dengan mean dan deviasi standar.
    • Ubah string menjadi bilangan bulat dengan menghasilkan kosakata di semua nilai input.
    • Ubah float menjadi integer dengan menetapkannya ke bucket berdasarkan distribusi data yang diamati.
  • TensorFlow digunakan untuk model pelatihan dengan TFX. Ini mencerna data pelatihan dan kode pemodelan dan membuat hasil SavedModel. Itu juga mengintegrasikan pipeline rekayasa fitur yang dibuat oleh TensorFlow Transform untuk memproses data masukan.

    KerasTuner digunakan untuk menyetel hyperparameter untuk model.

  • TensorFlow Model Analysis (TFMA) adalah library untuk mengevaluasi model TensorFlow. Ini digunakan bersama dengan TensorFlow untuk membuat EvalSavedModel, yang menjadi dasar analisisnya. Ini memungkinkan pengguna untuk mengevaluasi model mereka pada sejumlah besar data secara terdistribusi, menggunakan metrik yang sama yang ditentukan di pelatih mereka. Metrik ini dapat dihitung melalui berbagai bagian data dan divisualisasikan di notebook Jupyter.

  • TensorFlow Metadata (TFMD) memberikan representasi standar untuk metadata yang berguna saat melatih model machine learning dengan TensorFlow. Metadata dapat diproduksi dengan tangan atau secara otomatis selama analisis data input, dan dapat digunakan untuk validasi, eksplorasi, dan transformasi data. Format serialisasi metadata meliputi:

    • Skema yang mendeskripsikan data tabular (mis., Contoh tf).
    • Kumpulan statistik ringkasan atas kumpulan data tersebut.
  • ML Metadata (MLMD) adalah library untuk merekam dan mengambil metadata yang terkait dengan alur kerja developer ML dan data scientist. Paling sering metadata menggunakan representasi TFMD. MLMD mengelola persistensi menggunakan SQL-Lite , MySQL , dan penyimpanan data serupa lainnya.

Teknologi Pendukung

Yg dibutuhkan

  • Apache Beam adalah model bersumber terbuka dan terpadu untuk menentukan pipeline pemrosesan data-paralel batch dan streaming. TFX menggunakan Apache Beam untuk mengimplementasikan pipeline data-parallel. Pipeline kemudian dijalankan oleh salah satu back-end pemrosesan terdistribusi Beam yang didukung, yang mencakup Apache Flink, Apache Spark, Google Cloud Dataflow , dan lainnya.

Pilihan

Orchestrator seperti Apache Airflow dan Kubeflow mempermudah konfigurasi, pengoperasian, pemantauan, dan pemeliharaan pipeline ML.

  • Apache Airflow adalah platform untuk membuat, menjadwalkan, dan memantau alur kerja secara terprogram. TFX menggunakan Airflow untuk membuat alur kerja sebagai grafik asiklik yang diarahkan (DAG) tugas. Penjadwal aliran udara menjalankan tugas pada berbagai pekerja sambil mengikuti dependensi yang ditentukan. Utilitas baris perintah yang kaya membuat operasi kompleks di DAG menjadi cepat. Antarmuka pengguna yang kaya memudahkan untuk memvisualisasikan pipeline yang berjalan dalam produksi, memantau kemajuan, dan memecahkan masalah saat diperlukan. Saat alur kerja ditentukan sebagai kode, alur kerja menjadi lebih mudah dipelihara, dapat versi, diuji, dan kolaboratif.

  • Kubeflow berdedikasi untuk membuat penerapan alur kerja pembelajaran mesin (ML) di Kubernetes menjadi sederhana, portabel, dan dapat diskalakan. Sasaran Kubeflow bukan untuk membuat ulang layanan lain, tetapi untuk menyediakan cara langsung untuk menerapkan sistem sumber terbuka terbaik untuk ML ke berbagai infrastruktur. Kubeflow Pipelines memungkinkan komposisi dan eksekusi alur kerja yang dapat direproduksi di Kubeflow, terintegrasi dengan eksperimen dan pengalaman berbasis notebook. Layanan Kubeflow Pipelines di Kubernetes mencakup penyimpanan Metadata yang dihosting, mesin orkestrasi berbasis container, server notebook, dan UI untuk membantu pengguna mengembangkan, menjalankan, dan mengelola pipeline ML kompleks dalam skala besar. Kubeflow Pipelines SDK memungkinkan untuk membuat dan berbagi komponen dan komposisi pipeline secara terprogram.

Portabilitas dan Interoperabilitas

TFX dirancang agar portabel ke berbagai lingkungan dan kerangka kerja orkestrasi, termasuk Apache Airflow , Apache Beam, dan Kubeflow . Ini juga portabel untuk berbagai platform komputasi, termasuk on-premise, dan platform cloud seperti Google Cloud Platform (GCP) . Secara khusus, TFX beroperasi dengan layanan GCP yang dikelola serveral, seperti Cloud AI Platform untuk Pelatihan dan Prediksi , dan Cloud Dataflow untuk pemrosesan data terdistribusi untuk beberapa aspek lain dari siklus hidup ML.

Model vs. Model Tersimpan

Model

Model adalah keluaran dari proses pelatihan. Ini adalah catatan bobot yang telah dipelajari selama proses pelatihan. Bobot ini selanjutnya dapat digunakan untuk menghitung prediksi untuk contoh masukan baru. Untuk TFX dan TensorFlow, 'model' mengacu pada checkpoint yang berisi bobot yang dipelajari hingga titik tersebut.

Perhatikan bahwa 'model' mungkin juga merujuk pada definisi grafik komputasi TensorFlow (yaitu file Python) yang mengekspresikan bagaimana prediksi akan dihitung. Kedua pengertian tersebut dapat digunakan secara bergantian berdasarkan konteks.

SavedModel

  • Apa itu SavedModel : serialisasi universal, tanpa bahasa, kedap udara, dan dapat dipulihkan dari model TensorFlow.
  • Mengapa ini penting : Ini memungkinkan sistem tingkat yang lebih tinggi untuk memproduksi, mengubah, dan menggunakan model TensorFlow menggunakan abstraksi tunggal.

SavedModel adalah format serialisasi yang direkomendasikan untuk menyajikan model TensorFlow dalam produksi, atau mengekspor model terlatih untuk aplikasi JavaScript atau seluler asli. Misalnya, untuk mengubah model menjadi layanan REST untuk membuat prediksi, Anda dapat membuat model menjadi berseri sebagai SavedModel dan menyajikannya menggunakan Penyajian TensorFlow. Lihat Menayangkan Model TensorFlow untuk informasi lebih lanjut.

Skema

Beberapa komponen TFX menggunakan deskripsi data input Anda yang disebut skema . Skema adalah turunan dari schema.proto . Skema adalah jenis buffer protokol , lebih dikenal sebagai "protobuf". Skema dapat menentukan tipe data untuk nilai fitur, apakah fitur harus ada di semua contoh, rentang nilai yang diizinkan, dan properti lainnya. Salah satu keuntungan menggunakan TensorFlow Data Validation (TFDV) adalah ia akan secara otomatis menghasilkan skema dengan menyimpulkan jenis, kategori, dan rentang dari data pelatihan.

Berikut kutipan dari skema protobuf:

...
feature {
  name: "age"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
feature {
  name: "capital-gain"
  value_count {
    min: 1
    max: 1
  }
  type: FLOAT
  presence {
    min_fraction: 1
    min_count: 1
  }
}
...

Komponen berikut menggunakan skema:

  • Validasi Data TensorFlow
  • Transformasi TensorFlow

Dalam pipeline TFX, Validasi Data TensorFlow menghasilkan skema, yang digunakan oleh komponen lain.

Berkembang dengan TFX

TFX menyediakan platform yang kuat untuk setiap fase proyek pembelajaran mesin, mulai dari penelitian, eksperimen, dan pengembangan di mesin lokal Anda, hingga penerapan. Untuk menghindari duplikasi kode dan menghilangkan potensi kemiringan pelatihan / penayangan , sangat disarankan untuk mengimplementasikan pipeline TFX Anda untuk pelatihan model dan penerapan model terlatih, dan gunakan komponen Transform yang memanfaatkan library Transformasi TensorFlow untuk pelatihan dan inferensi. Dengan demikian, Anda akan menggunakan kode pra-pemrosesan dan analisis yang sama secara konsisten, dan menghindari perbedaan antara data yang digunakan untuk pelatihan dan data yang dimasukkan ke model terlatih Anda dalam produksi, serta mendapatkan keuntungan dari penulisan kode tersebut sekali.

Eksplorasi, Visualisasi, dan Pembersihan Data

Eksplorasi, Visualisasi, dan Pembersihan Data

Pipeline TFX biasanya dimulai dengan komponen ExampleGen , yang menerima data masukan dan memformatnya sebagai tf. Contoh. Seringkali ini dilakukan setelah data dipecah menjadi kumpulan data pelatihan dan evaluasi sehingga sebenarnya ada dua salinan komponen ExampleGen, masing-masing untuk pelatihan dan evaluasi. Ini biasanya diikuti oleh komponen StatisticsGen dan komponen SchemaGen , yang akan memeriksa data Anda dan menyimpulkan skema dan statistik data. Skema dan statistik akan digunakan oleh komponen ExampleValidator , yang akan mencari anomali, nilai yang hilang, dan tipe data yang salah dalam data Anda. Semua komponen ini memanfaatkan kemampuan library TensorFlow Data Validation .

TensorFlow Data Validation (TFDV) adalah fitur berharga saat melakukan eksplorasi awal, visualisasi, dan pembersihan set data Anda. TFDV memeriksa data Anda dan menyimpulkan tipe data, kategori, dan rentang, dan kemudian secara otomatis membantu mengidentifikasi anomali dan nilai yang hilang. Ini juga menyediakan alat visualisasi yang dapat membantu Anda memeriksa dan memahami kumpulan data Anda. Setelah pipeline Anda selesai, Anda dapat membaca metadata dari MLMD dan menggunakan alat visualisasi TFDV di notebook Jupyter untuk menganalisis data Anda.

Setelah pelatihan dan penerapan model awal Anda, TFDV dapat digunakan untuk memantau data baru dari permintaan inferensi ke model yang Anda terapkan, dan mencari anomali dan / atau penyimpangan. Ini sangat berguna untuk data deret waktu yang berubah seiring waktu sebagai akibat dari tren atau kemusiman, dan dapat membantu menginformasikan saat ada masalah data atau saat model perlu dilatih ulang pada data baru.

Visualisasi data

Setelah Anda menyelesaikan proses pertama data Anda melalui bagian pipeline yang menggunakan TFDV (biasanya StatisticsGen, SchemaGen, dan ExampleValidator), Anda dapat memvisualisasikan hasilnya dalam notebook gaya Jupyter. Untuk proses tambahan, Anda dapat membandingkan hasil ini saat membuat penyesuaian, hingga data Anda optimal untuk model dan aplikasi Anda.

Pertama-tama Anda akan meminta ML Metadata (MLMD) untuk menemukan hasil dari eksekusi komponen ini, lalu menggunakan API dukungan visualisasi di TFDV untuk membuat visualisasi di notebook Anda. Ini termasuk tfdv.load_statistics () dan tfdv.visualize_statistics () Dengan menggunakan visualisasi ini, Anda dapat lebih memahami karakteristik set data Anda, dan jika perlu memodifikasi sesuai kebutuhan.

Mengembangkan dan Melatih Model

Rekayasa Fitur

Pipeline TFX tipikal akan menyertakan komponen Transform , yang akan melakukan rekayasa fitur dengan memanfaatkan kemampuan library TensorFlow Transform (TFT) . Komponen Transform menggunakan skema yang dibuat oleh komponen SchemaGen, dan menerapkan transformasi data untuk membuat, menggabungkan, dan mengubah fitur yang akan digunakan untuk melatih model Anda. Pembersihan nilai yang hilang dan jenis konversi juga harus dilakukan di komponen Transform jika ada kemungkinan hal ini juga akan ada dalam data yang dikirim untuk permintaan inferensi. Ada beberapa pertimbangan penting saat mendesain kode TensorFlow untuk pelatihan di TFX.

Pemodelan dan Pelatihan

Hasil dari komponen Transform adalah SavedModel yang akan diimpor dan digunakan dalam kode pemodelan Anda di TensorFlow, selama komponen Trainer . SavedModel ini menyertakan semua transformasi rekayasa data yang dibuat di komponen Transform, sehingga transformasi yang identik dilakukan menggunakan kode yang sama persis selama pelatihan dan inferensi. Dengan menggunakan kode pemodelan, termasuk SavedModel dari komponen Transform, Anda dapat menggunakan data pelatihan dan evaluasi serta melatih model Anda.

Saat bekerja dengan model berbasis Estimator, bagian terakhir dari kode pemodelan Anda harus menyimpan model Anda sebagai SavedModel dan EvalSavedModel. Menyimpan sebagai EvalSavedModel memastikan metrik yang digunakan pada waktu pelatihan juga tersedia selama evaluasi (perhatikan bahwa ini tidak diperlukan untuk model berbasis keras). Menyimpan EvalSavedModel mengharuskan Anda mengimpor library TensorFlow Model Analysis (TFMA) di komponen Trainer Anda.

import tensorflow_model_analysis as tfma
...

tfma.export.export_eval_savedmodel(
        estimator=estimator,
        export_dir_base=eval_model_dir,
        eval_input_receiver_fn=receiver_fn)

Komponen Tuner opsional dapat ditambahkan sebelum Trainer untuk menyetel hyperparameter (misalnya, jumlah lapisan) untuk model. Dengan model dan ruang pencarian hyperparameter yang diberikan, algoritma tuning akan menemukan hyperparameter terbaik berdasarkan tujuannya.

Menganalisis dan Memahami Kinerja Model

Analisis Model

Setelah pelatihan dan pengembangan model awal, penting untuk menganalisis dan benar-benar memahami performa model Anda. Sebuah pipa TFX khas akan mencakup Evaluator komponen, yang memanfaatkan kemampuan dari TensorFlow Analisis Model (TFMA) perpustakaan, yang menyediakan toolset daya untuk fase ini pembangunan. Komponen tfma.SlicingSpec menggunakan model yang Anda ekspor di atas, dan memungkinkan Anda menentukan daftar tfma.SlicingSpec yang dapat Anda gunakan saat memvisualisasikan dan menganalisis kinerja model Anda. Setiap SlicingSpec menentukan potongan data pelatihan yang ingin Anda periksa, seperti kategori tertentu untuk fitur kategorikal, atau rentang tertentu untuk fitur numerik.

Misalnya, ini penting untuk mencoba memahami performa model Anda untuk berbagai segmen pelanggan Anda, yang dapat disegmentasikan berdasarkan pembelian tahunan, data geografis, kelompok usia, atau jenis kelamin. Ini bisa menjadi sangat penting terutama untuk kumpulan data dengan ekor panjang, di mana kinerja kelompok dominan mungkin menutupi kinerja yang tidak dapat diterima untuk kelompok penting namun lebih kecil. Misalnya, model Anda mungkin berkinerja baik untuk karyawan biasa tetapi gagal total untuk staf eksekutif, dan mungkin penting bagi Anda untuk mengetahuinya.

Analisis dan Visualisasi Model

Setelah Anda menyelesaikan dijalankan pertama Anda data Anda melalui pelatihan model Anda dan menjalankan Evaluator komponen (yang memanfaatkan TFMA ) hasil pelatihan, Anda dapat memvisualisasikan hasil dalam notebook gaya Jupyter. Untuk proses tambahan, Anda dapat membandingkan hasil ini saat membuat penyesuaian, hingga hasil Anda optimal untuk model dan aplikasi Anda.

Pertama-tama Anda akan meminta ML Metadata (MLMD) untuk menemukan hasil dari eksekusi komponen ini, lalu menggunakan API dukungan visualisasi di TFMA untuk membuat visualisasi di notebook Anda. Ini termasuk tfma.load_eval_results dan tfma.view.render_slicing_metrics. Menggunakan visualisasi ini, Anda dapat lebih memahami karakteristik model Anda, dan jika perlu memodifikasi sesuai kebutuhan.

Memvalidasi Kinerja Model

Sebagai bagian dari analisis performa model, Anda mungkin ingin memvalidasi performa terhadap dasar (seperti model yang saat ini ditayangkan). Validasi model dilakukan dengan meneruskan model kandidat dan model dasar ke komponen Service Checker . Service Checker menghitung metrik (mis. ABK, kerugian) untuk kandidat dan baseline bersama dengan kumpulan metrik berbeda yang sesuai. Ambang batas kemudian dapat diterapkan dan digunakan untuk mendorong model Anda ke produksi.

Memvalidasi Bahwa Model Dapat Dilayani

Validasi Infra

Sebelum menerapkan model terlatih, Anda mungkin ingin memvalidasi apakah model benar-benar dapat diservis di infrastruktur penyajian. Hal ini sangat penting dalam lingkungan produksi untuk memastikan bahwa model yang baru dipublikasikan tidak mencegah sistem menyajikan prediksi. Komponen InfraValidator akan membuat penerapan canary model Anda di lingkungan sandbox, dan secara opsional mengirim permintaan nyata untuk memeriksa apakah model Anda berfungsi dengan benar.

Target Penerapan

Setelah Anda mengembangkan dan melatih model yang Anda sukai, sekarang saatnya untuk menerapkannya ke satu atau beberapa target penerapan yang akan menerima permintaan inferensi. TFX mendukung penyebaran ke tiga kelas target penyebaran. Model terlatih yang telah diekspor sebagai SavedModels dapat diterapkan ke salah satu atau semua target penerapan ini.

Aliran Komponen

Inferensi: Penyajian TensorFlow

TensorFlow Serving (TFS) adalah sistem penyajian berperforma tinggi yang fleksibel untuk model machine learning, yang dirancang untuk lingkungan produksi. Ini menggunakan SavedModel dan akan menerima permintaan inferensi melalui antarmuka REST atau gRPC. Ini berjalan sebagai sekumpulan proses pada satu atau lebih server jaringan, menggunakan salah satu dari beberapa arsitektur tingkat lanjut untuk menangani sinkronisasi dan komputasi terdistribusi. Lihat dokumentasi TFS untuk informasi lebih lanjut tentang pengembangan dan penerapan solusi TFS.

Dalam pipeline biasa, SavedModel yang telah dilatih dalam komponen Trainer akan terlebih dahulu divalidasi secara infra dalam komponen InfraValidator . InfraValidator meluncurkan server model TFS canary untuk benar-benar melayani SavedModel. Jika validasi telah berlalu, komponen Pendorong akhirnya akan menyebarkan SavedModel ke infrastruktur TFS Anda. Ini termasuk menangani beberapa versi dan pembaruan model.

Inferensi dalam Aplikasi Native Mobile dan IoT: TensorFlow Lite

TensorFlow Lite adalah seperangkat alat yang didedikasikan untuk membantu developer menggunakan Model TensorFlow terlatih mereka dalam aplikasi seluler dan IoT asli. Ini menggunakan SavedModels yang sama dengan TensorFlow Serving, dan menerapkan pengoptimalan seperti kuantisasi dan pemangkasan untuk mengoptimalkan ukuran dan performa model yang dihasilkan untuk tantangan pengoperasian di perangkat seluler dan IoT. Lihat dokumentasi TensorFlow Lite untuk informasi lebih lanjut tentang menggunakan TensorFlow Lite.

Inferensi dalam JavaScript: TensorFlow JS

TensorFlow JS adalah library JavaScript untuk melatih dan menerapkan model ML di browser dan di Node.js. Itu menggunakan SavedModels yang sama dengan TensorFlow Serving dan TensorFlow Lite, serta mengonversinya ke format Web TensorFlow.js. Lihat dokumentasi TensorFlow JS untuk mengetahui detail selengkapnya tentang menggunakan TensorFlow JS.

Membuat Pipa TFX Dengan Aliran Udara

Periksa bengkel aliran udara untuk mengetahui detailnya

Membuat Pipeline TFX Dengan Kubeflow

Mendirikan

Kubeflow membutuhkan cluster Kubernetes untuk menjalankan pipeline dalam skala besar. Lihat panduan penerapan Kubeflow yang memandu melalui opsi untuk menerapkan klaster Kubeflow.

Konfigurasi dan jalankan pipeline TFX

Ikuti tutorial TFX di Cloud AI Platform Pipeline untuk menjalankan contoh pipeline TFX di Kubeflow. Komponen TFX telah di-container untuk membuat pipeline Kubeflow dan sampelnya menggambarkan kemampuan untuk mengonfigurasi pipeline untuk membaca kumpulan data publik yang besar dan menjalankan langkah-langkah pelatihan dan pemrosesan data dalam skala besar di cloud.

Antarmuka baris perintah untuk tindakan pipa

TFX menyediakan CLI terpadu yang membantu menjalankan berbagai tindakan pipeline seperti membuat, memperbarui, menjalankan, mendaftar, dan menghapus pipeline di berbagai orchestrator termasuk Apache Airflow, Apache Beam, dan Kubeflow. Untuk detailnya, silakan ikuti instruksi ini .