Tutorial Aliran Udara TFX

pengantar

Tutorial ini dirancang untuk memperkenalkan TensorFlow Extended (TFX) dan membantu Anda belajar membuat pipeline machine learning Anda sendiri. Ini berjalan secara lokal, dan menunjukkan integrasi dengan TFX dan TensorBoard serta interaksi dengan TFX di notebook Jupyter.

Anda akan mengikuti proses pengembangan ML biasa, dimulai dengan memeriksa set data, dan berakhir dengan alur kerja yang lengkap. Sepanjang jalan Anda akan menjelajahi cara untuk men-debug dan memperbarui saluran Anda, dan mengukur kinerja.

Belajarlah lagi

Silakan lihat Panduan Pengguna TFX untuk mempelajari lebih lanjut.

Selangkah demi selangkah

Anda akan secara bertahap membuat saluran dengan bekerja selangkah demi selangkah, mengikuti proses pengembangan ML biasa. Berikut langkah-langkahnya:

1. Siapkan lingkungan Anda
2. Munculkan kerangka pipa awal
3. Selami data Anda
4. Rekayasa fitur
5. Pelatihan
6. Menganalisis kinerja model
7. Siap produksi

Prasyarat

• Linux / MacOS
• Virtualenv
• Python 3.5+
• Git

Paket yang diperlukan

Tergantung pada lingkungan Anda, Anda mungkin perlu menginstal beberapa paket:

sudo apt-get install \
    build-essential libssl-dev libffi-dev \
    libxml2-dev libxslt1-dev zlib1g-dev \
    python3-pip git software-properties-common

Jika Anda menjalankan Python 3.6, Anda harus menginstal python3.6-dev:

sudo apt-get install python3.6-dev

Jika Anda menjalankan Python 3.7 Anda harus menginstal python3.7-dev:

sudo apt-get install python3.7-dev

Selain itu, jika sistem Anda memiliki versi GCC <7, Anda harus memperbarui GCC. Jika tidak, Anda akan melihat kesalahan saat menjalankan airflow webserver . Anda dapat memeriksa versi Anda saat ini dengan:

gcc --version

Jika Anda perlu memperbarui GCC, Anda dapat menjalankan ini:

sudo add-apt-repository ppa:ubuntu-toolchain-r/test
sudo apt update
sudo apt install gcc-7
sudo apt install g++-7
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-7 60 --slave /usr/bin/g++ g++ /usr/bin/g++-7

Lingkungan MacOS

Jika Anda belum menginstal Python 3 dan git, Anda dapat menginstalnya menggunakan manajer paket Homebrew :

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
export PATH="/usr/local/bin:/usr/local/sbin:$PATH"
brew update
brew install python
brew install git

MacOS terkadang mengalami masalah saat melakukan forking thread saat menjalankan Airflow, tergantung pada konfigurasinya. Untuk menghindari masalah tersebut, Anda harus mengedit ~/.bash_profile dan menambahkan baris berikut ke akhir file:

export OBJC_DISABLE_INITIALIZE_FORK_SAFETY=YES

bahan tutorial

Kode untuk tutorial ini tersedia di: https://github.com/tensorflow/tfx/tree/master/tfx/examples/airflow_workshop

Kode diatur menurut langkah-langkah yang sedang Anda kerjakan, jadi untuk setiap langkah Anda akan memiliki kode yang Anda butuhkan dan petunjuk tentang apa yang harus dilakukan dengan kode itu.

File tutorial menyertakan latihan dan solusi untuk latihan, jika Anda buntu.

Latihan

• taxi_pipeline.py
• taxi_utils.py
• taksi DAG

Larutan

• taxi_pipeline_solution.py
• taxi_utils_solution.py
• taxi_solution DAG

Apa yang kamu lakukan

Anda sedang mempelajari cara membuat saluran ML menggunakan TFX

• Pipeline TFX sesuai saat Anda akan men-deploy aplikasi ML produksi
• Pipeline TFX sesuai ketika kumpulan data berukuran besar
• Pipeline TFX sesuai ketika konsistensi pelatihan/penyajian penting
• Pipa TFX sesuai ketika manajemen versi untuk inferensi penting
• Google menggunakan saluran TFX untuk produksi ML

Anda mengikuti proses pengembangan ML biasa

• Menelan, memahami, dan membersihkan data kami
• Rekayasa fitur
• Pelatihan
• Analisis kinerja model
• Busa, bilas, ulangi
• Siap produksi

Menambahkan kode untuk setiap langkah

Tutorial dirancang agar semua kode disertakan dalam file, tetapi semua kode untuk langkah 3-7 dikomentari dan ditandai dengan komentar sebaris. Komentar sebaris mengidentifikasi langkah mana yang diterapkan oleh baris kode. Misalnya, kode untuk langkah 3 ditandai dengan komentar # Step 3 .

Kode yang akan Anda tambahkan untuk setiap langkah biasanya terbagi dalam 3 wilayah kode:

• impor
• Konfigurasi DAG
• Daftar yang dikembalikan dari panggilan create_pipeline()
• Kode pendukung di taxi_utils.py

Saat Anda melalui tutorial, Anda akan menghapus komentar pada baris kode yang berlaku untuk langkah tutorial yang sedang Anda kerjakan. Itu akan menambahkan kode untuk langkah itu, dan memperbarui saluran pipa Anda. Saat Anda melakukannya, kami sangat menganjurkan Anda untuk meninjau kode yang Anda batalkan komentarnya .

Kumpulan Data Taksi Chicago

Anda menggunakan kumpulan data Taxi Trips yang dirilis oleh City of Chicago.

Anda dapat membaca lebih lanjut tentang kumpulan data di Google BigQuery . Jelajahi set data lengkap di UI BigQuery .

Sasaran Model - Klasifikasi biner

Akankah tip pelanggan lebih atau kurang dari 20%?

Langkah 1: Siapkan lingkungan Anda

Skrip pengaturan ( setup_demo.sh ) menginstal TFX dan Airflow , dan mengonfigurasi Airflow dengan cara yang membuatnya mudah digunakan untuk tutorial ini.

Dalam cangkang:

cd
virtualenv -p python3 tfx-env
source ~/tfx-env/bin/activate

git clone https://github.com/tensorflow/tfx.git
cd ~/tfx
# These instructions are specific to the 0.21 release
git checkout -f origin/r0.21
cd ~/tfx/tfx/examples/airflow_workshop/setup
./setup_demo.sh

Anda harus meninjau setup_demo.sh untuk melihat apa yang dilakukannya.

Langkah 2: Munculkan kerangka pipa awal

Halo Dunia

Dalam cangkang:

# Open a new terminal window, and in that window ...
source ~/tfx-env/bin/activate
airflow webserver -p 8080

# Open another new terminal window, and in that window ...
source ~/tfx-env/bin/activate
airflow scheduler

# Open yet another new terminal window, and in that window ...
# Assuming that you've cloned the TFX repo into ~/tfx
source ~/tfx-env/bin/activate
cd ~/tfx/tfx/examples/airflow_workshop/notebooks
jupyter notebook

Anda memulai notebook Jupyter pada langkah ini. Nanti Anda akan menjalankan notebook di folder ini.

Di peramban:

• Buka browser dan buka http://127.0.0.1:8080

Penyelesaian masalah

Jika Anda memiliki masalah dengan memuat konsol Airflow di browser web Anda, atau jika ada kesalahan saat Anda menjalankan airflow webserver , maka Anda mungkin memiliki aplikasi lain yang berjalan pada port 8080. Itu adalah port default untuk Airflow, tetapi Anda dapat mengubahnya ke port pengguna lain yang tidak digunakan. Misalnya, untuk menjalankan Airflow pada port 7070 Anda dapat menjalankan:

airflow webserver -p 7070

Tombol tampilan DAG

• Gunakan tombol di sebelah kiri untuk mengaktifkan DAG
• Gunakan tombol di sebelah kanan untuk menyegarkan DAG saat Anda melakukan perubahan
• Gunakan tombol di sebelah kanan untuk memicu DAG
• Klik taksi untuk menuju ke tampilan grafik DAG

CLI aliran udara

Anda juga dapat menggunakan Airflow CLI untuk mengaktifkan dan memicu DAG Anda:

# enable/disable
airflow pause <your DAG name>
airflow unpause <your DAG name>

# trigger
airflow trigger_dag <your DAG name>

Menunggu pipa selesai

Setelah Anda memicu pipeline di tampilan DAG, Anda dapat melihat saat pipeline Anda selesai diproses. Saat setiap komponen berjalan, warna garis besar komponen dalam grafik DAG akan berubah untuk menunjukkan statusnya. Ketika komponen telah selesai memproses garis luar akan berubah menjadi hijau tua untuk menunjukkan bahwa itu selesai.

Sejauh ini Anda hanya memiliki komponen CsvExampleGen di saluran kami, jadi Anda harus menunggu sampai berubah menjadi hijau tua (~1 menit).

Langkah 3: Selami data Anda

Tugas pertama dalam ilmu data atau proyek ML adalah memahami dan membersihkan data.

• Pahami tipe data untuk setiap fitur
• Cari anomali dan nilai yang hilang
• Pahami distribusi untuk setiap fitur

Komponen

• ExampleGen menyerap dan membagi set data input.
• StatisticsGen menghitung statistik untuk kumpulan data.
• SchemaGen SchemaGen memeriksa statistik dan membuat skema data.
• ExampleValidator mencari anomali dan nilai yang hilang dalam kumpulan data.

Dalam editor:

• Di ~/airflow/dags batalkan komentar pada baris yang ditandai Step 3 di taxi_pipeline.py
• Luangkan waktu sejenak untuk meninjau kode yang Anda batalkan komentarnya

Di peramban:

• Kembali ke halaman daftar DAG di Airflow dengan mengklik tautan "DAG" di sudut kiri atas
• Klik tombol segarkan di sisi kanan untuk taksi DAG
  • Anda akan melihat "DAG [taksi] sekarang segar seperti bunga aster"
• Taksi pemicu
• Tunggu hingga pipa selesai
  • hijau tua semua
  • Gunakan segarkan di sisi kanan atau segarkan halaman

Kembali ke Jupyter:

Sebelumnya, Anda menjalankan jupyter notebook , yang membuka sesi Jupyter di tab browser. Sekarang kembali ke tab itu di browser Anda.

• Buka langkah3.ipynb
• Ikuti buku catatannya

Contoh lebih lanjut

Contoh yang disajikan di sini benar-benar hanya dimaksudkan untuk membantu Anda memulai. Untuk contoh lebih lanjut, lihat Colab Validasi Data TensorFlow .

Untuk informasi selengkapnya tentang menggunakan TFDV untuk menjelajahi dan memvalidasi kumpulan data, lihat contoh di tensorflow.org .

Langkah 4: Rekayasa fitur

Anda dapat meningkatkan kualitas prediktif data Anda dan/atau mengurangi dimensi dengan rekayasa fitur.

• Persilangan fitur
• Kosakata
• Penyematan
• PCA
• Pengkodean kategoris

Salah satu keuntungan menggunakan TFX adalah Anda akan menulis kode transformasi Anda sekali, dan transformasi yang dihasilkan akan konsisten antara pelatihan dan penayangan.

Komponen

• Transform melakukan rekayasa fitur pada dataset.

Dalam editor:

• Di ~/airflow/dags batalkan komentar pada baris yang ditandai Step 4 di taxi_pipeline.py dan taxi_utils.py
• Luangkan waktu sejenak untuk meninjau kode yang Anda batalkan komentarnya

Di peramban:

• Kembali ke halaman daftar DAG di Airflow
• Klik tombol segarkan di sisi kanan untuk taksi DAG
  • Anda akan melihat "DAG [taksi] sekarang segar seperti bunga aster"
• Taksi pemicu
• Tunggu hingga pipa selesai
  • hijau tua semua
  • Gunakan segarkan di sisi kanan atau segarkan halaman

Kembali ke Jupyter:

Kembali ke tab Jupyter di browser Anda.

• Buka langkah4.ipynb
• Ikuti buku catatannya

Contoh lebih lanjut

Contoh yang disajikan di sini benar-benar hanya dimaksudkan untuk membantu Anda memulai. Untuk contoh lebih lanjut, lihat TensorFlow Transform Colab .

Langkah 5: Pelatihan

Latih model TensorFlow dengan data Anda yang bagus, bersih, dan telah diubah.

• Sertakan transformasi dari langkah 4 sehingga diterapkan secara konsisten
• Simpan hasilnya sebagai Model Tersimpan untuk produksi
• Visualisasikan dan jelajahi proses pelatihan menggunakan TensorBoard
• Juga simpan EvalSavedModel untuk analisis kinerja model

Komponen

• Pelatih melatih model menggunakan Penaksir TensorFlow

Dalam editor:

• Di ~/airflow/dags batalkan komentar pada baris yang ditandai Step 5 di taxi_pipeline.py dan taxi_utils.py
• Luangkan waktu sejenak untuk meninjau kode yang Anda batalkan komentarnya

Di peramban:

• Kembali ke halaman daftar DAG di Airflow
• Klik tombol segarkan di sisi kanan untuk taksi DAG
  • Anda akan melihat "DAG [taksi] sekarang segar seperti bunga aster"
• Taksi pemicu
• Tunggu hingga pipa selesai
  • hijau tua semua
  • Gunakan segarkan di sisi kanan atau segarkan halaman

Kembali ke Jupyter:

Kembali ke tab Jupyter di browser Anda.

• Buka langkah5.ipynb
• Ikuti buku catatannya

Contoh lebih lanjut

Contoh yang disajikan di sini benar-benar hanya dimaksudkan untuk membantu Anda memulai. Untuk contoh lebih lanjut, lihat Tutorial TensorBoard .

Langkah 6: Menganalisis kinerja model

Memahami lebih dari sekadar metrik tingkat atas.

• Pengguna mengalami kinerja model hanya untuk kueri mereka
• Performa buruk pada irisan data dapat disembunyikan oleh metrik tingkat atas
• Keadilan model itu penting
• Seringkali bagian kunci dari pengguna atau data sangat penting, dan mungkin kecil
  • Performa dalam kondisi kritis tetapi tidak biasa
  • Performa untuk audiens utama seperti influencer
• Jika Anda mengganti model yang sedang dalam produksi, pastikan dulu yang baru lebih baik
• Evaluator memberi tahu komponen Pusher jika modelnya OK

Komponen

• Evaluator melakukan analisis mendalam terhadap hasil pelatihan, dan memastikan bahwa model "cukup baik" untuk didorong ke produksi.

Dalam editor:

• Di ~/airflow/dags batalkan komentar pada baris yang ditandai Step 6 di kedua taxi_pipeline.py
• Luangkan waktu sejenak untuk meninjau kode yang Anda batalkan komentarnya

Di peramban:

• Kembali ke halaman daftar DAG di Airflow
• Klik tombol segarkan di sisi kanan untuk taksi DAG
  • Anda akan melihat "DAG [taksi] sekarang segar seperti bunga aster"
• Taksi pemicu
• Tunggu hingga pipa selesai
  • hijau tua semua
  • Gunakan segarkan di sisi kanan atau segarkan halaman

Kembali ke Jupyter:

Kembali ke tab Jupyter di browser Anda.

• Buka langkah6.ipynb
• Ikuti buku catatannya

Contoh lebih lanjut

Contoh yang disajikan di sini benar-benar hanya dimaksudkan untuk membantu Anda memulai. Untuk contoh lebih lanjut, lihat Tutorial Taksi Chicago TFMA .

Langkah 7: Siap untuk produksi

Jika model baru sudah siap, buatlah.

• Pusher menyebarkan SavedModels ke lokasi terkenal

Target penerapan menerima model baru dari lokasi terkenal

• Penyajian TensorFlow
• TensorFlow Lite
• TensorFlow JS
• Pusat TensorFlow

Komponen

• Pusher menyebarkan model ke infrastruktur penyajian.

Dalam editor:

• Di ~/airflow/dags batalkan komentar pada baris yang ditandai Step 7 di kedua taxi_pipeline.py
• Luangkan waktu sejenak untuk meninjau kode yang Anda batalkan komentarnya

Di peramban:

• Kembali ke halaman daftar DAG di Airflow
• Klik tombol segarkan di sisi kanan untuk taksi DAG
  • Anda akan melihat "DAG [taksi] sekarang segar seperti bunga aster"
• Taksi pemicu
• Tunggu hingga pipa selesai
  • hijau tua semua
  • Gunakan segarkan di sisi kanan atau segarkan halaman

Langkah selanjutnya

Anda sekarang telah melatih dan memvalidasi model Anda, dan mengekspor file SavedModel di bawah direktori ~/airflow/saved_models/taxi . Model Anda sekarang siap untuk diproduksi. Anda sekarang dapat menerapkan model Anda ke salah satu target penerapan TensorFlow, termasuk:

• TensorFlow Serving , untuk melayani model Anda di server atau server farm dan memproses permintaan inferensi REST dan/atau gRPC.
• TensorFlow Lite , untuk menyertakan model Anda dalam aplikasi seluler asli Android atau iOS, atau dalam aplikasi Raspberry Pi, IoT, atau mikrokontroler.
• TensorFlow.js , untuk menjalankan model Anda di browser web atau aplikasi Node.JS.