สร้างท่อส่ง TFX

จัดทุกอย่างให้เป็นระเบียบอยู่เสมอด้วยคอลเล็กชัน บันทึกและจัดหมวดหมู่เนื้อหาตามค่ากำหนดของคุณ

การใช้คลาส Pipeline

ไปป์ไลน์ TFX ถูกกำหนดโดยใช้ คลาส Pipeline ตัวอย่างต่อไปนี้สาธิตวิธีการใช้คลาส Pipeline

pipeline.Pipeline(
    pipeline_name=pipeline-name,
    pipeline_root=pipeline-root,
    components=components,
    enable_cache=enable-cache,
    metadata_connection_config=metadata-connection-config,
)

แทนที่สิ่งต่อไปนี้:

• pipeline-name : ชื่อของไปป์ไลน์นี้ ชื่อไปป์ไลน์ต้องไม่ซ้ำกัน

  TFX ใช้ชื่อไปป์ไลน์เมื่อสืบค้น ML Metadata สำหรับสิ่งประดิษฐ์อินพุตของส่วนประกอบ การใช้ชื่อไปป์ไลน์ซ้ำอาจทำให้เกิดลักษณะการทำงานที่ไม่คาดคิด

• pipeline-root : เส้นทางรูทของเอาต์พุตของไปป์ไลน์นี้ เส้นทางรูทต้องเป็นเส้นทางแบบเต็มไปยังไดเร็กทอรีที่ผู้เรียบเรียงของคุณมีสิทธิ์ในการอ่านและเขียน ณ รันไทม์ TFX จะใช้รูทของไปป์ไลน์เพื่อสร้างเส้นทางเอาต์พุตสำหรับส่วนต่างๆ ของคอมโพเนนต์ ไดเรกทอรีนี้สามารถอยู่ในเครื่องหรือบนระบบไฟล์แบบกระจายที่รองรับ เช่น Google Cloud Storage หรือ HDFS

• components : รายการอินสแตนซ์ส่วนประกอบที่ประกอบเป็นเวิร์กโฟลว์ของไปป์ไลน์นี้

• enable-cache : (ไม่บังคับ) ค่าบูลีนที่ระบุว่าไปป์ไลน์นี้ใช้แคชเพื่อเร่งการดำเนินการไปป์ไลน์หรือไม่

• metadata-connection-config : (ไม่บังคับ) การกำหนดค่าการเชื่อมต่อสำหรับ ML Metadata

การกำหนดกราฟการดำเนินการส่วนประกอบ

อินสแตนซ์คอมโพเนนต์สร้างอาร์ติแฟกต์เป็นเอาต์พุต และโดยทั่วไปจะขึ้นอยู่กับอาร์ติแฟกต์ที่สร้างโดยอินสแตนซ์คอมโพเนนต์อัปสตรีมเป็นอินพุต ลำดับการดำเนินการสำหรับอินสแตนซ์ส่วนประกอบถูกกำหนดโดยการสร้างกราฟอะไซคลิกโดยตรง (DAG) ของการขึ้นต่อกันของอาร์ติแฟกต์

ตัวอย่างเช่น ส่วนประกอบมาตรฐาน ExampleGen สามารถนำเข้าข้อมูลจากไฟล์ CSV และส่งออกบันทึกตัวอย่างที่ซีเรียลไลซ์ได้ ส่วนประกอบมาตรฐาน StatisticsGen ยอมรับบันทึกตัวอย่างเหล่านี้เป็นอินพุตและสร้างสถิติชุดข้อมูล ในตัวอย่างนี้ อินสแตนซ์ของ StatisticsGen ต้องเป็นไปตาม ExampleGen เนื่องจาก SchemaGen ขึ้นอยู่กับเอาต์พุตของ ExampleGen

การพึ่งพาตามงาน

คุณยังสามารถกำหนดการขึ้นต่อกันตามงานได้โดยใช้เมธอด add_upstream_node และ add_downstream_node ของคอมโพเนนต์ของคุณ add_upstream_node ช่วยให้คุณระบุว่าส่วนประกอบปัจจุบันจะต้องดำเนินการหลังจากส่วนประกอบที่ระบุ add_downstream_node ให้คุณระบุว่าต้องดำเนินการส่วนประกอบปัจจุบันก่อนส่วนประกอบที่ระบุ

เทมเพลตไปป์ไลน์

วิธีที่ง่ายที่สุดในการตั้งค่าไปป์ไลน์อย่างรวดเร็ว และการดูว่าชิ้นส่วนทั้งหมดประกอบเข้าด้วยกันได้อย่างไร คือการใช้เทมเพลต การใช้เทมเพลตครอบคลุมอยู่ใน การสร้างไปป์ไลน์ TFX ในเครื่อง

การแคช

การแคชไปป์ไลน์ TFX ช่วยให้ไปป์ไลน์ของคุณข้ามส่วนประกอบที่ดำเนินการด้วยชุดอินพุตเดียวกันในการเรียกใช้ไปป์ไลน์ครั้งก่อน หากเปิดใช้งานการแคช ไปป์ไลน์จะพยายามจับคู่ลายเซ็นของแต่ละส่วนประกอบ ส่วนประกอบ และชุดอินพุต กับการดำเนินการส่วนประกอบก่อนหน้าของไปป์ไลน์นี้ หากมีข้อมูลที่ตรงกัน ไปป์ไลน์จะใช้เอาต์พุตส่วนประกอบจากการรันครั้งก่อน หากไม่มีค่าที่ตรงกัน ส่วนประกอบจะถูกดำเนินการ

อย่าใช้การแคชหากไปป์ไลน์ของคุณใช้ส่วนประกอบที่ไม่สามารถกำหนดได้ ตัวอย่างเช่น หากคุณสร้างส่วนประกอบเพื่อสร้างตัวเลขสุ่มสำหรับไปป์ไลน์ของคุณ การเปิดใช้งานแคชจะทำให้ส่วนประกอบนี้ดำเนินการเพียงครั้งเดียว ในตัวอย่างนี้ การรันครั้งต่อๆ ไปจะใช้ตัวเลขสุ่มของการรันครั้งแรกแทนการสร้างตัวเลขสุ่ม