Batch

แบทช์เทนเซอร์อินพุตทั้งหมดโดยไม่กำหนดไว้

เมื่ออินสแตนซ์จำนวนมากของ Op นี้ทำงานพร้อมกันกับคอนเทนเนอร์/shared_name เดียวกันในอุปกรณ์เดียวกัน บางตัวจะเอาท์พุตเทนเซอร์ที่มีรูปทรงเป็นศูนย์ และตัวอื่น ๆ จะเอาท์พุตเทนเซอร์ที่มีขนาดสูงสุด max_batch_size

Tensor ทั้งหมดใน in_tensors จะถูกรวมเข้าด้วยกันเป็นชุด (เช่น ป้ายกำกับและฟีเจอร์ควรรวมกันเป็นชุดเดียวกับการดำเนินการนี้เพียงอินสแตนซ์เดียว

การเรียกใช้แบทช์แต่ละครั้งจะส่งสเกลาร์ "id" ซึ่งจะใช้เพื่อระบุการเรียกใช้เฉพาะนี้เมื่อทำการแยกแบตช์หรือการไล่ระดับสี

แต่ละ op ที่ปล่อยแบทช์ที่ไม่ว่างเปล่าก็จะปล่อยแบทช์_ดัชนีเทนเซอร์ที่ไม่ว่างเปล่าด้วย ซึ่งเป็นเมทริกซ์ [K, 3] โดยที่แต่ละแถวมีรหัสการเรียกใช้ การเริ่มต้น และความยาวขององค์ประกอบของแต่ละชุดของเทนเซอร์ที่มีอยู่ใน แบทช์_เทนเซอร์

เทนเซอร์แบบแบตช์จะต่อกันตามมิติแรก และเทนเซอร์ทั้งหมดใน in_tensor ต้องมีมิติแรกที่มีขนาดเท่ากัน

in_tensors: เทนเซอร์ที่จะแบทช์ num_batch_threads: จำนวนเธรดการกำหนดเวลาสำหรับการประมวลผลแบทช์ของงาน กำหนดจำนวนของแบตช์ที่ประมวลผลแบบขนาน max_batch_size: ขนาดแบทช์จะไม่ใหญ่ไปกว่านี้ atch_timeout_micros: จำนวนไมโครวินาทีสูงสุดที่ต้องรอก่อนที่จะส่งออกแบตช์ที่ไม่สมบูรณ์ Allow_batch_sizes: รายการตัวเลือกขนาดแบทช์ที่อนุญาต หากปล่อยว่างไว้จะไม่ทำอะไรเลย มิฉะนั้น ให้ระบุรายการขนาดแบทช์ ทำให้ op แพดแบทช์มีขนาดใดขนาดหนึ่งเหล่านั้น รายการจะต้องเพิ่มขึ้นแบบซ้ำซากจำเจ และรายการสุดท้ายต้องเท่ากับ max_batch_size grad_timeout_micros: การหมดเวลาที่จะใช้สำหรับการไล่ระดับสี ดูการแยกแบทช์ batched_tensors: ทั้งเทนเซอร์เปล่าหรือชุดเทนเซอร์ที่ต่อกัน bat_index: หาก out_tensors ไม่ว่างเปล่า จะมีข้อมูลที่จะกลับด้าน คอนเทนเนอร์: ควบคุมขอบเขตการแชร์ของชุดนี้ id: มีสเกลาร์ที่มี ID เฉพาะเสมอสำหรับการเรียกใช้ Batch นี้ shared_name: การรันอินสแตนซ์ของแบทช์ในอุปกรณ์เดียวกันกับคอนเทนเนอร์เดียวกันและ shared_name จะแบทช์องค์ประกอบเข้าด้วยกัน หากปล่อยว่างไว้ ชื่อ op จะถูกนำมาใช้เป็นชื่อที่ใช้ร่วมกัน T: ประเภทของเทนเซอร์ที่จะแบทช์