เข้าร่วม Women in ML Symposium ในวันที่ 7 ธันวาคม ลงทะเบียนตอนนี้

ข้อกำหนด MinDiff

จัดทุกอย่างให้เป็นระเบียบอยู่เสมอด้วยคอลเล็กชัน บันทึกและจัดหมวดหมู่เนื้อหาตามค่ากำหนดของคุณ

ฉันควรใช้ MinDiff เมื่อใด

ใช้ MinDiff ในกรณีที่โมเดลของคุณทำงานได้ดีโดยทั่วไป แต่สร้างข้อผิดพลาดที่เป็นอันตรายบ่อยขึ้นในตัวอย่างที่เป็นของกลุ่มที่มีความละเอียดอ่อน และคุณต้องการปิดช่องว่างด้านประสิทธิภาพ กลุ่มความสนใจที่มีความละเอียดอ่อนอาจแตกต่างกันไปตามกรณีการใช้งานของคุณ แต่มักจะรวมถึงชั้นเรียนที่ได้รับการคุ้มครอง เช่น เชื้อชาติ ศาสนา เพศ รสนิยมทางเพศ และอื่นๆ ในเอกสารนี้ เราจะใช้ “กลุ่มที่ละเอียดอ่อน” เพื่ออ้างถึงชุดตัวอย่างที่เป็นของคลาสที่ได้รับการคุ้มครอง

มีสองเงื่อนไขหลักสำหรับการใช้ MinDiff เพื่อจัดการกับส่วนข้อมูลที่มีประสิทธิภาพต่ำกว่ามาตรฐาน:

  • คุณได้ปรับและประเมินแบบจำลองของคุณแล้ว โดยระบุตัวชี้วัดที่แสดงส่วนข้อมูลที่มีประสิทธิภาพต่ำกว่าเกณฑ์ ต้องทำ ก่อนที่จะ ใช้การแก้ไขแบบจำลอง
  • คุณมีหรือสามารถรับตัวอย่างที่มีป้ายกำกับที่เกี่ยวข้องจำนวนเพียงพอซึ่งเป็นของกลุ่มที่มีประสิทธิภาพต่ำกว่ามาตรฐาน (รายละเอียดเพิ่มเติมด้านล่าง)

MinDiff เป็นหนึ่งในหลาย ๆ เทคนิคในการแก้ไขพฤติกรรมที่ไม่เท่าเทียมกัน โดยเฉพาะอย่างยิ่ง อาจเป็นตัวเลือกที่ดีเมื่อคุณพยายามปรับประสิทธิภาพการทำงานระหว่างกลุ่มโดยตรง สามารถใช้ MinDiff ร่วมกับวิธีการอื่นๆ เช่น การเสริมข้อมูลและอื่นๆ ซึ่งอาจนำไปสู่ผลลัพธ์ที่ดีขึ้น อย่างไรก็ตาม หากคุณต้องการจัดลำดับความสำคัญของเทคนิคการลงทุน คุณควรทำตามความต้องการผลิตภัณฑ์ของคุณ

เมื่อใช้ MinDiff คุณอาจเห็นว่าประสิทธิภาพลดลงหรือเปลี่ยนแปลงเล็กน้อยสำหรับกลุ่มที่ทำงานได้ดีที่สุด เนื่องจากกลุ่มที่มีประสิทธิภาพต่ำกว่าเกณฑ์จะดีขึ้น การแลกเปลี่ยนนี้เป็นสิ่งที่คาดหวังและควรได้รับการประเมินในบริบทของข้อกำหนดผลิตภัณฑ์ของคุณ ในทางปฏิบัติ เรามักจะเห็นว่า MinDiff ไม่ได้ทำให้การแบ่งส่วนที่มีประสิทธิภาพสูงสุดลดลงต่ำกว่าระดับที่ยอมรับได้ แต่นี่เป็นลักษณะเฉพาะของแอปพลิเคชันและเป็นการตัดสินใจที่เจ้าของผลิตภัณฑ์จำเป็นต้องทำ

ฉันสามารถใช้ MinDiff กับโมเดลประเภทใดได้บ้าง

แสดงให้เห็นว่า MinDiff มีประสิทธิภาพอย่างสม่ำเสมอเมื่อใช้กับ ตัวแยกประเภทไบนารี การปรับวิธีการสำหรับแอปพลิเคชันอื่นเป็นไปได้ แต่ยังไม่ได้รับการทดสอบอย่างสมบูรณ์ มีการทำงานบางอย่างเพื่อแสดงความสำเร็จในงานที่มีการจัดประเภทและการจัดอันดับแบบหลายกลุ่ม 1 แต่การใช้ MinDiff กับแบบจำลองเหล่านี้หรือประเภทอื่นๆ ควรได้รับการพิจารณาว่าเป็นการทดลอง

ฉันสามารถใช้ MinDiff กับเมตริกใดบ้าง

MinDiff อาจเป็นทางออกที่ดีเมื่อเมตริกที่คุณพยายามทำให้เท่ากันระหว่างกลุ่มคือ false positive rate (FPR) หรือ false negative rate (FNR) แต่อาจใช้ได้กับเมตริกอื่นๆ ตามกฎทั่วไป MinDiff อาจทำงานได้เมื่อเมตริกที่คุณกำหนดเป้าหมายเป็นผลมาจากความแตกต่างในการกระจายคะแนนระหว่างตัวอย่างที่เป็นของกลุ่มที่ละเอียดอ่อนและตัวอย่างที่ไม่ใช่ของกลุ่มที่ละเอียดอ่อน

การสร้างชุดข้อมูล MinDiff ของคุณ

เมื่อเตรียมฝึกกับ MinDiff คุณจะต้องเตรียมชุดข้อมูลแยกกันสามชุด เช่นเดียวกับการฝึกอบรมทั่วไป ชุดข้อมูล MinDiff ของคุณควรเป็นตัวแทนของผู้ใช้ที่โมเดลของคุณให้บริการ MinDiff อาจทำงานได้หากไม่มีสิ่งนี้ แต่คุณควรใช้ความระมัดระวังเป็นพิเศษในกรณีดังกล่าว

สมมติว่าคุณกำลังพยายามปรับปรุง FPR ของโมเดลของคุณสำหรับตัวอย่างที่เป็นของคลาสที่ละเอียดอ่อน คุณจะต้อง:

  1. ชุดการฝึกดั้งเดิม - ชุดข้อมูลดั้งเดิมที่ใช้สำหรับการฝึกโมเดลพื้นฐานของคุณ
  2. ชุดข้อมูลที่ละเอียดอ่อนของ MinDiff - ชุดข้อมูลของตัวอย่างที่เป็นของคลาสที่ละเอียดอ่อนซึ่งมีป้ายกำกับความจริงพื้นฐานเชิงลบ เท่านั้น ตัวอย่างเหล่านี้จะใช้สำหรับการคำนวณการสูญเสีย MinDiff เท่านั้น
  3. ชุด MinDiff non-sensitive - ชุดข้อมูลของตัวอย่างที่ ไม่ได้ เป็นของคลาสที่ละเอียดอ่อนซึ่งมีป้ายกำกับความจริงเชิงลบ เท่านั้น ตัวอย่างเหล่านี้จะใช้สำหรับการคำนวณการสูญเสีย MinDiff เท่านั้น

เมื่อใช้ไลบรารี คุณจะรวมชุดข้อมูลทั้งสามนี้เป็นชุดข้อมูลเดียว ซึ่งจะทำหน้าที่เป็นชุดการฝึกอบรมใหม่ของคุณ

การเลือกตัวอย่างสำหรับ MinDiff

ในตัวอย่างข้างต้นอาจดูเหมือนขัดกับสัญชาตญาณในการแยกแยะกลุ่มตัวอย่างที่ติดป้ายกำกับ เชิงลบ หากคุณสนใจเรื่องความเหลื่อมล้ำใน อัตราที่ผิดพลาดเป็น หลัก อย่างไรก็ตาม โปรดจำไว้ว่าการคาดคะเนผลบวกที่ผิดพลาดนั้นมาจากตัวอย่างที่ติดป้ายกำกับเชิงลบ ซึ่งจัดประเภทอย่างไม่ถูกต้องว่าเป็นค่าบวก

เมื่อเก็บรวบรวมข้อมูลของคุณสำหรับ MinDiff คุณควรเลือกตัวอย่างที่แสดงให้เห็นความแตกต่างในประสิทธิภาพ ในตัวอย่างด้านบนของเรา นี่หมายถึงการเลือกตัวอย่างที่ติดป้ายกำกับเชิงลบเพื่อจัดการกับ FPR หากเราสนใจที่จะกำหนดเป้าหมาย FNR เราจะต้องเลือกตัวอย่างที่มีป้ายกำกับในเชิงบวก

ฉันต้องการข้อมูลมากแค่ไหน?

เป็นคำถามที่ดี -- ขึ้นอยู่กับกรณีการใช้งานของคุณ! ขึ้นอยู่กับสถาปัตยกรรมแบบจำลองของคุณ การกระจายข้อมูล และการกำหนดค่า MinDiff ปริมาณข้อมูลที่ต้องการอาจแตกต่างกันอย่างมาก ในแอปพลิเคชันที่ผ่านมา เราพบว่า MinDiff ทำงานได้ดีกับตัวอย่าง 5,000 รายการในแต่ละชุดการฝึก MinDiff (ชุดที่ 2 และ 3 ในส่วนก่อนหน้า) ด้วยข้อมูลที่น้อยลง มีความเสี่ยงเพิ่มขึ้นจากประสิทธิภาพที่ลดลง แต่สิ่งนี้อาจน้อยที่สุดหรือยอมรับได้ภายในขอบเขตของข้อจำกัดด้านการผลิตของคุณ หลังจากใช้ MinDiff คุณจะต้องประเมินผลลัพธ์ของคุณอย่างละเอียดเพื่อให้แน่ใจว่ามีประสิทธิภาพที่ยอมรับได้ หากไม่น่าเชื่อถือหรือไม่เป็นไปตามความคาดหวังด้านประสิทธิภาพ คุณอาจต้องพิจารณารวบรวมข้อมูลเพิ่มเติม

MinDiff ไม่ เหมาะกับฉันเมื่อใด

MinDiff เป็นเทคนิคที่ทรงพลังที่สามารถให้ผลลัพธ์ที่น่าประทับใจ แต่ไม่ได้หมายความว่าเป็นวิธีที่เหมาะสมสำหรับทุกสถานการณ์ การใช้อย่างไม่ตั้งใจไม่ได้รับประกันว่าคุณจะได้รับวิธีแก้ปัญหาที่เพียงพอ

นอกเหนือจากข้อกำหนดที่กล่าวข้างต้นแล้ว ยังมีบางกรณีที่ MinDiff อาจเป็นไปได้ในทางเทคนิคแต่ไม่เหมาะสม คุณควรออกแบบเวิร์กโฟลว์ ML ของคุณตามแนวทางปฏิบัติที่แนะนำเสมอ ตัวอย่างเช่น หากงานแบบจำลองของคุณไม่มีการกำหนดไว้ ผลิตภัณฑ์ต้องไม่ชัดเจน หรือฉลากตัวอย่างของคุณเอียงมากเกินไป คุณควรจัดลำดับความสำคัญของการแก้ไขปัญหาเหล่านี้ ในทำนองเดียวกัน หากคุณไม่มีคำจำกัดความที่ชัดเจนของกลุ่มที่มีความละเอียดอ่อน หรือไม่สามารถระบุได้อย่างน่าเชื่อถือว่าตัวอย่างนั้นเป็นของกลุ่มที่มีความละเอียดอ่อน คุณจะไม่สามารถใช้ MinDiff ได้อย่างมีประสิทธิภาพ

ในระดับที่สูงขึ้น คุณควรพิจารณาเสมอว่าผลิตภัณฑ์ของคุณเหมาะสำหรับการใช้งาน ML หรือไม่ หากเป็นเช่นนั้น ให้พิจารณาพาหะที่อาจเป็นอันตรายต่อผู้ใช้ที่สร้างขึ้น การแสวงหา ML ที่มีความรับผิดชอบนั้นเป็นความพยายามหลายด้านซึ่งมีจุดมุ่งหมายเพื่อคาดการณ์อันตรายที่อาจเกิดขึ้นในวงกว้าง MinDiff สามารถช่วยบรรเทาปัญหาเหล่านี้บางส่วนได้ แต่ผลลัพธ์ทั้งหมดสมควรได้รับการพิจารณาอย่างรอบคอบ

1 Beutel A., Chen, J., Doshi, T., Qian, H., Wei, L., Wu, Y., Heldt, L., Zhao, Z., Hong, L., Chi, E., กู๊ดโรว์, ค. (2019). ความเป็นธรรมในการจัดอันดับคำแนะนำผ่านการเปรียบเทียบแบบคู่