Ghép nối bản ghi ngược thực để khắc phục mô hình

Sử dụng bộ sưu tập để sắp xếp ngăn nắp các trang Lưu và phân loại nội dung dựa trên lựa chọn ưu tiên của bạn.

Ghép nối bản ghi ngược thực (CLP) là một kỹ thuật trong Thư viện khắc phục mô hình TensorFlow nhằm đảm bảo rằng dự đoán của mô hình không thay đổi khi một thuộc tính nhạy cảm được tham chiếu trong một ví dụ bị xóa hoặc thay thế. Ví dụ, trong bộ phân loại độc tính, các ví dụ như "Tôi là đàn ông" và "Tôi là đồng tính nữ" không được có dự đoán khác về độc tính.

Để có một cuộc thảo luận chuyên sâu về chủ đề này, hãy xem nghiên cứu về tính công bằng đối nghịch, ghép nối logit đối nghịch và ghép nối logit đối nghịch.

Khi nào thì bạn nên sử dụng Ghép nối bản ghi phản thực?

CLP giải quyết tình huống trong đó sự thay đổi trong một thuộc tính nhạy cảm được tham chiếu trong một tính năng sẽ thay đổi dự đoán (khi dự đoán không nên thay đổi). Khi làm như vậy, nó cố gắng trả lời câu hỏi: Liệu mô hình này có dễ bị thay đổi dự đoán chỉ dựa trên sự hiện diện của một thuộc tính nhận dạng không? Xem tài liệu nghiên cứu để biết chi tiết về công bằng ngược thực tế.

Vấn đề này đã được thấy trong Perspective API , một công cụ ML được các nhà phát triển và nhà xuất bản sử dụng để phân tích nội dung nhận xét cho văn bản có khả năng gây khó chịu hoặc độc hại . API phối cảnh lấy văn bản nhận xét làm đầu vào và trả về điểm từ 0 đến 1 như một dấu hiệu về xác suất nhận xét đó là độc hại. Ví dụ: một nhận xét như “Bạn là một thằng ngốc” có thể nhận được điểm xác suất là 0,8 về độ độc, cho biết khả năng người đọc cảm nhận nhận xét đó là độc hại như thế nào.

Sau khi ra mắt lần đầu tiên của Perspective API, người dùng bên ngoài đã phát hiện ra mối tương quan thuận giữa các cụm từ nhận dạng chứa thông tin về chủng tộc hoặc khuynh hướng tình dục và điểm độc tính được dự đoán. Ví dụ: cụm từ "Tôi là đồng tính nữ" nhận được điểm 0,51, trong khi "Tôi là đàn ông" nhận được điểm thấp hơn 0,2. Trong trường hợp này, các thuật ngữ nhận dạng không được sử dụng tạm thời, vì vậy không nên có sự khác biệt đáng kể như vậy về điểm số. Để biết thêm thông tin về Perspective API, hãy xem bài đăng trên blog về điều khoản nhận dạng và thiên vị ngoài ý muốn .

Làm cách nào để đo lường tác động của Ghép nối bản ghi ngược thực?

Nếu bạn đã đánh giá mô hình học máy của mình và xác định rằng những thay đổi trong dự đoán do thay đổi trong các thuộc tính nhạy cảm cụ thể sẽ có hại, thì bạn nên đo lường mức độ phổ biến của vấn đề này. Trong trường hợp bộ phân loại nhị phân hoặc nhiều lớp, một lần lật được định nghĩa là bộ phân loại đưa ra một quyết định khác (chẳng hạn như thay đổi dự đoán từ độc hại thành không độc hại) khi thuộc tính nhạy cảm được tham chiếu trong ví dụ thay đổi. Khi đánh giá mức độ phổ biến của các lần lật , bạn có thể xem số lần lật và tỷ lệ lật . Bằng cách tính đến tác hại tiềm ẩn của người dùng do lật và tần suất xảy ra lật, bạn có thể xác định xem đây có phải là vấn đề cần được giải quyết bằng cách áp dụng CLP hay không. Để biết thêm thông tin về các chỉ số này, hãy tham khảo hướng dẫn Chỉ báo Công bằng .

Tôi có thể áp dụng Ghép nối bản ghi ngược thực trên những loại mô hình nào?

Kỹ thuật này có thể được sử dụng với các bộ phân loại nhị phân và đa lớp của các loại dữ liệu khác nhau như văn bản, hình ảnh và video.

Khi nào thì Ghép nối nhật ký phản thực không phù hợp với tôi?

CLP không phải là phương pháp phù hợp cho mọi tình huống. Ví dụ: nó không liên quan nếu sự hiện diện hoặc vắng mặt của một cụm từ nhận dạng thay đổi hợp pháp dự đoán của trình phân loại. Đây có thể là trường hợp nếu bộ phân loại nhằm xác định xem đối tượng địa lý có tham chiếu đến một nhóm nhận dạng cụ thể hay không. Phương pháp này cũng ít tác động hơn nếu mối tương quan ngoài ý muốn giữa kết quả của trình phân loại và nhóm nhận dạng không có tác động tiêu cực lên người dùng.

CLP hữu ích để kiểm tra xem liệu một mô hình ngôn ngữ hoặc bộ phân loại độc tính có đang thay đổi đầu ra của nó theo cách không công bằng hay không (ví dụ: phân loại một đoạn văn bản là độc hại) đơn giản vì các thuật ngữ như “Da đen”, “đồng tính”, “Hồi giáo” có trong bản văn. CLP không nhằm mục đích đưa ra dự đoán về các cá nhân, chẳng hạn như bằng cách thao túng danh tính của một cá nhân. Xem bài báo này để thảo luận chi tiết hơn.

Điều quan trọng cần lưu ý là CLP là một kỹ thuật trong Bộ công cụ AI có trách nhiệm được thiết kế đặc biệt để giải quyết tình huống trong đó các thuộc tính nhạy cảm được tham chiếu trong các tính năng thay đổi dự đoán. Tùy thuộc vào mô hình và trường hợp sử dụng của bạn, điều quan trọng là phải xem xét liệu có khoảng cách về hiệu suất đối với các nhóm bị thiệt thòi về mặt lịch sử hay không, đặc biệt vì CLP có thể ảnh hưởng đến hoạt động của nhóm. Điều này có thể được đánh giá bằng các Chỉ số Công bằng và được giải quyết bởi MinDiff cũng có trong Thư viện Khắc phục Mô hình TensorFlow.

Bạn cũng nên xem xét liệu sản phẩm của mình có phải là ứng dụng thích hợp cho học máy hay không. Nếu đúng như vậy, quy trình công việc học máy của bạn phải được thiết kế theo các phương pháp được đề xuất đã biết, chẳng hạn như có nhiệm vụ mô hình được xác định rõ ràng và nhu cầu sản phẩm rõ ràng.

Ghép nối bản ghi ngược thực hoạt động như thế nào?

CLP bổ sung thêm một sự mất mát cho mô hình ban đầu được cung cấp bằng cách ghép nối logit một ví dụ gốc và phản thực tế từ một tập dữ liệu. Bằng cách tính toán sự khác biệt giữa hai giá trị, bạn sẽ phạt sự khác biệt của các cụm từ nhạy cảm khiến dự đoán của trình phân loại của bạn thay đổi. Công việc này dựa trên nghiên cứu về ghép nối logit đối nghịch và ghép nối logit đối nghịch .