MinDiff'i ne zaman kullanmalıyım?
Modelinizin genel olarak iyi performans gösterdiği ancak hassas bir gruba ait örneklerde daha sık zararlı hatalar ürettiği ve performans açığını kapatmak istediğiniz durumlarda MinDiff'i uygulayın. Hassas ilgi grupları, kullanım durumunuza bağlı olarak değişiklik gösterebilir ancak genellikle ırk, din, cinsiyet, cinsel yönelim ve daha fazlası gibi korunan sınıfları içerir. Bu belge boyunca, korunan bir sınıfa ait olan herhangi bir örnek kümesini ifade etmek için "hassas grup" terimini kullanacağız.
Düşük performans gösteren veri dilimlerini ele almak için MinDiff'i kullanmanın iki temel koşulu vardır:
- Düşük performans gösteren veri dilimlerini gösteren ölçümleri belirleyerek modelinizi zaten ayarlayıp değerlendirdiniz. Bu, model iyileştirmeyi uygulamadan önce yapılmalıdır.
- Düşük performans gösteren gruba ait yeterli sayıda ilgili etiketli örneğe sahipsiniz veya elde edebilirsiniz (daha fazla ayrıntı aşağıdadır).
MinDiff, eşit olmayan davranışları düzeltmeye yönelik birçok teknikten biridir. Özellikle gruplar arasındaki performansı doğrudan eşitlemeye çalıştığınızda bu iyi bir seçim olabilir. MinDiff, veri artırma ve diğerleri gibi daha iyi sonuçlara yol açabilecek diğer yaklaşımlarla birlikte kullanılabilir. Ancak hangi tekniğe yatırım yapacağınıza öncelik vermeniz gerekiyorsa bunu ürün ihtiyaçlarınıza göre yapmalısınız.
MinDiff'i uygularken, düşük performans gösteren gruplarınız geliştikçe, en iyi performans gösteren gruplarınız için performansın düştüğünü veya hafifçe değiştiğini görebilirsiniz. Bu ödünleşim beklenen bir durumdur ve ürün gereksinimleriniz bağlamında değerlendirilmelidir. Uygulamada MinDiff'in en iyi performans gösteren dilimlerin kabul edilebilir seviyelerin altına düşmesine neden olmadığını sıklıkla gördük, ancak bu uygulamaya özeldir ve ürün sahibi tarafından verilmesi gereken bir karardır.
MinDiff'i hangi model tiplerine uygulayabilirim?
MinDiff'in ikili sınıflandırıcılara uygulandığında sürekli olarak etkili olduğu gösterilmiştir. Yöntemin diğer uygulamalara uyarlanması mümkündür ancak henüz tam olarak test edilmemiştir. Çoklu sınıflandırma ve sıralama görevlerinde başarıyı göstermek için bazı çalışmalar yapılmıştır 1 ancak MinDiff'in bu veya diğer model türleri üzerinde herhangi bir şekilde kullanılması deneysel olarak değerlendirilmelidir.
MinDiff'i hangi ölçümlere uygulayabilirim?
MinDiff, gruplar arasında eşitlemeye çalıştığınız ölçüm yanlış pozitif oran (FPR) veya yanlış negatif oran (FNR) olduğunda iyi bir çözüm olabilir, ancak diğer ölçümler için de işe yarayabilir. Genel bir kural olarak, hedeflediğiniz ölçüm, hassas bir gruba ait örnekler ile hassas bir gruba ait olmayan örnekler arasındaki puan dağılımlarındaki farklılıkların bir sonucu olduğunda MinDiff işe yarayabilir.
MinDiff veri kümenizi oluşturma
MinDiff ile eğitime hazırlanırken üç ayrı veri kümesi hazırlamanız gerekecektir. Normal eğitimde olduğu gibi MinDiff veri kümeleriniz, modelinizin hizmet verdiği kullanıcıları temsil etmelidir. MinDiff bu olmadan çalışabilir ancak bu gibi durumlarda daha dikkatli olmalısınız.
Hassas bir sınıfa ait örnekler için modelinizin FPR'sini iyileştirmeye çalıştığınızı varsayarsak, şunlara ihtiyacınız olacak:
- Orijinal eğitim seti - Temel modelinizi eğitmek için kullanılan orijinal veri seti
- MinDiff hassas seti - Yalnızca negatif kesin doğruluk etiketlerine sahip hassas sınıfa ait örneklerden oluşan bir veri seti. Bu örnekler yalnızca MinDiff kaybının hesaplanması için kullanılacaktır.
- MinDiff hassas olmayan küme - Yalnızca negatif kesin doğruluk etiketlerine sahip, hassas sınıfa ait olmayan örneklerden oluşan bir veri kümesi. Bu örnekler yalnızca MinDiff kaybının hesaplanması için kullanılacaktır.
Kütüphaneyi kullanırken, bu veri setlerinin üçünü de yeni eğitim setiniz olarak hizmet verecek tek bir veri setinde birleştireceksiniz.
MinDiff için örnekler seçme
Öncelikle yanlış pozitif oranındaki eşitsizliklerle ilgileniyorsanız, yukarıdaki örnekte olumsuz etiketli örnek kümeleri oluşturmak mantık dışı görünebilir. Ancak, yanlış pozitif tahminin, hatalı bir şekilde pozitif olarak sınıflandırılan, negatif olarak etiketlenmiş bir örnekten geldiğini unutmayın.
MinDiff için verilerinizi toplarken performans eşitsizliğinin belirgin olduğu örnekleri seçmelisiniz. Yukarıdaki örneğimizde bu, FPR'ye yönelik olumsuz etiketli örneklerin seçilmesi anlamına geliyordu. FNR'yi hedeflemekle ilgilenseydik olumlu etiketlenmiş örnekleri seçmemiz gerekirdi.
Ne kadar veriye ihtiyacım var?
Güzel soru; kullanım durumunuza bağlıdır! Model mimarinize, veri dağıtımınıza ve MinDiff yapılandırmanıza bağlı olarak ihtiyaç duyulan veri miktarı önemli ölçüde değişebilir. Geçmiş uygulamalarda, MinDiff'in her MinDiff eğitim setinde (önceki bölümdeki 2. ve 3. setler) 5.000 örnekle iyi çalıştığını gördük. Daha az veriyle performansın düşmesi riski artar, ancak bu, üretim kısıtlamalarınızın sınırları dahilinde minimum düzeyde veya kabul edilebilir olabilir. MinDiff'i uyguladıktan sonra kabul edilebilir performans sağlamak için sonuçlarınızı kapsamlı bir şekilde değerlendirmeniz gerekecektir. Güvenilir değillerse veya performans beklentilerini karşılamıyorlarsa yine de daha fazla veri toplamayı düşünebilirsiniz.
MinDiff ne zaman benim için uygun değildir ?
MinDiff, etkileyici sonuçlar sağlayabilen güçlü bir tekniktir ancak bu, her durum için doğru yöntem olduğu anlamına gelmez. Bunu gelişigüzel uygulamak yeterli bir çözüm elde edeceğinizi garanti etmez.
Yukarıda tartışılan gerekliliklerin ötesinde MinDiff'in teknik olarak mümkün olabileceği ancak uygun olmadığı durumlar da vardır. ML iş akışınızı her zaman bilinen önerilen uygulamalara göre tasarlamanız gerekir. Örneğin, model göreviniz iyi tanımlanmamışsa, ürünün net olmaması gerekiyorsa veya örnek etiketleriniz aşırı çarpıksa, bu sorunları çözmeye öncelik vermelisiniz. Benzer şekilde, hassas grubun net bir tanımına sahip değilseniz veya örneklerin hassas gruba ait olup olmadığını güvenilir bir şekilde belirleyemiyorsanız MinDiff'i etkili bir şekilde uygulayamazsınız.
Daha yüksek bir düzeyde, ürününüzün makine öğrenimi için uygun olup olmadığını her zaman düşünmelisiniz. Eğer öyleyse, bunun kullanıcıya zarar vermesine neden olabilecek potansiyel vektörleri göz önünde bulundurun. Sorumlu makine öğrenimi arayışı, çok çeşitli potansiyel zararları öngörmeyi amaçlayan çok yönlü bir çabadır; MinDiff bunlardan bazılarını hafifletmeye yardımcı olabilir, ancak tüm sonuçlar dikkatli bir şekilde değerlendirilmeyi hak eder.
1 Beutel A., Chen, J., Doshi, T., Qian, H., Wei, L., Wu, Y., Heldt, L., Zhao, Z., Hong, L., Chi, E., Goodrow, C. (2019). İkili Karşılaştırmalar Yoluyla Tavsiye Sıralamasında Adalet.