 Xem trên TensorFlow.org |  Chạy trong Google Colab |  Xem trên GitHub |  Tải xuống sổ ghi chép |
Tổng quan về Nghiên cứu điển hình
Trong nghiên cứu trường hợp này, chúng tôi sẽ áp dụng Phân tích mẫu TensorFlow và chỉ số công bằng để đánh giá dữ liệu được lưu trữ như một Pandas DataFrame, trong đó mỗi hàng chứa nhãn thực địa, các tính năng khác nhau, và một dự đoán mô hình. Chúng tôi sẽ chỉ ra cách quy trình làm việc này có thể được sử dụng để phát hiện các mối quan tâm tiềm ẩn về công bằng, độc lập với khuôn khổ được sử dụng để xây dựng và đào tạo mô hình. Như trong nghiên cứu điển hình này, chúng tôi có thể phân tích kết quả từ bất kỳ khuôn khổ học máy nào (ví dụ: TensorFlow, JAX, v.v.) sau khi chúng được chuyển đổi thành Pandas DataFrame.
Đối với bài tập này, chúng tôi sẽ tận dụng mô hình Neural Network Sâu (DNN) được phát triển trong chế Shape cho Đạo đức với Tensorflow Lattice trường hợp nghiên cứu sử dụng các Trường Luật Tuyển tập dữ liệu từ tuyển sinh Trường Luật Hội đồng (LSAC). Bộ phân loại này cố gắng dự đoán liệu một sinh viên có vượt qua ngưỡng này hay không, dựa trên điểm của Bài kiểm tra Nhập học Trường Luật (LSAT) và điểm trung bình của họ. Bộ phân loại này cố gắng dự đoán liệu một sinh viên có vượt qua được điểm này hay không, dựa trên điểm LSAT và điểm trung bình chung của họ.
Bộ dữ liệu LSAC
Bộ dữ liệu sử dụng trong nghiên cứu trường hợp này ban đầu được thu thập cho một nghiên cứu gọi là ' LSAC Quốc Longitudinal Study Bar Passage. Báo cáo nghiên cứu LSAC Dòng 'bởi Linda Wightman vào năm 1998. Các số liệu hiện đang được tổ chức ở đây .
- dnn_bar_pass_prediction: Dự đoán LSAT từ mô hình DNN.
- giới tính: Giới tính của học sinh.
- LSAT: LSAT điểm nhận bởi các học sinh.
- pass_bar: Ground thật nhãn ghi rõ có hay không học sinh cuối cùng thông qua quầy bar.
- chủng tộc: Chủng tộc của học sinh.
- ugpa: Một đại học GPA của học sinh.
!pip install -q -U pip==20.2
!pip install -q -U \
tensorflow-model-analysis==0.30.0 \
tensorflow-data-validation==0.30.0 \
tfx-bsl==0.30.0
Nhập các gói bắt buộc:
import os
import tempfile
import pandas as pd
import six.moves.urllib as urllib
import pprint
import tensorflow_model_analysis as tfma
from google.protobuf import text_format
import tensorflow as tf
tf.compat.v1.enable_v2_behavior()
Tải xuống dữ liệu và khám phá tập dữ liệu ban đầu.
# Download the LSAT dataset and setup the required filepaths.
_DATA_ROOT = tempfile.mkdtemp(prefix='lsat-data')
_DATA_PATH = 'https://storage.googleapis.com/lawschool_dataset/bar_pass_prediction.csv'
_DATA_FILEPATH = os.path.join(_DATA_ROOT, 'bar_pass_prediction.csv')
data = urllib.request.urlopen(_DATA_PATH)
_LSAT_DF = pd.read_csv(data)
# To simpliy the case study, we will only use the columns that will be used for
# our model.
_COLUMN_NAMES = [
'dnn_bar_pass_prediction',
'gender',
'lsat',
'pass_bar',
'race1',
'ugpa',
]
_LSAT_DF.dropna()
_LSAT_DF['gender'] = _LSAT_DF['gender'].astype(str)
_LSAT_DF['race1'] = _LSAT_DF['race1'].astype(str)
_LSAT_DF = _LSAT_DF[_COLUMN_NAMES]
_LSAT_DF.head()
Định cấu hình các Chỉ số Công bằng.
Có một số tham số mà bạn sẽ cần tính đến khi sử dụng Các chỉ số công bằng với DataFrame
DataFrame đầu vào của bạn phải chứa cột dự đoán và cột nhãn từ mô hình của bạn. Theo mặc định Công bằng chỉ số sẽ tìm kiếm một cột dự đoán được gọi là
predictionvà một cột nhãn gọi làlabeltrong DataFrame của bạn.- Nếu một trong hai giá trị này không được tìm thấy, KeyError sẽ xuất hiện.
Ngoài DataFrame, bạn cũng sẽ cần phải bao gồm một
eval_configrằng nên bao gồm các số liệu để tính toán, lát để tính toán các số liệu trên, và các tên cột cho nhãn ví dụ và dự đoán.metrics_specssẽ thiết lập các số liệu để tính toán. CácFairnessIndicatorssố liệu sẽ được yêu cầu để làm cho các số liệu công bằng và bạn có thể nhìn thấy một danh sách các số liệu tùy chọn thêm ở đây .slicing_specslà một tham số cắt tùy chọn để xác định những gì tính năng mà bạn đang quan tâm trong việc điều tra. Trong nghiên cứu điển hình này, race1 được sử dụng, tuy nhiên bạn cũng có thể đặt giá trị này thành một tính năng khác (ví dụ: giới tính trong ngữ cảnh của DataFrame này). Nếuslicing_specskhông được cung cấp tất cả các tính năng này sẽ được đưa vào.Nếu DataFrame của bạn bao gồm một nhãn hoặc dự đoán cột đó là khác với mặc định
predictionhoặclabel, bạn có thể cấu hình cáclabel_keyvàprediction_keyđến một giá trị mới.
Nếu
output_pathkhông được xác định một thư mục tạm thời sẽ được tạo ra.
# Specify Fairness Indicators in eval_config.
eval_config = text_format.Parse("""
model_specs {
prediction_key: 'dnn_bar_pass_prediction',
label_key: 'pass_bar'
}
metrics_specs {
metrics {class_name: "AUC"}
metrics {
class_name: "FairnessIndicators"
config: '{"thresholds": [0.50, 0.90]}'
}
}
slicing_specs {
feature_keys: 'race1'
}
slicing_specs {}
""", tfma.EvalConfig())
# Run TensorFlow Model Analysis.
eval_result = tfma.analyze_raw_data(
data=_LSAT_DF,
eval_config=eval_config,
output_path=_DATA_ROOT)
WARNING:apache_beam.runners.interactive.interactive_environment:Dependencies required for Interactive Beam PCollection visualization are not available, please use: `pip install apache-beam[interactive]` to install necessary dependencies to enable all data visualization features. WARNING:apache_beam.io.tfrecordio:Couldn't find python-snappy so the implementation of _TFRecordUtil._masked_crc32c is not as fast as it could be. WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_model_analysis/writers/metrics_plots_and_validations_writer.py:113: tf_record_iterator (from tensorflow.python.lib.io.tf_record) is deprecated and will be removed in a future version. Instructions for updating: Use eager execution and: `tf.data.TFRecordDataset(path)` WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_model_analysis/writers/metrics_plots_and_validations_writer.py:113: tf_record_iterator (from tensorflow.python.lib.io.tf_record) is deprecated and will be removed in a future version. Instructions for updating: Use eager execution and: `tf.data.TFRecordDataset(path)`
Khám phá hiệu suất của mô hình với Chỉ báo Công bằng.
Sau khi chạy Chỉ báo công bằng, chúng tôi có thể hình dung các số liệu khác nhau mà chúng tôi đã chọn để phân tích hiệu suất mô hình của mình. Trong nghiên cứu điển hình này, chúng tôi đã bao gồm các Chỉ số Công bằng và chọn AUC một cách tùy ý.
Khi chúng tôi lần đầu tiên nhìn vào AUC tổng thể cho mỗi phần đua, chúng tôi có thể thấy sự khác biệt nhỏ về hiệu suất của mô hình, nhưng không có gì đáng báo động.
- Châu Á: 0,58
- Đen: 0,58
- Tây Ban Nha: 0,58
- Khác: 0,64
- Trắng: 0.6
Tuy nhiên, khi chúng tôi xem xét tỷ lệ âm sai phân chia theo chủng tộc, mô hình của chúng tôi lại dự đoán không chính xác khả năng người dùng vượt qua ngưỡng này ở các tỷ lệ khác nhau và lần này, rất nhiều.
- Châu Á: 0.01
- Đen: 0.05
- Tây Ban Nha: 0.02
- Khác: 0.01
- Trắng: 0.01
Đáng chú ý nhất là sự khác biệt giữa học sinh Da đen và Da trắng là khoảng 380%, có nghĩa là mô hình của chúng tôi có khả năng dự đoán sai cao hơn gấp 4 lần rằng học sinh da đen sẽ không vượt qua vạch, so với học sinh da trắng. Nếu chúng tôi tiếp tục với nỗ lực này, một học viên có thể sử dụng những kết quả này như một tín hiệu rằng họ nên dành nhiều thời gian hơn để đảm bảo rằng mô hình của họ hoạt động tốt cho mọi người từ mọi hoàn cảnh.
# Render Fairness Indicators.
tfma.addons.fairness.view.widget_view.render_fairness_indicator(eval_result)
FairnessIndicatorViewer(slicingMetrics=[{'sliceValue': 'Overall', 'slice': 'Overall', 'metrics': {'auc': {'dou…
tfma.EvalResult
Các eval_result đối tượng, trả lại trên trong render_fairness_indicator() , có API riêng của mình mà có thể được sử dụng để đọc kết quả TFMA vào các chương trình của bạn.
get_slice_names() và get_metric_names()
Để có được các phần và số liệu đã đánh giá, bạn có thể sử dụng các chức năng tương ứng.
pp = pprint.PrettyPrinter()
print("Slices:")
pp.pprint(eval_result.get_slice_names())
print("\nMetrics:")
pp.pprint(eval_result.get_metric_names())
Slices:
[(),
(('race1', 'white'),),
(('race1', 'hisp'),),
(('race1', 'asian'),),
(('race1', 'black'),),
(('race1', 'nan'),),
(('race1', 'other'),)]
Metrics:
['fairness_indicators_metrics/negative_rate@0.9',
'fairness_indicators_metrics/true_negative_rate@0.5',
'fairness_indicators_metrics/false_positive_rate@0.9',
'fairness_indicators_metrics/false_discovery_rate@0.9',
'fairness_indicators_metrics/false_positive_rate@0.5',
'auc',
'fairness_indicators_metrics/false_discovery_rate@0.5',
'fairness_indicators_metrics/false_omission_rate@0.9',
'fairness_indicators_metrics/false_omission_rate@0.5',
'fairness_indicators_metrics/true_positive_rate@0.5',
'fairness_indicators_metrics/positive_rate@0.9',
'fairness_indicators_metrics/false_negative_rate@0.9',
'fairness_indicators_metrics/negative_rate@0.5',
'fairness_indicators_metrics/true_positive_rate@0.9',
'fairness_indicators_metrics/true_negative_rate@0.9',
'fairness_indicators_metrics/false_negative_rate@0.5',
'fairness_indicators_metrics/positive_rate@0.5']
get_metrics_for_slice() và get_metrics_for_all_slices()
Nếu bạn muốn để có được những số liệu cho một lát cụ thể, bạn có thể sử dụng get_metrics_for_slice() . Nó trả về một ánh xạ từ điển tên metric để giá trị metric .
baseline_slice = ()
black_slice = (('race1', 'black'),)
print("Baseline metric values:")
pp.pprint(eval_result.get_metrics_for_slice(baseline_slice))
print("Black metric values:")
pp.pprint(eval_result.get_metrics_for_slice(black_slice))
Baseline metric values:
{'auc': {'doubleValue': 0.6286112666130066},
'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.052173524948674464},
'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.0502241746297722},
'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 4.7085412939071474e-05},
'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.012524719841793012},
'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 1.0},
'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.8159509202453987},
'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 1.0},
'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.9486740804106074},
'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 4.462891060829205e-05},
'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.014549024858303209},
'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 0.9999553710893917},
'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.9854509751416968},
'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.0},
'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.05132591958939264},
'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 0.9999529145870609},
'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.987475280158207} }
Black metric values:
{'auc': {'doubleValue': 0.5779293775558472},
'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.22189128816083395},
'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.21048451151707703},
'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.04880382775119617},
'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 'NaN'},
'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.6071428571428571},
'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 1.0},
'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.889261744966443},
'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 0.0},
'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.06254653760238273},
'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 1.0},
'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.9374534623976173},
'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.0},
'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.11073825503355705},
'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 1.0},
'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.9511961722488038} }
Nếu bạn muốn để có được các số liệu cho tất cả các lát, get_metrics_for_all_slices() trả về một ánh xạ từ điển từng lát để tương ứng get_metrics_for_slices(slice) .
pp.pprint(eval_result.get_metrics_for_all_slices())
{(): {'auc': {'doubleValue': 0.6286112666130066},
'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.052173524948674464},
'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.0502241746297722},
'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 4.7085412939071474e-05},
'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.012524719841793012},
'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 1.0},
'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.8159509202453987},
'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 1.0},
'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.9486740804106074},
'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 4.462891060829205e-05},
'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.014549024858303209},
'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 0.9999553710893917},
'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.9854509751416968},
'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.0},
'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.05132591958939264},
'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 0.9999529145870609},
'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.987475280158207} },
(('race1', 'asian'),): {'auc': {'doubleValue': 0.5817844271659851},
'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.07803790412486064},
'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.07674943566591422},
'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.010882708585247884},
'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 'NaN'},
'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.8181818181818182},
'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 1.0},
'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.9714285714285714},
'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 0.0},
'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.012263099219620958},
'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 1.0},
'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.987736900780379},
'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.0},
'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.02857142857142857},
'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 1.0},
'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.9891172914147521} },
(('race1', 'black'),): {'auc': {'doubleValue': 0.5779293775558472},
'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.22189128816083395},
'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.21048451151707703},
'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.04880382775119617},
'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 'NaN'},
'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.6071428571428571},
'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 1.0},
'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.889261744966443},
'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 0.0},
'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.06254653760238273},
'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 1.0},
'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.9374534623976173},
'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.0},
'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.11073825503355705},
'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 1.0},
'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.9511961722488038} },
(('race1', 'hisp'),): {'auc': {'doubleValue': 0.5754180550575256},
'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.124634858812074},
'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.12139303482587065},
'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.017797552836484983},
'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 'NaN'},
'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.7272727272727273},
'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 1.0},
'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.953125},
'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 0.0},
'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.021421616358325218},
'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 1.0},
'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.9785783836416748},
'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.0},
'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.046875},
'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 1.0},
'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.982202447163515} },
(('race1', 'nan'),): {'auc': {'doubleValue': 0.7142857313156128},
'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.125},
'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.125},
'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 'NaN'},
'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 'NaN'},
'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 1.0},
'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 1.0},
'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 0.0},
'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.0},
'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 1.0},
'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 1.0},
'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.0},
'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.0},
'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 1.0},
'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 1.0} },
(('race1', 'other'),): {'auc': {'doubleValue': 0.6389539241790771},
'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.10294117647058823},
'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.09523809523809523},
'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 0.0},
'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.01366120218579235},
'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 'NaN'},
'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.5555555555555556},
'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 1.0},
'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.9047619047619048},
'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 0.0},
'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.022058823529411766},
'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 1.0},
'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.9779411764705882},
'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.0},
'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.09523809523809523},
'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 1.0},
'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.9863387978142076} },
(('race1', 'white'),): {'auc': {'doubleValue': 0.5987964272499084},
'fairness_indicators_metrics/false_discovery_rate@0.5': {'doubleValue': 0.03360940422121293},
'fairness_indicators_metrics/false_discovery_rate@0.9': {'doubleValue': 0.03316050982933679},
'fairness_indicators_metrics/false_negative_rate@0.5': {'doubleValue': 5.52883286338254e-05},
'fairness_indicators_metrics/false_negative_rate@0.9': {'doubleValue': 0.010228340797257698},
'fairness_indicators_metrics/false_omission_rate@0.5': {'doubleValue': 1.0},
'fairness_indicators_metrics/false_omission_rate@0.9': {'doubleValue': 0.925},
'fairness_indicators_metrics/false_positive_rate@0.5': {'doubleValue': 1.0},
'fairness_indicators_metrics/false_positive_rate@0.9': {'doubleValue': 0.9761526232114467},
'fairness_indicators_metrics/negative_rate@0.5': {'doubleValue': 5.3430220132506944e-05},
'fairness_indicators_metrics/negative_rate@0.9': {'doubleValue': 0.010686044026501388},
'fairness_indicators_metrics/positive_rate@0.5': {'doubleValue': 0.9999465697798675},
'fairness_indicators_metrics/positive_rate@0.9': {'doubleValue': 0.9893139559734986},
'fairness_indicators_metrics/true_negative_rate@0.5': {'doubleValue': 0.0},
'fairness_indicators_metrics/true_negative_rate@0.9': {'doubleValue': 0.02384737678855326},
'fairness_indicators_metrics/true_positive_rate@0.5': {'doubleValue': 0.9999447116713662},
'fairness_indicators_metrics/true_positive_rate@0.9': {'doubleValue': 0.9897716592027423} } }
Sự kết luận
Trong nghiên cứu điển hình này, chúng tôi đã nhập tập dữ liệu vào Pandas DataFrame mà sau đó chúng tôi phân tích bằng các Chỉ số công bằng. Hiểu kết quả của mô hình và dữ liệu cơ bản là một bước quan trọng để đảm bảo mô hình của bạn không phản ánh sai lệch có hại. Trong bối cảnh của nghiên cứu điển hình này, chúng tôi đã kiểm tra tập dữ liệu LSAC và các dự đoán từ dữ liệu này có thể bị ảnh hưởng như thế nào bởi một cuộc đua học sinh. Khái niệm “điều gì là không công bằng và điều gì là công bằng đã được đưa ra trong nhiều lĩnh vực trong hơn 50 năm, bao gồm cả trong giáo dục, tuyển dụng và học máy”. 1 Công bằng chỉ số là một công cụ để giúp giảm thiểu những lo ngại công bằng trong máy tính của bạn học tập mô hình.
Để biết thêm thông tin về việc sử dụng các chỉ số và các nguồn lực công bằng để tìm hiểu về nhiều mối quan tâm công bằng nhìn thấy ở đây .
- Hutchinson, B., Mitchell, M. (2018). Sự công bằng trong 50 năm thử nghiệm (Un): Bài học cho Học máy. https://arxiv.org/abs/1811.10104
ruột thừa
Dưới đây là một số chức năng giúp chuyển đổi mô hình ML sang Pandas DataFrame.
# TensorFlow Estimator to Pandas DataFrame:
# _X_VALUE = # X value of binary estimator.
# _Y_VALUE = # Y value of binary estimator.
# _GROUND_TRUTH_LABEL = # Ground truth value of binary estimator.
def _get_predicted_probabilities(estimator, input_df, get_input_fn):
predictions = estimator.predict(
input_fn=get_input_fn(input_df=input_df, num_epochs=1))
return [prediction['probabilities'][1] for prediction in predictions]
def _get_input_fn_law(input_df, num_epochs, batch_size=None):
return tf.compat.v1.estimator.inputs.pandas_input_fn(
x=input_df[[_X_VALUE, _Y_VALUE]],
y=input_df[_GROUND_TRUTH_LABEL],
num_epochs=num_epochs,
batch_size=batch_size or len(input_df),
shuffle=False)
def estimator_to_dataframe(estimator, input_df, num_keypoints=20):
x = np.linspace(min(input_df[_X_VALUE]), max(input_df[_X_VALUE]), num_keypoints)
y = np.linspace(min(input_df[_Y_VALUE]), max(input_df[_Y_VALUE]), num_keypoints)
x_grid, y_grid = np.meshgrid(x, y)
positions = np.vstack([x_grid.ravel(), y_grid.ravel()])
plot_df = pd.DataFrame(positions.T, columns=[_X_VALUE, _Y_VALUE])
plot_df[_GROUND_TRUTH_LABEL] = np.ones(len(plot_df))
predictions = _get_predicted_probabilities(
estimator=estimator, input_df=plot_df, get_input_fn=_get_input_fn_law)
return pd.DataFrame(
data=np.array(np.reshape(predictions, x_grid.shape)).flatten())