日付を保存! Google I / Oが5月18日から20日に戻ってきます今すぐ登録
このページは Cloud Translation API によって翻訳されました。
Switch to English

モデル修復とは何ですか?

機械学習モデルのパフォーマンスのスライス評価を実行すると、特定のデータスライス全体でモデルのパフォーマンスが低下していることに気付く場合があります。この種の不平等なパフォーマンスは、脆弱な集団のサブセットに不公平で潜在的に有害な結果をもたらす可能性があります。一般に、バイアスの懸念に対処するための技術的介入には、主に3つのタイプがあります。

  • 入力データの変更:より多くのデータの収集、合成データの生成、さまざまなスライスの重みとサンプリングレートの調整など。1
  • モデルへの介入:モデルの目的を導入または変更したり、制約を追加したりして、モデル自体を変更します。2
  • 結果の後処理:モデルの出力または出力の解釈を変更して、メトリック全体のパフォーマンスを向上させます。 3

from tensorflow_model_remediation import min_diff
import tensorflow as tf

# Start by defining a Keras model.
original_model = ...

# Set the MinDiff weight and choose a loss.
min_diff_loss = min_diff.losses.MMDLoss()
min_diff_weight = 1.0  # Hyperparamater to be tuned.

# Create a MinDiff model.
min_diff_model = min_diff.keras.MinDiffModel(
original_model, min_diff_loss, min_diff_weight)

# Compile the MinDiff model normally.
min_diff_model.compile(...)

# Create a MinDiff Dataset and train the min_diff_model.
min_diff_model.fit(min_diff_dataset, ...)

MinDiffとは何ですか?

MinDiffは、2つの分布を均等化しようとするモデル修復手法です。実際には、分布の違いにペナルティを課すことにより、データのさまざまなスライス間でエラー率のバランスを取るために使用できます。

通常、機密クラスに属するデータのスライスとパフォーマンスの高いスライスの間の偽陽性率(FPR)または偽陰性率(FNR)の差を最小限に抑えるために、MinDiffを適用します。公平性の測定基準の詳細については、この主題に関する文献を確認してください。 4 5 6

MinDiffはどのように機能しますか?

データセットからの2セットの例を考えると、MinDiffは、2つのセット間のスコアの分布の違いについて、トレーニング中にモデルにペナルティを課します。 2つのセットが予測スコアに基づいて区別されにくいほど、適用されるペナルティは小さくなります。

ペナルティは、モデルがトレーニングしている損失にコンポーネントを追加することによって適用されます。これは、モデル予測の分布の違いの測定値と考えることができます。鉄道模型は、上のグラフのように、分布を近づけることでペナルティを最小限に抑えようとします。

MinDiffを適用すると、元のタスクのパフォーマンスに関してトレードオフが発生する場合があります。実際には、MinDiffは製品のニーズを超えてパフォーマンスを低下させることなく効果的であることがよくありますが、これはアプリケーションに依存するため、製品の所有者が慎重に決定する必要があります。 MinDiffの実装方法を示す例については、ノートブックのチュートリアルを参照してください

1 Zhang、G.、Bai、B.、Zhang、J.、Bai、K.、Zhu、C.、Zhao、T。(2020)人口統計は毒性の理由であってはなりません:インスタンスの重み付けによるテキスト分類の識別の軽減。
2 Prost、F.、Qian H.、Chen、Q.、Chi、E.、Chen、J.、Beutel、A。(2019)カーネルベースのディストリビューションマッチングを使用して、パフォーマンスと公平性の間のより良いトレードオフに向けて。
3 Alabdulmohsin、I。(2020)。制約なし最適化による公正な分類。
4 Dwork、C.、Hardt、M.、Pitassi、T.、Reingold、O.、Zemel、R。(2011)意識による公平性。
5 Hardt、M.、Price、E.、Srebro、N。(2016)。教師あり学習における機会均等。
6 Chouldechova、A。(2016)。異なる影響を伴う公正な予測:再犯予測手段におけるバイアスの研究。

リソース