Помогают защитить Большой Барьерный Риф с TensorFlow на Kaggle Присоединяйтесь вызов

Конфиденциальность в машинном обучении

Важным аспектом ответственного использования ИИ является обеспечение того, чтобы модели машинного обучения не раскрывали потенциально конфиденциальную информацию, такую ​​как демографическая информация или другие атрибуты в наборе обучающих данных, которые могут использоваться для идентификации людей. Один из способов добиться этого - использовать дифференциально частный стохастический градиентный спуск (DP-SGD), который является модификацией стандартного алгоритма стохастического градиентного спуска (SGD) в машинном обучении.

Модели, обученные с помощью DP-SGD, имеют измеримые улучшения дифференциальной конфиденциальности (DP), которые помогают снизить риск раскрытия конфиденциальных данных обучения. Поскольку цель DP состоит в том, чтобы помочь предотвратить идентификацию отдельных точек данных, модель, обученная с помощью DP, не должна подвергаться влиянию какого-либо одного обучающего примера в ее наборе обучающих данных. Методы DP-SGD также могут использоваться в федеративном обучении для обеспечения дифференциальной конфиденциальности на уровне пользователя. Вы можете узнать о более дифференцированно частном глубоком обучении в оригинальной статье .

import tensorflow as tf
from tensorflow_privacy.privacy.optimizers import dp_optimizer_keras

# Select your differentially private optimizer
optimizer = tensorflow_privacy.DPKerasSGDOptimizer(
    l2_norm_clip=l2_norm_clip,
    noise_multiplier=noise_multiplier,
    num_microbatches=num_microbatches,
    learning_rate=learning_rate)

# Select your loss function
loss = tf.keras.losses.CategoricalCrossentropy(
    from_logits=True, reduction=tf.losses.Reduction.NONE)

# Compile your model
model.compile(optimizer=optimizer, loss=loss, metrics=['accuracy'])

# Fit your model
model.fit(train_data, train_labels,
  epochs=epochs,
  validation_data=(test_data, test_labels),
  batch_size=batch_size)
  

TensorFlow Конфиденциальность

Tensorflow Privacy (TF Privacy) - это библиотека с открытым исходным кодом, разработанная командами Google Research. Библиотека включает реализации обычно используемых оптимизаторов TensorFlow для обучения моделей машинного обучения с помощью DP. Цель состоит в том, чтобы дать возможность практикам машинного обучения, использующим стандартные API-интерфейсы Tensorflow, обучать сохраняющие конфиденциальность модели, изменяя всего несколько строк кода.

Дифференциально частные оптимизаторы могут использоваться в сочетании с высокоуровневыми API-интерфейсами, которые используют класс Optimizer, особенно с Keras. Кроме того, вы можете найти дифференциально частные реализации некоторых моделей Keras. Все оптимизаторы и модели можно найти в Документации по API .