সাহায্য Kaggle উপর TensorFlow সঙ্গে গ্রেট বেরিয়ার রিফ রক্ষা চ্যালেঞ্জ যোগদান

টেনসরফ্লো ফেডারেটেড: বিকেন্দ্রীভূত ডেটাতে মেশিন লার্নিং

import tensorflow as tf
import tensorflow_federated as tff

# Load simulation data.
source, _ = tff.simulation.datasets.emnist.load_data()
def client_data(n):
  return source.create_tf_dataset_for_client(source.client_ids[n]).map(
      lambda e: (tf.reshape(e['pixels'], [-1]), e['label'])
  ).repeat(10).batch(20)

# Pick a subset of client devices to participate in training.
train_data = [client_data(n) for n in range(3)]

# Wrap a Keras model for use with TFF.
def model_fn():
  model = tf.keras.models.Sequential([
      tf.keras.layers.Dense(10, tf.nn.softmax, input_shape=(784,),
                            kernel_initializer='zeros')
  ])
  return tff.learning.from_keras_model(
      model,
      input_spec=train_data[0].element_spec,
      loss=tf.keras.losses.SparseCategoricalCrossentropy(),
      metrics=[tf.keras.metrics.SparseCategoricalAccuracy()])

# Simulate a few rounds of training with the selected client devices.
trainer = tff.learning.build_federated_averaging_process(
  model_fn,
  client_optimizer_fn=lambda: tf.keras.optimizers.SGD(0.1))
state = trainer.initialize()
for _ in range(5):
  state, metrics = trainer.next(state, train_data)
  print(metrics['train']['loss'])
  • TensorFlow Federated (TFF) হল একটি ওপেন-সোর্স ফ্রেমওয়ার্ক যা মেশিন লার্নিং এবং বিকেন্দ্রীভূত ডেটার অন্যান্য গণনার জন্য। TFF সঙ্গে খোলা গবেষণা ও পরীক্ষা সহজতর উন্নত করা হয়েছে ফেডারেটেড শিক্ষণ (এফএল) , মেশিন লার্নিং একটি পদ্ধতির যেখানে একটি ভাগ বিশ্বব্যাপী মডেল অনেক অংশগ্রহণকারী ক্লায়েন্ট যে তাদের প্রশিক্ষণ ডাটা স্থানীয়ভাবে রাখা জুড়ে প্রশিক্ষিত করা হয়। উদাহরণ হিসেবে বলা যায়, এফএল ট্রেন ব্যবহৃত হয়েছে মোবাইল কীবোর্ড জন্য ভবিষ্যদ্বাণী মডেল সার্ভারে সংবেদনশীল টাইপিং ডেটা আপলোড ছাড়াই।

    TFF বিকাশকারীদের তাদের মডেল এবং ডেটাতে অন্তর্ভুক্ত ফেডারেটেড লার্নিং অ্যালগরিদমগুলি অনুকরণ করতে, সেইসাথে নতুন অ্যালগরিদমগুলির সাথে পরীক্ষা করতে সক্ষম করে। গবেষকরা পাবেন শুরু পয়েন্ট এবং সম্পূর্ণ উদাহরণ গবেষণার অনেক ধরণের জন্য। TFF দ্বারা উপলব্ধ বিল্ডিং ব্লক যেমন অ-লার্নিং কম্পিউটেশন, প্রয়োগ করতে ব্যবহৃত হতে পারে ফেডারেট বিশ্লেষণ । TFF এর ইন্টারফেস দুটি প্রধান স্তরে সংগঠিত হয়:

  • এই স্তরটি উচ্চ-স্তরের ইন্টারফেসের একটি সেট অফার করে যা বিকাশকারীদের তাদের বিদ্যমান টেনসরফ্লো মডেলগুলিতে ফেডারেটেড প্রশিক্ষণ এবং মূল্যায়নের অন্তর্ভুক্ত বাস্তবায়ন প্রয়োগ করতে দেয়।
  • সিস্টেমের মূল অংশে একটি দৃঢ়ভাবে টাইপ করা কার্যকরী প্রোগ্রামিং পরিবেশের মধ্যে টেনসরফ্লোকে বিতরণকৃত যোগাযোগ অপারেটরগুলির সাথে একত্রিত করে অভিনব ফেডারেটেড অ্যালগরিদমগুলিকে সংক্ষিপ্তভাবে প্রকাশ করার জন্য নিম্ন-স্তরের ইন্টারফেসের একটি সেট। এই স্তরটি ভিত্তি হিসাবেও কাজ করে যার উপর আমরা ফেডারেটেড লার্নিং তৈরি করেছি।
  • TFF ডেভেলপারদের ঘোষণামূলকভাবে ফেডারেটেড গণনা প্রকাশ করতে সক্ষম করে, যাতে তারা বিভিন্ন রানটাইম পরিবেশে স্থাপন করা যেতে পারে। TFF এর সাথে অন্তর্ভুক্ত হল পরীক্ষার জন্য একটি পারফরম্যান্ট মাল্টি-মেশিন সিমুলেশন রানটাইম। দয়া করে টিউটোরিয়াল এবং এটি নিজেকে চেষ্টা করুন!

    প্রশ্ন ও সমর্থনের জন্য আমাদের খুঁজে tensorflow-ফেডারেট ট্যাগ Stackoverflow উপর।