This page was translated by the Cloud Translation API.
Switch to English

আপনার টেনসরফ্লো 1 কোডটি টেনসরফ্লো 2 তে স্থানান্তর করুন

টেনসরফ্লো.অর্গ.এ দেখুন গুগল কোলাবে চালান গিটহাবের উত্স দেখুন নোটবুক ডাউনলোড করুন

নিম্ন স্তরের টেনসরফ্লো এপিআই এর ব্যবহারকারীদের জন্য এই দস্তাবেজ। আপনি যদি উচ্চ স্তরের এপিআই ( tf.keras ) ব্যবহার করে থাকেন তবে আপনার কোডটি পুরোপুরি টেনসরফ্লো ২.০ সামঞ্জস্য করার জন্য আপনাকে খুব কম বা কোনও পদক্ষেপ নিতে হবে:

টেনসরফ্লো 2.0 তে 1.X কোড, অবিস্মরণিত (অবদান ব্যতীত ) চালানো এখনও সম্ভব:

import tensorflow.compat.v1 as tf
tf.disable_v2_behavior()

তবে এটি আপনাকে টেনসরফ্লো ২.০-এ তৈরির অনেক উন্নতির সুবিধা নিতে দেয় না। এই গাইডটি আপনাকে আপনার কোড আপগ্রেড করতে সহায়তা করবে, এটিকে আরও সহজ, আরও পারফরম্যান্ট এবং বজায় রাখা সহজ।

স্বয়ংক্রিয় রূপান্তর স্ক্রিপ্ট

এই দস্তাবেজে বর্ণিত পরিবর্তনগুলি কার্যকর করার চেষ্টা করার আগে প্রথম পদক্ষেপটি হ'ল আপগ্রেড স্ক্রিপ্টটি চালানোর চেষ্টা করা।

এটি আপনার কোড টেনসরফ্লো ২.০ এ আপগ্রেড করার সময় প্রাথমিক পাস করবে। তবে এটি আপনার কোডটিকে 2.0 এ পরিণত করতে পারে না। আপনার কোডটি এখনও স্থানধারক, অধিবেশন, সংগ্রহ এবং অন্যান্য tf.compat.v1 শৈলীর কার্যকারিতা অ্যাক্সেস করতে tf.compat.v1 এন্ডপয়েন্টগুলি ব্যবহার করতে পারে।

শীর্ষ স্তরের আচরণগত পরিবর্তন

যদি আপনার কোড tf.compat.v1.disable_v2_behavior() ব্যবহার করে tf.compat.v1.disable_v2_behavior() ২.০ এ কাজ করে tf.compat.v1.disable_v2_behavior() এখনও আপনার বৈশ্বিক আচরণগত পরিবর্তন হতে পারে যা আপনার প্রয়োজন হতে পারে। প্রধান পরিবর্তনগুলি হ'ল:

  • আগ্রহী সম্পাদন, v1.enable_eager_execution() : যে কোনও কোড যে সুস্পষ্টভাবে একটি tf.Graph ব্যবহার করে ব্যর্থ হবে। with tf.Graph().as_default() প্রসঙ্গে একটি with tf.Graph().as_default() এই কোডটি মোড়ানো নিশ্চিত হন।

  • রিসোর্স ভেরিয়েবল, v1.enable_resource_variables() : কিছু কোড টিএফ রেফারেন্স ভেরিয়েবলগুলি দ্বারা সক্ষম অ- v1.enable_resource_variables() আচরণের উপর নির্ভর করে। রিসোর্স ভেরিয়েবলগুলি লিখিত থাকাকালীন লক হয়ে গেছে এবং তাই আরও স্বজ্ঞাত সামঞ্জস্যতার গ্যারান্টি সরবরাহ করে।

    • এটি প্রান্তের ক্ষেত্রে আচরণ পরিবর্তন করতে পারে।
    • এটি অতিরিক্ত কপি তৈরি করতে পারে এবং মেমরির উচ্চতর ব্যবহার করতে পারে।
    • ব্যবহারকারীর_আত্র use_resource=False tf.Variable কনস্ট্রাক্টরের কাছে use_resource=False পাস করে এটি অক্ষম করা যায়।
  • টেনসর আকার, v1.enable_v2_tensorshape() : টিএফ 2.0 2.0 টেনসর আকারের আচরণকে সহজ করে v1.enable_v2_tensorshape() । বদলে t.shape[0].value আপনি বলতে পারেন t.shape[0] । এই পরিবর্তনগুলি ছোট হওয়া উচিত এবং এখুনি এগুলি ঠিক করা বুদ্ধিমানের কাজ। উদাহরণস্বরূপ টেন্সরশ্যাপ দেখুন।

  • নিয়ন্ত্রণ প্রবাহ, v1.enable_control_flow_v2() : টিএফ 2.0 নিয়ন্ত্রণ প্রবাহ বাস্তবায়ন সরল করা হয়েছে, এবং তাই বিভিন্ন গ্রাফ উপস্থাপনা উত্পাদন করে। দয়া করে কোনও সমস্যার জন্য বাগ ফাইল করুন।

কোডটি 2.0-স্থানীয় করুন

এই গাইড টেনসরফ্লো 1.x কোডটিকে টেনসরফ্লো ২.০ তে রূপান্তর করার বেশ কয়েকটি উদাহরণ দিয়ে যাবে। এই পরিবর্তনগুলি আপনার কোডটিকে পারফরম্যান্স অপটিমাইজেশন এবং সরলিকৃত API কলগুলির সুবিধা নিতে দেবে।

প্রতিটি ক্ষেত্রে, প্যাটার্নটি হ'ল:

1. v1.Session.run কলগুলি প্রতিস্থাপন করুন

প্রতি v1.Session.run কলটি পাইথন ফাংশন দ্বারা প্রতিস্থাপন করা উচিত।

  • feed_dict এবং v1.placeholder গুলি ফাংশন আর্গুমেন্টে পরিণত হয়।
  • fetches ফাংশনের রিটার্ন মান হয়ে যায়।
  • রূপান্তরকালে আগ্রহী সম্পাদন pdb মতো স্ট্যান্ডার্ড পাইথন সরঞ্জামগুলির সাথে সহজে ডিবাগিংয়ের অনুমতি দেয়।

এরপরে একটি tf.function যুক্ত করুন যাতে এটি গ্রাফের দক্ষতার সাথে চালিত হয়। এটি কীভাবে কাজ করে তার জন্য অটোগ্রাফ গাইডটি দেখুন।

মনে রাখবেন যে:

  • v1.Session.run মতো v1.Session.run একটি tf.function একটি নির্দিষ্ট রিটার্ন স্বাক্ষর থাকে এবং সর্বদা সমস্ত আউটপুট দেয়। যদি এটি কার্য সম্পাদনের সমস্যা সৃষ্টি করে তবে দুটি পৃথক ফাংশন তৈরি করুন।

  • একটি tf.control_dependencies বা অনুরূপ ক্রিয়াকলাপের প্রয়োজন নেই: একটি tf.function আচরণ করে যেন এটি লিখিত ক্রমে চালিত হয়েছিল। tf.Variable অ্যাসাইনমেন্ট এবং tf.assert গুলি, উদাহরণস্বরূপ, স্বয়ংক্রিয়ভাবে কার্যকর করা হয়।

রূপান্তরকারী মডেল বিভাগে এই রূপান্তর প্রক্রিয়াটির একটি কার্যকারী উদাহরণ রয়েছে।

২ ভেরিয়েবল এবং ক্ষতির উপরে নজর রাখার জন্য পাইথন অবজেক্ট ব্যবহার করুন

সমস্ত নাম ভিত্তিক ভেরিয়েবল ট্র্যাকিং টিএফ 2.0 তে দৃ 2.0়ভাবে নিরুৎসাহিত করা হয়েছে। ভেরিয়েবলগুলি ট্র্যাক করতে পাইথন অবজেক্ট ব্যবহার করুন।

ব্যবহারের tf.Variable পরিবর্তে v1.get_variable

প্রতিটি v1.variable_scope একটি পাইথন অবজেক্টে রূপান্তর করা উচিত। সাধারণত এটির মধ্যে একটি হবে:

আপনার যদি ভেরিয়েবলগুলির তালিকা সংগ্রহ করতে হয় (যেমন tf.Graph.get_collection(tf.GraphKeys.VARIABLES) ), Layer এবং Model অবজেক্টগুলির .variables এবং .trainable_variables বৈশিষ্ট্যগুলি ব্যবহার করুন।

এই Layer এবং Model ক্লাসগুলি বিশ্বব্যাপী সংগ্রহের প্রয়োজনীয়তা অপসারণ করে এমন আরও কয়েকটি বৈশিষ্ট্য প্রয়োগ করে। তাদের .losses সম্পত্তি tf.GraphKeys.LOSSES সংগ্রহ ব্যবহার করার জন্য প্রতিস্থাপন হতে পারে।

বিশদ জন্য কেরাস গাইড দেখুন।

৩. আপনার প্রশিক্ষণের লুপগুলি আপগ্রেড করুন

আপনার ব্যবহারের ক্ষেত্রে কাজ করে এমন সর্বোচ্চ স্তরের API ব্যবহার করুন। আপনার নিজস্ব প্রশিক্ষণ লুপ tf.keras.Model.fit চেয়ে tf.keras.Model.fit পছন্দ করুন।

এই উচ্চ স্তরের ফাংশনগুলি নিম্ন-স্তরের বিশদগুলি পরিচালনা করে যা আপনি নিজের প্রশিক্ষণ লুপটি লিখলে সহজেই মিস করা যায়। উদাহরণস্বরূপ, তারা স্বয়ংক্রিয়ভাবে নিয়ন্ত্রণ ক্ষতির সংগ্রহ করে এবং মডেলকে কল করার সময় training=True যুক্তি সেট করে।

৪. আপনার ডেটা ইনপুট পাইপলাইনগুলি আপগ্রেড করুন

ডেটা ইনপুট জন্য tf.data ডেটাসেট ব্যবহার করুন। এই বস্তুগুলি দক্ষ, অভিব্যক্তিপূর্ণ এবং টেনসরফ্লোতে ভাল সংহত করে integ

এগুলি সরাসরি tf.keras.Model.fit পদ্ধতিতে পাস করা যেতে পারে।

model.fit(dataset, epochs=5)

এগুলি সরাসরি স্ট্যান্ডার্ড পাইথন দিয়ে পুনরাবৃত্তি করা যেতে পারে:

for example_batch, label_batch in dataset:
    break

5. compat.v1 প্রতীকগুলি সরিয়ে রাখুন

tf.compat.v1 মডিউলটিতে মূল tf.compat.v1 1.x এপিআই রয়েছে যার মূল শব্দার্থকতা রয়েছে।

TF2 আপগ্রেড স্ক্রিপ্ট , তাদের 2.0 সমতুল প্রতীক রূপান্তর করবে যদি এই ধরনের একটি রূপান্তর নিরাপদ অর্থাত যদি এটা নির্ধারণ করতে পারে 2.0 সংস্করণের আচরণ ঠিক সমতূল্য (উদাহরণস্বরূপ, এটা নামান্তর হবে v1.arg_max করার tf.argmax , যেহেতু যারা একই ফাংশন)।

আপগ্রেড স্ক্রিপ্টটি কোনও কোডের টুকরো দিয়ে সম্পন্ন করার পরে, এটি সম্ভবত compat.v1 1 এর অনেক উল্লেখ রয়েছে। কোডের মধ্য দিয়ে যাওয়া এবং এগুলি ম্যানুয়ালি ২.০ সমতুল্যে রূপান্তরিত করার পক্ষে মূল্যবান (এটি যদি লগের মধ্যে থাকে তবে তা উল্লেখ করা উচিত)।

রূপান্তরকারী মডেল

নিম্ন-স্তরের ভেরিয়েবল এবং অপারেটর কার্যকর করা

নিম্ন-স্তরের API ব্যবহারের উদাহরণগুলির মধ্যে রয়েছে:

  • পুনরায় ব্যবহার নিয়ন্ত্রণ করতে ভেরিয়েবল স্কোপ ব্যবহার করে
  • v1.get_variable সহ ভেরিয়েবল তৈরি করা।
  • স্পষ্টভাবে সংগ্রহ অ্যাক্সেস
  • সংগ্রহগুলি অবিচ্ছিন্নভাবে পদ্ধতিগুলির সাথে অ্যাক্সেস করা:

  • গ্রাফ ইনপুট সেট আপ করতে v1.placeholder ব্যবহার করে

  • Session.run দিয়ে গ্রাফগুলি কার্যকর করা

  • ম্যানুয়ালি ভেরিয়েবল শুরু করা

রূপান্তর করার আগে

টেনসরফ্লো 1.x ব্যবহার করে কোডগুলিতে এই নিদর্শনগুলির মতো দেখতে পাওয়া যায় তা এখানে is

import tensorflow as tf
import tensorflow.compat.v1 as v1

import tensorflow_datasets as tfds
g = v1.Graph()

with g.as_default():
  in_a = v1.placeholder(dtype=v1.float32, shape=(2))
  in_b = v1.placeholder(dtype=v1.float32, shape=(2))

  def forward(x):
    with v1.variable_scope("matmul", reuse=v1.AUTO_REUSE):
      W = v1.get_variable("W", initializer=v1.ones(shape=(2,2)),
                          regularizer=lambda x:tf.reduce_mean(x**2))
      b = v1.get_variable("b", initializer=v1.zeros(shape=(2)))
      return W * x + b

  out_a = forward(in_a)
  out_b = forward(in_b)
  reg_loss=v1.losses.get_regularization_loss(scope="matmul")

with v1.Session(graph=g) as sess:
  sess.run(v1.global_variables_initializer())
  outs = sess.run([out_a, out_b, reg_loss],
                feed_dict={in_a: [1, 0], in_b: [0, 1]})

print(outs[0])
print()
print(outs[1])
print()
print(outs[2])
[[1. 0.]
 [1. 0.]]

[[0. 1.]
 [0. 1.]]

1.0

রূপান্তর করার পরে

রূপান্তরিত কোডে:

  • ভেরিয়েবলগুলি স্থানীয় পাইথন অবজেক্ট।
  • forward ফাংশন এখনও গণনার সংজ্ঞা দেয়।
  • Session.run কলটি forward করার জন্য একটি কল দিয়ে প্রতিস্থাপন করা হবে
  • পারফরম্যান্সের জন্য tf.function ডেকরেটর যোগ করা যেতে পারে।
  • নিয়মিতকরণগুলি কোনও বিশ্বব্যাপী সংগ্রহের উল্লেখ না করে ম্যানুয়ালি গণনা করা হয়।
  • কোনও সেশন বা স্থানধারক নেই।
W = tf.Variable(tf.ones(shape=(2,2)), name="W")
b = tf.Variable(tf.zeros(shape=(2)), name="b")

@tf.function
def forward(x):
  return W * x + b

out_a = forward([1,0])
print(out_a)
tf.Tensor(
[[1. 0.]
 [1. 0.]], shape=(2, 2), dtype=float32)

out_b = forward([0,1])

regularizer = tf.keras.regularizers.l2(0.04)
reg_loss=regularizer(W)

tf.layers উপর ভিত্তি করে মডেল

v1.layers মডিউলটি লেয়ার-ফাংশনগুলি ধারণ করতে ব্যবহৃত হয় যা ভেরিয়েবলগুলি সংজ্ঞায়িত করতে এবং পুনরায় ব্যবহার করতে v1.variable_scope নির্ভর করে।

রূপান্তর করার আগে

def model(x, training, scope='model'):
  with v1.variable_scope(scope, reuse=v1.AUTO_REUSE):
    x = v1.layers.conv2d(x, 32, 3, activation=v1.nn.relu,
          kernel_regularizer=lambda x:0.004*tf.reduce_mean(x**2))
    x = v1.layers.max_pooling2d(x, (2, 2), 1)
    x = v1.layers.flatten(x)
    x = v1.layers.dropout(x, 0.1, training=training)
    x = v1.layers.dense(x, 64, activation=v1.nn.relu)
    x = v1.layers.batch_normalization(x, training=training)
    x = v1.layers.dense(x, 10)
    return x
train_data = tf.ones(shape=(1, 28, 28, 1))
test_data = tf.ones(shape=(1, 28, 28, 1))

train_out = model(train_data, training=True)
test_out = model(test_data, training=False)

print(train_out)
print()
print(test_out)
WARNING:tensorflow:From <ipython-input-1-1c8189d0d453>:4: conv2d (from tensorflow.python.keras.legacy_tf_layers.convolutional) is deprecated and will be removed in a future version.
Instructions for updating:
Use `tf.keras.layers.Conv2D` instead.
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/keras/legacy_tf_layers/convolutional.py:424: Layer.apply (from tensorflow.python.keras.engine.base_layer) is deprecated and will be removed in a future version.
Instructions for updating:
Please use `layer.__call__` method instead.
WARNING:tensorflow:From <ipython-input-1-1c8189d0d453>:5: max_pooling2d (from tensorflow.python.keras.legacy_tf_layers.pooling) is deprecated and will be removed in a future version.
Instructions for updating:
Use keras.layers.MaxPooling2D instead.
WARNING:tensorflow:From <ipython-input-1-1c8189d0d453>:6: flatten (from tensorflow.python.keras.legacy_tf_layers.core) is deprecated and will be removed in a future version.
Instructions for updating:
Use keras.layers.Flatten instead.
WARNING:tensorflow:From <ipython-input-1-1c8189d0d453>:7: dropout (from tensorflow.python.keras.legacy_tf_layers.core) is deprecated and will be removed in a future version.
Instructions for updating:
Use keras.layers.dropout instead.
WARNING:tensorflow:From <ipython-input-1-1c8189d0d453>:8: dense (from tensorflow.python.keras.legacy_tf_layers.core) is deprecated and will be removed in a future version.
Instructions for updating:
Use keras.layers.Dense instead.
WARNING:tensorflow:From <ipython-input-1-1c8189d0d453>:9: batch_normalization (from tensorflow.python.keras.legacy_tf_layers.normalization) is deprecated and will be removed in a future version.
Instructions for updating:
Use keras.layers.BatchNormalization instead.  In particular, `tf.control_dependencies(tf.GraphKeys.UPDATE_OPS)` should not be used (consult the `tf.keras.layers.BatchNormalization` documentation).
tf.Tensor([[0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]], shape=(1, 10), dtype=float32)

tf.Tensor(
[[ 0.25911403  0.04995662 -0.29216325 -0.2735252  -0.3113699  -0.00610226
  -0.00793289 -0.02005042 -0.22002988 -0.11050846]], shape=(1, 10), dtype=float32)

রূপান্তর করার পরে

বেশিরভাগ যুক্তি একই ছিল। তবে পার্থক্য লক্ষ্য করুন:

  • training যুক্তি মডেলটি যখন চালায় তখন প্রতিটি স্তরে যায়।
  • মূল model ফাংশনের প্রথম যুক্তি (ইনপুট x ) চলে গেছে। এর কারণ অবজেক্ট স্তরগুলি মডেলটিকে কল করতে মডেলটিকে আলাদা করে দেয়।

আরও মনে রাখবেন:

  • আপনি যদি tf.contrib থেকে tf.contrib নিয়মিতকরণ ব্যবহার করে থাকেন তবে অন্যদের তুলনায় এগুলির মধ্যে আরও যুক্তি পরিবর্তন রয়েছে।
  • কোডটি আর সংগ্রহগুলিতে v1.losses.get_regularization_loss , সুতরাং v1.losses.get_regularization_loss মতো v1.losses.get_regularization_loss এই মানগুলি আর ফিরিয়ে দেবে না, সম্ভবত আপনার প্রশিক্ষণের লুপগুলি ভেঙে।
model = tf.keras.Sequential([
    tf.keras.layers.Conv2D(32, 3, activation='relu',
                           kernel_regularizer=tf.keras.regularizers.l2(0.04),
                           input_shape=(28, 28, 1)),
    tf.keras.layers.MaxPooling2D(),
    tf.keras.layers.Flatten(),
    tf.keras.layers.Dropout(0.1),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.BatchNormalization(),
    tf.keras.layers.Dense(10)
])

train_data = tf.ones(shape=(1, 28, 28, 1))
test_data = tf.ones(shape=(1, 28, 28, 1))
train_out = model(train_data, training=True)
print(train_out)
tf.Tensor([[0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]], shape=(1, 10), dtype=float32)

test_out = model(test_data, training=False)
print(test_out)
tf.Tensor(
[[-0.04179893 -0.07949039 -0.21679714  0.11532308  0.15619203 -0.0883522
   0.12719868 -0.0547747  -0.03558816  0.02265415]], shape=(1, 10), dtype=float32)

# Here are all the trainable variables.
len(model.trainable_variables)
8
# Here is the regularization loss.
model.losses
[<tf.Tensor: shape=(), dtype=float32, numpy=0.083086945>]

মিশ্রিত ভেরিয়েবল এবং v1.layers

বিদ্যমান কোডটি প্রায়শই নিম্ন-স্তরের টিএফ 1.x ভেরিয়েবল এবং উচ্চ-স্তরের v1.layers সাথে ক্রিয়াকলাপগুলি v1.layers

রূপান্তর করার আগে

093f03f20 বি

রূপান্তর করার পরে

এই কোডটি রূপান্তর করতে, পূর্ববর্তী উদাহরণের মতো স্তরগুলিকে স্তরগুলিতে ম্যাপিংয়ের ধরণটি অনুসরণ করুন।

সাধারণ প্যাটার্নটি হ'ল:

  • __init__ স্তর পরামিতি সংগ্রহ করুন।
  • build ভেরিয়েবলগুলি build
  • call গণনা সম্পাদন করুন, এবং ফলাফল ফিরে।

v1.variable_scope মূলত নিজস্ব নিজস্ব একটি স্তর। সুতরাং এটি একটি tf.keras.layers.Layer হিসাবে আবার tf.keras.layers.Layer । বিশদ জন্য গাইড দেখুন।

# Create a custom layer for part of the model
class CustomLayer(tf.keras.layers.Layer):
  def __init__(self, *args, **kwargs):
    super(CustomLayer, self).__init__(*args, **kwargs)

  def build(self, input_shape):
    self.w = self.add_weight(
        shape=input_shape[1:],
        dtype=tf.float32,
        initializer=tf.keras.initializers.ones(),
        regularizer=tf.keras.regularizers.l2(0.02),
        trainable=True)

  # Call method will sometimes get used in graph mode,
  # training will get turned into a tensor
  @tf.function
  def call(self, inputs, training=None):
    if training:
      return inputs + self.w
    else:
      return inputs + self.w * 0.5
custom_layer = CustomLayer()
print(custom_layer([1]).numpy())
print(custom_layer([1], training=True).numpy())
[1.5]
[2.]

train_data = tf.ones(shape=(1, 28, 28, 1))
test_data = tf.ones(shape=(1, 28, 28, 1))

# Build the model including the custom layer
model = tf.keras.Sequential([
    CustomLayer(input_shape=(28, 28, 1)),
    tf.keras.layers.Conv2D(32, 3, activation='relu'),
    tf.keras.layers.MaxPooling2D(),
    tf.keras.layers.Flatten(),
])

train_out = model(train_data, training=True)
test_out = model(test_data, training=False)

কিছু বিষয় লক্ষণীয়:

  • সাবক্ল্যাসড কেরাস মডেল এবং স্তরগুলির উভয় ভি 1 গ্রাফ (কোনও স্বয়ংক্রিয় নিয়ন্ত্রণের নির্ভরতা নেই) এবং উত্সাহী মোডে চালানো দরকার

    • অটোগ্রাফ এবং স্বয়ংক্রিয় নিয়ন্ত্রণ নির্ভরতা পেতে call() একটি tf.function() মোড়ানো
  • call করার জন্য একটি training যুক্তি গ্রহণ করতে ভুলবেন না।

    • কখনও কখনও এটি একটি tf.Tensor
    • কখনও কখনও এটি পাইথন বুলিয়ান।
  • কন্সট্রাকটর বা মডেল ভেরিয়েবল তৈরি করুন Model.build ব্যবহার self.add_weight()

    • Model.build আপনার ইনপুট আকারে অ্যাক্সেস রয়েছে, সুতরাং মেলা আকারের সাথে ওজন তৈরি করতে পারেন।
    • tf.keras.layers.Layer.add_weight ব্যবহার করে tf.keras.layers.Layer.add_weight ভেরিয়েবল এবং নিয়মিতকরণের ক্ষতি ট্র্যাক করতে দেয়।
  • আপনার বস্তুতে tf.Tensors না।

    • তারা একটি tf.function বা উত্সাহী প্রেক্ষাপটে তৈরি হতে পারে, এবং এই tf.function ভিন্ন আচরণ করে।
    • রাষ্ট্রের জন্য tf.Variable গুলি ব্যবহার করুন, তারা উভয় প্রসঙ্গ থেকে সর্বদা ব্যবহারযোগ্য
    • tf.Tensors কেবল অন্তর্বর্তী মানগুলির জন্য।

পাতলা এবং অবদানকারীদের উপর একটি নোট

প্রবীণ টেনসরফ্লো 1.x কোডের একটি বৃহত পরিমাণে স্লিম গ্রন্থাগার ব্যবহার করা হয়, যা tf.contrib.layers 1.x এর সাথে tf.contrib.layers হিসাবে প্যাকেজ করা tf.contrib.layerscontrib মডিউল হিসাবে, এটি আর tf.compat.v1 ২.০ তে উপলব্ধ নেই, এমনকি tf.compat.v1v1.layers টিএফ ২.০ ব্যবহার করে কোড রূপান্তর করা v1.layers ব্যবহার করে এমন সংগ্রহস্থলগুলিকে রূপান্তর করার চেয়ে বেশি জড়িত। প্রকৃতপক্ষে, আপনার স্লিম কোডটি প্রথমে v1.layers রূপান্তর করা, তারপরে v1.layers রূপান্তর করার v1.layers বোধ করতে পারে।

  • arg_scopes সরান, সমস্ত arg_scopes সুস্পষ্ট হওয়া দরকার
  • আপনি যদি এগুলি ব্যবহার করেন, তবে তাদের নিজস্ব স্তরগুলিতে normalizer_fn এবং activation_fn বিভক্ত করুন
  • পৃথকযোগ্য রূপান্তর স্তরগুলি এক বা একাধিক পৃথক কেরাস স্তরগুলিতে মানচিত্র করে (গভীরতার দিক থেকে, পয়েন্টওয়াইজ এবং পৃথক পৃথক কেরাস স্তর)
  • স্লিম এবং v1.layers বিভিন্ন v1.layers নাম এবং ডিফল্ট মান রয়েছে
  • কিছু আরগের বিভিন্ন স্কেল থাকে
  • যদি আপনি স্লিম প্রাক-প্রশিক্ষিত মডেল ব্যবহার করেন তবে কেরাসের প্রাক-লক্ষ্যযুক্ত মডেলগুলি tf.keras.applications বা টিএফ হাবের টিএফ 2 সেভডমডেলগুলি থেকে স্লিম কোড থেকে রফতানি করে দেখুন।

কিছু tf.contrib স্তরগুলি মূল tf.contrib স্থানান্তরিত হয়নি তবে তার পরিবর্তে টিএফ অ্যাড-অন্স প্যাকেজে সরানো হয়েছে।

প্রশিক্ষণ

tf.keras মডেলটিতে ডেটা ফিড করার বিভিন্ন উপায় রয়েছে। তারা পাইথন জেনারেটর এবং নম্পি অ্যারে ইনপুট হিসাবে গ্রহণ করবে।

কোনও মডেলটিতে ডেটা ফিড করার প্রস্তাবিত উপায় হল tf.data প্যাকেজটি ব্যবহার করা, যাতে ডেটা ম্যানিপুলেট করার জন্য উচ্চ পারফরম্যান্স ক্লাসের সংগ্রহ রয়েছে।

আপনি যদি এখনও tf.queue ব্যবহার করে tf.queue এগুলি এখন কেবল ইনপুট পাইপলাইন হিসাবে নয়, কেবল ডেটা-স্ট্রাকচার হিসাবে সমর্থিত।

ডেটাসেট ব্যবহার করে

TensorFlow ডেটাসেটস প্যাকেজ ( tfds ) হিসাবে লোড পূর্বনির্ধারিত ডেটাসেট জন্য ইউটিলিটি রয়েছে tf.data.Dataset অবজেক্ট।

এই উদাহরণস্বরূপ, টিফডিএস ব্যবহার করে tfds লোড করুন:

datasets, info = tfds.load(name='mnist', with_info=True, as_supervised=True)
mnist_train, mnist_test = datasets['train'], datasets['test']
বি 7c73a9fd0

তারপরে প্রশিক্ষণের জন্য ডেটা প্রস্তুত করুন:

  • প্রতিটি চিত্র পুনরায় স্কেল করুন।
  • উদাহরণগুলির ক্রম পরিবর্তন করুন।
  • ইমেজ এবং লেবেলের ব্যাচগুলি সংগ্রহ করুন।
BUFFER_SIZE = 10 # Use a much larger value for real code.
BATCH_SIZE = 64
NUM_EPOCHS = 5


def scale(image, label):
  image = tf.cast(image, tf.float32)
  image /= 255

  return image, label

উদাহরণটি সংক্ষিপ্ত রাখতে কেবল 5 টি ব্যাচ ফেরত দেওয়ার জন্য ডেটাসেটটি ছাঁটাই:

train_data = mnist_train.map(scale).shuffle(BUFFER_SIZE).batch(BATCH_SIZE)
test_data = mnist_test.map(scale).batch(BATCH_SIZE)

STEPS_PER_EPOCH = 5

train_data = train_data.take(STEPS_PER_EPOCH)
test_data = test_data.take(STEPS_PER_EPOCH)
image_batch, label_batch = next(iter(train_data))

কেরাস প্রশিক্ষণের লুপগুলি ব্যবহার করুন

আপনার প্রশিক্ষণ প্রক্রিয়াটির যদি নিম্ন স্তরের নিয়ন্ত্রণের প্রয়োজন না হয় তবে কেরাসের অন্তর্নির্মিত fit , evaluate এবং predict পদ্ধতি ব্যবহার করার পরামর্শ দেওয়া হচ্ছে। এই পদ্ধতিগুলি বাস্তবায়ন (ক্রমিক, ক্রিয়ামূলক বা উপ-শ্রেণিবদ্ধ) নির্বিশেষে মডেলটিকে প্রশিক্ষণের জন্য অভিন্ন ইন্টারফেস সরবরাহ করে।

এই পদ্ধতির সুবিধার মধ্যে রয়েছে:

  • তারা নম্পি অ্যারে, পাইথন জেনারেটর এবং, tf.data.Datasets
  • এগুলি নিয়মিতকরণ এবং অ্যাক্টিভেশন হ্রাস স্বয়ংক্রিয়ভাবে প্রয়োগ করে।
  • তারা মাল্টি-ডিভাইস প্রশিক্ষণের জন্য tf.distribute সমর্থন করে।
  • তারা ক্ষয়ক্ষতি এবং মেট্রিক্স হিসাবে নির্বিচারে কলযোগ্যদের সমর্থন করে।
  • তারা tf.keras.callbacks.TensorBoard এবং কাস্টম কলব্যাকের মতো কলব্যাক সমর্থন করে।
  • তারা পারফরম্যান্ট, স্বয়ংক্রিয়ভাবে টেনসরফ্লো গ্রাফগুলি ব্যবহার করে।

এখানে একটি Dataset ব্যবহার করে কোনও মডেলকে প্রশিক্ষণের উদাহরণ। (এই টিউটোরিয়ালগুলি কীভাবে কাজ করে তার বিশদগুলির জন্য))

model = tf.keras.Sequential([
    tf.keras.layers.Conv2D(32, 3, activation='relu',
                           kernel_regularizer=tf.keras.regularizers.l2(0.02),
                           input_shape=(28, 28, 1)),
    tf.keras.layers.MaxPooling2D(),
    tf.keras.layers.Flatten(),
    tf.keras.layers.Dropout(0.1),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.BatchNormalization(),
    tf.keras.layers.Dense(10)
])

# Model is the full model w/o custom layers
model.compile(optimizer='adam',
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])

model.fit(train_data, epochs=NUM_EPOCHS)
loss, acc = model.evaluate(test_data)

print("Loss {}, Accuracy {}".format(loss, acc))
Epoch 1/5
5/5 [==============================] - 0s 6ms/step - loss: 1.4729 - accuracy: 0.5437
Epoch 2/5
5/5 [==============================] - 0s 6ms/step - loss: 0.4612 - accuracy: 0.9125
Epoch 3/5
5/5 [==============================] - 0s 6ms/step - loss: 0.3007 - accuracy: 0.9594
Epoch 4/5
5/5 [==============================] - 0s 6ms/step - loss: 0.2222 - accuracy: 0.9875
Epoch 5/5
5/5 [==============================] - 0s 6ms/step - loss: 0.1858 - accuracy: 0.9875
5/5 [==============================] - 0s 4ms/step - loss: 1.5550 - accuracy: 0.5594
Loss 1.5550143718719482, Accuracy 0.559374988079071

আপনার নিজের লুপ লিখুন

কেরাস মডেলের প্রশিক্ষণ পদক্ষেপটি যদি আপনার পক্ষে কাজ করে তবে আপনার এই ধাপের বাইরে আরও নিয়ন্ত্রণের প্রয়োজন হয়, আপনার নিজের ডেটা- tf.keras.Model.train_on_batch পদ্ধতিটি ব্যবহার করে বিবেচনা করুন।

মনে রাখবেন: tf.keras.callbacks.Callback হিসাবে অনেক কিছুই প্রয়োগ করা যেতে পারে।

এই পদ্ধতিটিতে পূর্ববর্তী বিভাগে উল্লিখিত পদ্ধতিগুলির অনেকগুলি সুবিধা রয়েছে তবে এটি বাইরের লুপের ব্যবহারকারীর নিয়ন্ত্রণ দেয়।

প্রশিক্ষণের সময় পারফরম্যান্স পরীক্ষা করতে আপনি tf.keras.Model.test_on_batch বা tf.keras.Model.evaluate ব্যবহার করতে পারেন।

উপরোক্ত মডেলটির প্রশিক্ষণ চালিয়ে যেতে:

# Model is the full model w/o custom layers
model.compile(optimizer='adam',
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])

for epoch in range(NUM_EPOCHS):
  #Reset the metric accumulators
  model.reset_metrics()

  for image_batch, label_batch in train_data:
    result = model.train_on_batch(image_batch, label_batch)
    metrics_names = model.metrics_names
    print("train: ",
          "{}: {:.3f}".format(metrics_names[0], result[0]),
          "{}: {:.3f}".format(metrics_names[1], result[1]))
  for image_batch, label_batch in test_data:
    result = model.test_on_batch(image_batch, label_batch,
                                 # return accumulated metrics
                                 reset_metrics=False)
  metrics_names = model.metrics_names
  print("\neval: ",
        "{}: {:.3f}".format(metrics_names[0], result[0]),
        "{}: {:.3f}".format(metrics_names[1], result[1]))
train:  loss: 0.151 accuracy: 1.000
train:  loss: 0.212 accuracy: 0.953
train:  loss: 0.186 accuracy: 0.969
train:  loss: 0.217 accuracy: 0.969
train:  loss: 0.201 accuracy: 0.984

eval:  loss: 1.567 accuracy: 0.597
train:  loss: 0.109 accuracy: 1.000
train:  loss: 0.098 accuracy: 1.000
train:  loss: 0.104 accuracy: 1.000
train:  loss: 0.131 accuracy: 0.984
train:  loss: 0.113 accuracy: 0.984

eval:  loss: 1.545 accuracy: 0.625
train:  loss: 0.076 accuracy: 1.000
train:  loss: 0.087 accuracy: 1.000
train:  loss: 0.081 accuracy: 1.000
train:  loss: 0.081 accuracy: 1.000
train:  loss: 0.077 accuracy: 1.000

eval:  loss: 1.509 accuracy: 0.731
train:  loss: 0.059 accuracy: 1.000
train:  loss: 0.065 accuracy: 1.000
train:  loss: 0.062 accuracy: 1.000
train:  loss: 0.061 accuracy: 1.000
train:  loss: 0.056 accuracy: 1.000

eval:  loss: 1.485 accuracy: 0.781
train:  loss: 0.055 accuracy: 1.000
train:  loss: 0.051 accuracy: 1.000
train:  loss: 0.052 accuracy: 1.000
train:  loss: 0.050 accuracy: 1.000
train:  loss: 0.055 accuracy: 1.000

eval:  loss: 1.464 accuracy: 0.803

প্রশিক্ষণের পদক্ষেপটি কাস্টমাইজ করুন

আপনার যদি আরও নমনীয়তা এবং নিয়ন্ত্রণের প্রয়োজন হয় তবে আপনি নিজের প্রশিক্ষণ লুপ প্রয়োগ করে এটি পেতে পারেন। তিনটি পদক্ষেপ রয়েছে:

  1. উদাহরণগুলির ব্যাচগুলি পেতে পাইথন জেনারেটর বা tf.data.Dataset ব্যবহার করুন।
  2. গ্রেডিয়েন্ট সংগ্রহ করতে tf.GradientTape . গ্রেডিয়েন্ট tf.GradientTape ব্যবহার করুন।
  3. মডেলের ভেরিয়েবলগুলিতে ওজন আপডেট প্রয়োগ করতে tf.keras.optimizers ব্যবহার করুন।

মনে রাখবেন:

  • সাবক্ল্যাসড স্তর এবং মডেলগুলির call পদ্ধতিতে সর্বদা training যুক্তি অন্তর্ভুক্ত করুন।
  • training যুক্তিটি সঠিকভাবে সেট করে মডেলকে কল করতে ভুলবেন না।
  • ব্যবহারের উপর নির্ভর করে, মডেল ভেরিয়েবলগুলি অস্তিত্বের অস্তিত্ব থাকতে পারে যতক্ষণ না মডেলটি ডেটা ব্যাচে চালিত হয়।
  • মডেলটির জন্য নিয়মিতকরণ ক্ষতির মতো জিনিসগুলি আপনাকে ম্যানুয়ালি হ্যান্ডেল করতে হবে।

ভি 1 এর তুলনায় সরলকরণগুলি নোট করুন:

  • ভেরিয়েবল ইনিশিয়েলাইজার চালানোর দরকার নেই। চলকগুলি তৈরির সূচনা হয়।
  • ম্যানুয়াল নিয়ন্ত্রণ নির্ভরতা যুক্ত করার প্রয়োজন নেই। এমনকি tf.function অপারেশনগুলিতে আগ্রহী মোড হিসাবে কাজ করে।
model = tf.keras.Sequential([
    tf.keras.layers.Conv2D(32, 3, activation='relu',
                           kernel_regularizer=tf.keras.regularizers.l2(0.02),
                           input_shape=(28, 28, 1)),
    tf.keras.layers.MaxPooling2D(),
    tf.keras.layers.Flatten(),
    tf.keras.layers.Dropout(0.1),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.BatchNormalization(),
    tf.keras.layers.Dense(10)
])

optimizer = tf.keras.optimizers.Adam(0.001)
loss_fn = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True)

@tf.function
def train_step(inputs, labels):
  with tf.GradientTape() as tape:
    predictions = model(inputs, training=True)
    regularization_loss=tf.math.add_n(model.losses)
    pred_loss=loss_fn(labels, predictions)
    total_loss=pred_loss + regularization_loss

  gradients = tape.gradient(total_loss, model.trainable_variables)
  optimizer.apply_gradients(zip(gradients, model.trainable_variables))

for epoch in range(NUM_EPOCHS):
  for inputs, labels in train_data:
    train_step(inputs, labels)
  print("Finished epoch", epoch)

Finished epoch 0
Finished epoch 1
Finished epoch 2
Finished epoch 3
Finished epoch 4

নতুন স্টাইলের মেট্রিক্স এবং লোকসান

টেনসরফ্লো ২.০-তে, মেট্রিক্স এবং ক্ষয়গুলি বস্তু। এই উভয় আগ্রহী এবং tf.function গুলি কাজ।

একটি ক্ষতির বস্তু কলযোগ্য, এবং (y_true, y_pred) আর্গুমেন্ট হিসাবে প্রত্যাশা করে:

cce = tf.keras.losses.CategoricalCrossentropy(from_logits=True)
cce([[1, 0]], [[-1.0,3.0]]).numpy()
4.01815

একটি মেট্রিক অবজেক্টের নিম্নলিখিত পদ্ধতি রয়েছে:

  • Metric.update_state() - নতুন পর্যবেক্ষণ যুক্ত করুন
  • Metric.result() পর্যবেক্ষণকৃত মানগুলি বিবেচনা করে মেট্রিকের বর্তমান ফলাফলের সন্ধান করুন
  • Metric.reset_states() - সমস্ত পর্যবেক্ষণ সাফ করুন।

বস্তুটি নিজেই কলযোগ্য। নতুন পর্যবেক্ষণের সঙ্গে আপডেট রাষ্ট্র কলিং সঙ্গে যেমন update_state এবং মেট্রিক নতুন ফলাফল দেখায়।

আপনাকে কোনও মেট্রিকের ভেরিয়েবলগুলি ম্যানুয়ালি আরম্ভ করতে হবে না, এবং যেহেতু টেনসরফ্লো ২.০ এর স্বয়ংক্রিয় নিয়ন্ত্রণ নির্ভরতা রয়েছে, সেগুলি নিয়েও আপনার চিন্তার দরকার নেই।

নীচের কোডটি একটি কাস্টম প্রশিক্ষণ লুপের মধ্যে পরিলক্ষিত গড় ক্ষতির খোঁজ রাখতে একটি মেট্রিক ব্যবহার করে।

# Create the metrics
loss_metric = tf.keras.metrics.Mean(name='train_loss')
accuracy_metric = tf.keras.metrics.SparseCategoricalAccuracy(name='train_accuracy')

@tf.function
def train_step(inputs, labels):
  with tf.GradientTape() as tape:
    predictions = model(inputs, training=True)
    regularization_loss=tf.math.add_n(model.losses)
    pred_loss=loss_fn(labels, predictions)
    total_loss=pred_loss + regularization_loss

  gradients = tape.gradient(total_loss, model.trainable_variables)
  optimizer.apply_gradients(zip(gradients, model.trainable_variables))
  # Update the metrics
  loss_metric.update_state(total_loss)
  accuracy_metric.update_state(labels, predictions)


for epoch in range(NUM_EPOCHS):
  # Reset the metrics
  loss_metric.reset_states()
  accuracy_metric.reset_states()

  for inputs, labels in train_data:
    train_step(inputs, labels)
  # Get the metric results
  mean_loss=loss_metric.result()
  mean_accuracy = accuracy_metric.result()

  print('Epoch: ', epoch)
  print('  loss:     {:.3f}'.format(mean_loss))
  print('  accuracy: {:.3f}'.format(mean_accuracy))

Epoch:  0
  loss:     0.177
  accuracy: 0.981
Epoch:  1
  loss:     0.150
  accuracy: 0.988
Epoch:  2
  loss:     0.134
  accuracy: 0.997
Epoch:  3
  loss:     0.116
  accuracy: 1.000
Epoch:  4
  loss:     0.097
  accuracy: 1.000

কেরাস মেট্রিক নাম

টেনসরফ্লোতে ২.০ কেরাস মডেলগুলি মেট্রিকের নামগুলি পরিচালনা করার ক্ষেত্রে আরও সামঞ্জস্যপূর্ণ।

এখন যখন আপনি মেট্রিকের তালিকায় একটি স্ট্রিং পাস করেন, সেই সঠিক স্ট্রিংটি মেট্রিকের name হিসাবে ব্যবহৃত হয়। এই নামগুলি model.fit দ্বারা ফিরিয়ে দেওয়া ইতিহাসের অবজেক্টে দৃশ্যমান এবং লগগুলিতে keras.callbacks প্রেরণ করা keras.callbacks । আপনি মেট্রিক তালিকায় পাস স্ট্রিংয়ে সেট করা আছে।

model.compile(
    optimizer = tf.keras.optimizers.Adam(0.001),
    loss = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
    metrics = ['acc', 'accuracy', tf.keras.metrics.SparseCategoricalAccuracy(name="my_accuracy")])
history = model.fit(train_data)
5/5 [==============================] - 0s 6ms/step - loss: 0.1139 - acc: 0.9937 - accuracy: 0.9937 - my_accuracy: 0.9937

history.history.keys()
dict_keys(['loss', 'acc', 'accuracy', 'my_accuracy'])

এটি পূর্ববর্তী সংস্করণগুলির থেকে পৃথক যেখানে metrics=["accuracy"] পাস করার সাথে metrics=["accuracy"] dict_keys(['loss', 'acc'])

কেরাস অপ্টিমাইজার

মধ্যে optimizers v1.train মত v1.train.AdamOptimizer এবং v1.train.GradientDescentOptimizer মধ্যে সমতুল আছে tf.keras.optimizers

v1.train কে keras.optimizers রূপান্তর করুন

আপনার অপ্টিমাইজারকে রূপান্তর করার সময় এখানে জিনিসগুলি মনে রাখা উচিত:

কিছু tf.keras.optimizers জন্য নতুন ডিফল্ট

optimizers.SGD জন্য কোনও পরিবর্তন নেই S optimizers.SGD , optimizers.Adam optimizers.SGD optimizers.Adam , বা optimizers.RMSprop

নিম্নলিখিত ডিফল্ট শেখার হারগুলি পরিবর্তিত হয়েছে:

টেনসরবোর্ড

টেনসরফ্লো 2 তে টেনসরবোর্ডে ভিজ্যুয়ালাইজেশনের জন্য সারাংশ ডেটা লেখার জন্য ব্যবহৃত tf.summary API এ উল্লেখযোগ্য পরিবর্তনগুলি অন্তর্ভুক্ত। নতুন tf.summary সাধারণ tf.summary , বেশ কয়েকটি টিউটোরিয়াল উপলব্ধ রয়েছে যা টিএফ 2 এপিআই ব্যবহার করে। এর মধ্যে একটি টেনসরবোর্ড টিএফ 2 মাইগ্রেশন গাইড রয়েছে

সংরক্ষণ এবং লোড হচ্ছে

চেকপয়েন্ট সামঞ্জস্য

টেনসরফ্লো ২.০ এতে অবজেক্ট-ভিত্তিক চেকপয়েন্টগুলি ব্যবহার করে।

আপনি যদি সাবধান হন তবে পুরানো স্টাইলের নাম ভিত্তিক চেকপয়েন্টগুলি এখনও লোড করা যায়। কোড রূপান্তর প্রক্রিয়াটির ফলে পরিবর্তনশীল নাম পরিবর্তন হতে পারে তবে কার্যকারণ রয়েছে।

নতুন মডেলের নামগুলি চেকপয়েন্টে থাকা নামগুলির সাথে সীমাবদ্ধ করার জন্য এটি সহজতম পদ্ধতি:

  • চলকগুলি এখনও সকলের একটি name যুক্তি রয়েছে যা আপনি সেট করতে পারেন।
  • কেরাস মডেলরা একটি name যুক্তিও নেয় যা তারা তাদের ভেরিয়েবলগুলির উপসর্গ হিসাবে সেট করেছিল।
  • v1.name_scope ফাংশনটি পরিবর্তনশীল নাম উপসর্গ সেট করতে ব্যবহার করা যেতে পারে। এটি tf.variable_scope থেকে খুব আলাদা। এটি কেবল নামগুলিকে প্রভাবিত করে এবং ভেরিয়েবলগুলি পুনরায় ব্যবহার করে না।

যদি এটি আপনার ব্যবহারের ক্ষেত্রে কাজ করে না, তবে v1.train.init_from_checkpoint ফাংশনটি ব্যবহার করে দেখুন। এটি একটি assignment_map যুক্তি নেয়, যা পুরানো নাম থেকে নতুন নামগুলিতে ম্যাপিং নির্দিষ্ট করে।

টেনসরফ্লো এস্টিমেটার সংগ্রহস্থলটিতে টেনসরফ্লো 1.X থেকে 2.0 এ প্রিমমেড অনুমানকারীগুলির জন্য চেকপয়েন্টগুলি আপগ্রেড করার জন্য একটি রূপান্তর সরঞ্জাম অন্তর্ভুক্ত করা হয়েছে। এটি অনুরূপ ব্যবহারের ক্ষেত্রে কীভাবে একটি সরঞ্জাম তৈরি করবেন তার উদাহরণ হিসাবে কাজ করতে পারে।

সংরক্ষিত মডেলগুলির সামঞ্জস্য

সংরক্ষিত মডেলগুলির জন্য কোনও উল্লেখযোগ্য সামঞ্জস্যতা উদ্বেগ নেই।

  • টেনসরফ্লো 1.x সেভড_ মডেলগুলি টেনসরফ্লো 2.x এ কাজ করে
  • সমস্ত অপস সমর্থিত হলে টেনসরফ্লো ২.x সেভড_মোডেলগুলি টেনসরফ্লো ১.x in এ কাজ করে।

একটি গ্রাফ.পিবি বা গ্রাফ.পিবিটিেক্সট

Graph.pb ২.০ এ কোনও কাঁচা Graph.pb ফাইল আপগ্রেড করার সহজ সরল কোনও উপায় নেই। আপনার সেরা বেটটি কোডটি আপগ্রেড করা যা ফাইলটি উত্পন্ন করে।

কিন্তু, যদি আপনি একটি "ফ্রোজেন গ্রাফ" (একটি আছে tf.Graph যেখানে ভেরিয়েবল ধ্রুবক পরিণত হয়েছে), তারপর এটা সম্ভব একটি রূপান্তর করার জন্য হয় concrete_function ব্যবহার v1.wrap_function :

def wrap_frozen_graph(graph_def, inputs, outputs):
  def _imports_graph_def():
    tf.compat.v1.import_graph_def(graph_def, name="")
  wrapped_import = tf.compat.v1.wrap_function(_imports_graph_def, [])
  import_graph = wrapped_import.graph
  return wrapped_import.prune(
      tf.nest.map_structure(import_graph.as_graph_element, inputs),
      tf.nest.map_structure(import_graph.as_graph_element, outputs))

উদাহরণস্বরূপ, এখানে ইনসেপশন ভি 1 এর জন্য হিমশীতল গ্রাফটি 2016 থেকে রয়েছে:

path = tf.keras.utils.get_file(
    'inception_v1_2016_08_28_frozen.pb',
    'http://storage.googleapis.com/download.tensorflow.org/models/inception_v1_2016_08_28_frozen.pb.tar.gz',
    untar=True)
Downloading data from http://storage.googleapis.com/download.tensorflow.org/models/inception_v1_2016_08_28_frozen.pb.tar.gz
24698880/24695710 [==============================] - 1s 0us/step

tf.GraphDef লোড করুন:

graph_def = tf.compat.v1.GraphDef()
loaded = graph_def.ParseFromString(open(path,'rb').read())

এটিকে একটি concrete_function :

inception_func = wrap_frozen_graph(
    graph_def, inputs='input:0',
    outputs='InceptionV1/InceptionV1/Mixed_3b/Branch_1/Conv2d_0a_1x1/Relu:0')

ইনপুট হিসাবে এটি একটি সেন্সর পাস:

input_img = tf.ones([1,224,224,3], dtype=tf.float32)
inception_func(input_img).shape
পরাস্ত 14be42

অনুমানকারী

অনুমানকারীদের সাথে প্রশিক্ষণ

টেনসরফ্লো ২.০ এ অনুমানকারীগুলি সমর্থিত।

আপনি যখন অনুমানকারী ব্যবহার করেন, আপনি tf.estimator.TrainSpec tf.estimator.EvalSpec থেকে input_fn() , tf.estimator.TrainSpec , এবং tf.estimator.EvalSpec ব্যবহার করতে পারেন।

ট্রেনের সাথে input_fn ব্যবহার করে input_fn মূল্যায়ন করার একটি উদাহরণ এখানে is

ইনপুট_ফএন এবং ট্রেন / ইভাল স্পেস তৈরি করা হচ্ছে

# Define the estimator's input_fn
def input_fn():
  datasets, info = tfds.load(name='mnist', with_info=True, as_supervised=True)
  mnist_train, mnist_test = datasets['train'], datasets['test']

  BUFFER_SIZE = 10000
  BATCH_SIZE = 64

  def scale(image, label):
    image = tf.cast(image, tf.float32)
    image /= 255

    return image, label[..., tf.newaxis]

  train_data = mnist_train.map(scale).shuffle(BUFFER_SIZE).batch(BATCH_SIZE)
  return train_data.repeat()

# Define train & eval specs
train_spec = tf.estimator.TrainSpec(input_fn=input_fn,
                                    max_steps=STEPS_PER_EPOCH * NUM_EPOCHS)
eval_spec = tf.estimator.EvalSpec(input_fn=input_fn,
                                  steps=STEPS_PER_EPOCH)

একটি কেরাস মডেল সংজ্ঞা ব্যবহার করে

টেনসরফ্লো ২.০ এ আপনার অনুমানকারী কীভাবে তৈরি করবেন সে সম্পর্কে কিছু পার্থক্য রয়েছে।

আমরা আপনাকে কেরাস ব্যবহার করে আপনার মডেলটি সংজ্ঞায়িত করার পরামর্শ tf.keras.estimator.model_to_estimator , তারপরে আপনার মডেলটিকে অনুমানকারী হিসাবে রূপান্তর করতে tf.keras.estimator.model_to_estimator ইউটিলিটিটি ব্যবহার করুন। একটি অনুমানকারী তৈরি এবং প্রশিক্ষণ দেওয়ার সময় নীচের কোডটি কীভাবে এই ইউটিলিটিটি ব্যবহার করবেন তা দেখায়।

def make_model():
  return tf.keras.Sequential([
    tf.keras.layers.Conv2D(32, 3, activation='relu',
                           kernel_regularizer=tf.keras.regularizers.l2(0.02),
                           input_shape=(28, 28, 1)),
    tf.keras.layers.MaxPooling2D(),
    tf.keras.layers.Flatten(),
    tf.keras.layers.Dropout(0.1),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.BatchNormalization(),
    tf.keras.layers.Dense(10)
  ])
model = make_model()

model.compile(optimizer='adam',
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])

estimator = tf.keras.estimator.model_to_estimator(
  keras_model = model
)

tf.estimator.train_and_evaluate(estimator, train_spec, eval_spec)
INFO:tensorflow:Using default config.

INFO:tensorflow:Using default config.

Warning:tensorflow:Using temporary folder as model directory: /tmp/tmpgnqimrn9

Warning:tensorflow:Using temporary folder as model directory: /tmp/tmpgnqimrn9

INFO:tensorflow:Using the Keras model provided.

INFO:tensorflow:Using the Keras model provided.

Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow_estimator/python/estimator/keras.py:220: set_learning_phase (from tensorflow.python.keras.backend) is deprecated and will be removed after 2020-10-11.
Instructions for updating:
Simply pass a True/False value to the `training` argument of the `__call__` method of your layer or model.

Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow_estimator/python/estimator/keras.py:220: set_learning_phase (from tensorflow.python.keras.backend) is deprecated and will be removed after 2020-10-11.
Instructions for updating:
Simply pass a True/False value to the `training` argument of the `__call__` method of your layer or model.

INFO:tensorflow:Using config: {'_model_dir': '/tmp/tmpgnqimrn9', '_tf_random_seed': None, '_save_summary_steps': 100, '_save_checkpoints_steps': None, '_save_checkpoints_secs': 600, '_session_config': allow_soft_placement: true
graph_options {
  rewrite_options {
    meta_optimizer_iterations: ONE
  }
}
, '_keep_checkpoint_max': 5, '_keep_checkpoint_every_n_hours': 10000, '_log_step_count_steps': 100, '_train_distribute': None, '_device_fn': None, '_protocol': None, '_eval_distribute': None, '_experimental_distribute': None, '_experimental_max_worker_delay_secs': None, '_session_creation_timeout_secs': 7200, '_service': None, '_cluster_spec': ClusterSpec({}), '_task_type': 'worker', '_task_id': 0, '_global_id_in_cluster': 0, '_master': '', '_evaluation_master': '', '_is_chief': True, '_num_ps_replicas': 0, '_num_worker_replicas': 1}

INFO:tensorflow:Using config: {'_model_dir': '/tmp/tmpgnqimrn9', '_tf_random_seed': None, '_save_summary_steps': 100, '_save_checkpoints_steps': None, '_save_checkpoints_secs': 600, '_session_config': allow_soft_placement: true
graph_options {
  rewrite_options {
    meta_optimizer_iterations: ONE
  }
}
, '_keep_checkpoint_max': 5, '_keep_checkpoint_every_n_hours': 10000, '_log_step_count_steps': 100, '_train_distribute': None, '_device_fn': None, '_protocol': None, '_eval_distribute': None, '_experimental_distribute': None, '_experimental_max_worker_delay_secs': None, '_session_creation_timeout_secs': 7200, '_service': None, '_cluster_spec': ClusterSpec({}), '_task_type': 'worker', '_task_id': 0, '_global_id_in_cluster': 0, '_master': '', '_evaluation_master': '', '_is_chief': True, '_num_ps_replicas': 0, '_num_worker_replicas': 1}

INFO:tensorflow:Not using Distribute Coordinator.

INFO:tensorflow:Not using Distribute Coordinator.

INFO:tensorflow:Running training and evaluation locally (non-distributed).

INFO:tensorflow:Running training and evaluation locally (non-distributed).

INFO:tensorflow:Start train and evaluate loop. The evaluate will happen after every checkpoint. Checkpoint frequency is determined based on RunConfig arguments: save_checkpoints_steps None or save_checkpoints_secs 600.

INFO:tensorflow:Start train and evaluate loop. The evaluate will happen after every checkpoint. Checkpoint frequency is determined based on RunConfig arguments: save_checkpoints_steps None or save_checkpoints_secs 600.

Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/training/training_util.py:236: Variable.initialized_value (from tensorflow.python.ops.variables) is deprecated and will be removed in a future version.
Instructions for updating:
Use Variable.read_value. Variables in 2.X are initialized automatically both in eager and graph (inside tf.defun) contexts.

Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/training/training_util.py:236: Variable.initialized_value (from tensorflow.python.ops.variables) is deprecated and will be removed in a future version.
Instructions for updating:
Use Variable.read_value. Variables in 2.X are initialized automatically both in eager and graph (inside tf.defun) contexts.

INFO:tensorflow:Calling model_fn.

INFO:tensorflow:Calling model_fn.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Warm-starting with WarmStartSettings: WarmStartSettings(ckpt_to_initialize_from='/tmp/tmpgnqimrn9/keras/keras_model.ckpt', vars_to_warm_start='.*', var_name_to_vocab_info={}, var_name_to_prev_var_name={})

INFO:tensorflow:Warm-starting with WarmStartSettings: WarmStartSettings(ckpt_to_initialize_from='/tmp/tmpgnqimrn9/keras/keras_model.ckpt', vars_to_warm_start='.*', var_name_to_vocab_info={}, var_name_to_prev_var_name={})

INFO:tensorflow:Warm-starting from: /tmp/tmpgnqimrn9/keras/keras_model.ckpt

INFO:tensorflow:Warm-starting from: /tmp/tmpgnqimrn9/keras/keras_model.ckpt

INFO:tensorflow:Warm-starting variables only in TRAINABLE_VARIABLES.

INFO:tensorflow:Warm-starting variables only in TRAINABLE_VARIABLES.

INFO:tensorflow:Warm-started 8 variables.

INFO:tensorflow:Warm-started 8 variables.

INFO:tensorflow:Create CheckpointSaverHook.

INFO:tensorflow:Create CheckpointSaverHook.

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 0...

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 0...

INFO:tensorflow:Saving checkpoints for 0 into /tmp/tmpgnqimrn9/model.ckpt.

INFO:tensorflow:Saving checkpoints for 0 into /tmp/tmpgnqimrn9/model.ckpt.

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 0...

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 0...

INFO:tensorflow:loss = 2.5481484, step = 0

INFO:tensorflow:loss = 2.5481484, step = 0

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 25...

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 25...

INFO:tensorflow:Saving checkpoints for 25 into /tmp/tmpgnqimrn9/model.ckpt.

INFO:tensorflow:Saving checkpoints for 25 into /tmp/tmpgnqimrn9/model.ckpt.

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 25...

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 25...

INFO:tensorflow:Calling model_fn.

INFO:tensorflow:Calling model_fn.

Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/keras/engine/training_v1.py:2048: Model.state_updates (from tensorflow.python.keras.engine.training) is deprecated and will be removed in a future version.
Instructions for updating:
This property should not be used in TensorFlow 2.0, as updates are applied automatically.

Warning:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tensorflow/python/keras/engine/training_v1.py:2048: Model.state_updates (from tensorflow.python.keras.engine.training) is deprecated and will be removed in a future version.
Instructions for updating:
This property should not be used in TensorFlow 2.0, as updates are applied automatically.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Starting evaluation at 2020-09-19T01:25:32Z

INFO:tensorflow:Starting evaluation at 2020-09-19T01:25:32Z

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Restoring parameters from /tmp/tmpgnqimrn9/model.ckpt-25

INFO:tensorflow:Restoring parameters from /tmp/tmpgnqimrn9/model.ckpt-25

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Evaluation [1/5]

INFO:tensorflow:Evaluation [1/5]

INFO:tensorflow:Evaluation [2/5]

INFO:tensorflow:Evaluation [2/5]

INFO:tensorflow:Evaluation [3/5]

INFO:tensorflow:Evaluation [3/5]

INFO:tensorflow:Evaluation [4/5]

INFO:tensorflow:Evaluation [4/5]

INFO:tensorflow:Evaluation [5/5]

INFO:tensorflow:Evaluation [5/5]

INFO:tensorflow:Inference Time : 0.86522s

INFO:tensorflow:Inference Time : 0.86522s

INFO:tensorflow:Finished evaluation at 2020-09-19-01:25:33

INFO:tensorflow:Finished evaluation at 2020-09-19-01:25:33

INFO:tensorflow:Saving dict for global step 25: accuracy = 0.553125, global_step = 25, loss = 1.6822916

INFO:tensorflow:Saving dict for global step 25: accuracy = 0.553125, global_step = 25, loss = 1.6822916

INFO:tensorflow:Saving 'checkpoint_path' summary for global step 25: /tmp/tmpgnqimrn9/model.ckpt-25

INFO:tensorflow:Saving 'checkpoint_path' summary for global step 25: /tmp/tmpgnqimrn9/model.ckpt-25

INFO:tensorflow:Loss for final step: 0.46296218.

INFO:tensorflow:Loss for final step: 0.46296218.

({'accuracy': 0.553125, 'loss': 1.6822916, 'global_step': 25}, [])

একটি কাস্টম model_fn ব্যবহার করে

আপনার যদি বিদ্যমান কাস্টম অনুমানকারী model_fn যা আপনার বজায় রাখা দরকার, আপনি কেরাস মডেলটি ব্যবহার করতে আপনার model_fn রূপান্তর করতে পারেন।

যাইহোক, সামঞ্জস্যতার কারণে, একটি কাস্টম model_fn এখনও model_fn শৈলীর গ্রাফ মোডে চলবে। এর অর্থ এখানে কোনও উত্সাহী কার্যকর করা এবং কোনও স্বয়ংক্রিয় নিয়ন্ত্রণ নির্ভরতা নেই।

নূন্যতম পরিবর্তন সহ কাস্টম মডেল_ফএন

আপনার কাস্টম model_fn টিএফ ২.০- model_fn কাজ করার জন্য, আপনি যদি বিদ্যমান tf.compat.v1 নূন্যতম পরিবর্তন পছন্দ করেন তবে tf.compat.v1 প্রতীক যেমন optimizers এবং metrics ব্যবহার করা যেতে পারে।

কাস্টম model_fn কেরাস মডেল ব্যবহার করা এটি কাস্টম প্রশিক্ষণ লুপে ব্যবহার করার অনুরূপ:

  • mode আর্গুমেন্টের উপর ভিত্তি করে training পর্বটি যথাযথভাবে সেট করুন।
  • স্পষ্টভাবে মডেলটির trainable_variables অপ্টিমাইজারের কাছে প্রেরণ করুন।

তবে কাস্টম লুপের সাথে সম্পর্কিত গুরুত্বপূর্ণ পার্থক্য রয়েছে:

  • ব্যবহার করার পরিবর্তে Model.losses ব্যবহার লোকসান নিষ্কর্ষ Model.get_losses_for
  • Model.get_updates_for ব্যবহার করে মডেলের আপডেটগুলি বের করুন।

নিম্নলিখিত model_fn এই সমস্ত উদ্বেগের চিত্র তুলে ধরে একটি কাস্টম model_fn থেকে একটি অনুমানকারী তৈরি করে।

def my_model_fn(features, labels, mode):
  model = make_model()

  optimizer = tf.compat.v1.train.AdamOptimizer()
  loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True)

  training = (mode == tf.estimator.ModeKeys.TRAIN)
  predictions = model(features, training=training)

  if mode == tf.estimator.ModeKeys.PREDICT:
    return tf.estimator.EstimatorSpec(mode=mode, predictions=predictions)

  reg_losses = model.get_losses_for(None) + model.get_losses_for(features)
  total_loss=loss_fn(labels, predictions) + tf.math.add_n(reg_losses)

  accuracy = tf.compat.v1.metrics.accuracy(labels=labels,
                                           predictions=tf.math.argmax(predictions, axis=1),
                                           name='acc_op')

  update_ops = model.get_updates_for(None) + model.get_updates_for(features)
  minimize_op = optimizer.minimize(
      total_loss,
      var_list=model.trainable_variables,
      global_step=tf.compat.v1.train.get_or_create_global_step())
  train_op = tf.group(minimize_op, update_ops)

  return tf.estimator.EstimatorSpec(
    mode=mode,
    predictions=predictions,
    loss=total_loss,
    train_op=train_op, eval_metric_ops={'accuracy': accuracy})

# Create the Estimator & Train
estimator = tf.estimator.Estimator(model_fn=my_model_fn)
tf.estimator.train_and_evaluate(estimator, train_spec, eval_spec)
INFO:tensorflow:Using default config.

INFO:tensorflow:Using default config.

Warning:tensorflow:Using temporary folder as model directory: /tmp/tmpdqm3gv9f

Warning:tensorflow:Using temporary folder as model directory: /tmp/tmpdqm3gv9f

INFO:tensorflow:Using config: {'_model_dir': '/tmp/tmpdqm3gv9f', '_tf_random_seed': None, '_save_summary_steps': 100, '_save_checkpoints_steps': None, '_save_checkpoints_secs': 600, '_session_config': allow_soft_placement: true
graph_options {
  rewrite_options {
    meta_optimizer_iterations: ONE
  }
}
, '_keep_checkpoint_max': 5, '_keep_checkpoint_every_n_hours': 10000, '_log_step_count_steps': 100, '_train_distribute': None, '_device_fn': None, '_protocol': None, '_eval_distribute': None, '_experimental_distribute': None, '_experimental_max_worker_delay_secs': None, '_session_creation_timeout_secs': 7200, '_service': None, '_cluster_spec': ClusterSpec({}), '_task_type': 'worker', '_task_id': 0, '_global_id_in_cluster': 0, '_master': '', '_evaluation_master': '', '_is_chief': True, '_num_ps_replicas': 0, '_num_worker_replicas': 1}

INFO:tensorflow:Using config: {'_model_dir': '/tmp/tmpdqm3gv9f', '_tf_random_seed': None, '_save_summary_steps': 100, '_save_checkpoints_steps': None, '_save_checkpoints_secs': 600, '_session_config': allow_soft_placement: true
graph_options {
  rewrite_options {
    meta_optimizer_iterations: ONE
  }
}
, '_keep_checkpoint_max': 5, '_keep_checkpoint_every_n_hours': 10000, '_log_step_count_steps': 100, '_train_distribute': None, '_device_fn': None, '_protocol': None, '_eval_distribute': None, '_experimental_distribute': None, '_experimental_max_worker_delay_secs': None, '_session_creation_timeout_secs': 7200, '_service': None, '_cluster_spec': ClusterSpec({}), '_task_type': 'worker', '_task_id': 0, '_global_id_in_cluster': 0, '_master': '', '_evaluation_master': '', '_is_chief': True, '_num_ps_replicas': 0, '_num_worker_replicas': 1}

INFO:tensorflow:Not using Distribute Coordinator.

INFO:tensorflow:Not using Distribute Coordinator.

INFO:tensorflow:Running training and evaluation locally (non-distributed).

INFO:tensorflow:Running training and evaluation locally (non-distributed).

INFO:tensorflow:Start train and evaluate loop. The evaluate will happen after every checkpoint. Checkpoint frequency is determined based on RunConfig arguments: save_checkpoints_steps None or save_checkpoints_secs 600.

INFO:tensorflow:Start train and evaluate loop. The evaluate will happen after every checkpoint. Checkpoint frequency is determined based on RunConfig arguments: save_checkpoints_steps None or save_checkpoints_secs 600.

INFO:tensorflow:Calling model_fn.

INFO:tensorflow:Calling model_fn.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Create CheckpointSaverHook.

INFO:tensorflow:Create CheckpointSaverHook.

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 0...

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 0...

INFO:tensorflow:Saving checkpoints for 0 into /tmp/tmpdqm3gv9f/model.ckpt.

INFO:tensorflow:Saving checkpoints for 0 into /tmp/tmpdqm3gv9f/model.ckpt.

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 0...

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 0...

INFO:tensorflow:loss = 2.6994424, step = 0

INFO:tensorflow:loss = 2.6994424, step = 0

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 25...

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 25...

INFO:tensorflow:Saving checkpoints for 25 into /tmp/tmpdqm3gv9f/model.ckpt.

INFO:tensorflow:Saving checkpoints for 25 into /tmp/tmpdqm3gv9f/model.ckpt.

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 25...

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 25...

INFO:tensorflow:Calling model_fn.

INFO:tensorflow:Calling model_fn.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Starting evaluation at 2020-09-19T01:25:36Z

INFO:tensorflow:Starting evaluation at 2020-09-19T01:25:36Z

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Restoring parameters from /tmp/tmpdqm3gv9f/model.ckpt-25

INFO:tensorflow:Restoring parameters from /tmp/tmpdqm3gv9f/model.ckpt-25

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Evaluation [1/5]

INFO:tensorflow:Evaluation [1/5]

INFO:tensorflow:Evaluation [2/5]

INFO:tensorflow:Evaluation [2/5]

INFO:tensorflow:Evaluation [3/5]

INFO:tensorflow:Evaluation [3/5]

INFO:tensorflow:Evaluation [4/5]

INFO:tensorflow:Evaluation [4/5]

INFO:tensorflow:Evaluation [5/5]

INFO:tensorflow:Evaluation [5/5]

INFO:tensorflow:Inference Time : 0.91620s

INFO:tensorflow:Inference Time : 0.91620s

INFO:tensorflow:Finished evaluation at 2020-09-19-01:25:36

INFO:tensorflow:Finished evaluation at 2020-09-19-01:25:36

INFO:tensorflow:Saving dict for global step 25: accuracy = 0.6, global_step = 25, loss = 1.5189537

INFO:tensorflow:Saving dict for global step 25: accuracy = 0.6, global_step = 25, loss = 1.5189537

INFO:tensorflow:Saving 'checkpoint_path' summary for global step 25: /tmp/tmpdqm3gv9f/model.ckpt-25

INFO:tensorflow:Saving 'checkpoint_path' summary for global step 25: /tmp/tmpdqm3gv9f/model.ckpt-25

INFO:tensorflow:Loss for final step: 0.5045532.

INFO:tensorflow:Loss for final step: 0.5045532.

({'accuracy': 0.6, 'loss': 1.5189537, 'global_step': 25}, [])

টিএফ 2.0 চিহ্ন সহ কাস্টম model_fn

আপনি যদি সমস্ত টিএফ 1.x চিহ্ন থেকে মুক্তি পেতে চান এবং আপনার কাস্টম model_fn কে দেশীয় টিএফ 2.0 model_fn আপগ্রেড করতে চান তবে আপনাকে অপটিমাইজার এবং ম্যাট্রিক্স tf.keras.optimizers এবং tf.keras.metrics আপডেট করতে হবে।

কাস্টম model_fn , উপরের পরিবর্তনগুলি ছাড়াও আরও বেশি আপগ্রেড করা দরকার:

  • ব্যবহারের tf.keras.optimizers পরিবর্তে v1.train.Optimizer
  • স্পষ্টভাবে মডেলের পাস trainable_variables করার tf.keras.optimizers
  • train_op/minimize_op গণনা করতে,
    • Optimizer.get_updates() ব্যবহার করুন যদি ক্ষতির Tensor স্কেলার ক্ষতি হয় তবে Tensor (কলযোগ্য নয়)। প্রত্যাশিত তালিকার প্রথম উপাদানটি হ'ল কাঙ্ক্ষিত train_op/minimize_op
    • ক্ষতি যদি কলযোগ্য (যেমন একটি ফাংশন Optimizer.minimize() হয় তবে train_op/minimize_op পেতে Optimizer.minimize() ব্যবহার করুন।
  • মূল্যায়নের জন্য tf.keras.metrics পরিবর্তে tf.compat.v1.metrics ব্যবহার করুন।

my_model_fn এর উপরের উদাহরণের জন্য, 2.0 চিহ্ন সহ স্থানান্তরিত কোডটি my_model_fn দেখানো হয়েছে:

def my_model_fn(features, labels, mode):
  model = make_model()

  training = (mode == tf.estimator.ModeKeys.TRAIN)
  loss_obj = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True)
  predictions = model(features, training=training)

  # Get both the unconditional losses (the None part)
  # and the input-conditional losses (the features part).
  reg_losses = model.get_losses_for(None) + model.get_losses_for(features)
  total_loss=loss_obj(labels, predictions) + tf.math.add_n(reg_losses)

  # Upgrade to tf.keras.metrics.
  accuracy_obj = tf.keras.metrics.Accuracy(name='acc_obj')
  accuracy = accuracy_obj.update_state(
      y_true=labels, y_pred=tf.math.argmax(predictions, axis=1))

  train_op = None
  if training:
    # Upgrade to tf.keras.optimizers.
    optimizer = tf.keras.optimizers.Adam()
    # Manually assign tf.compat.v1.global_step variable to optimizer.iterations
    # to make tf.compat.v1.train.global_step increased correctly.
    # This assignment is a must for any `tf.train.SessionRunHook` specified in
    # estimator, as SessionRunHooks rely on global step.
    optimizer.iterations = tf.compat.v1.train.get_or_create_global_step()
    # Get both the unconditional updates (the None part)
    # and the input-conditional updates (the features part).
    update_ops = model.get_updates_for(None) + model.get_updates_for(features)
    # Compute the minimize_op.
    minimize_op = optimizer.get_updates(
        total_loss,
        model.trainable_variables)[0]
    train_op = tf.group(minimize_op, *update_ops)

  return tf.estimator.EstimatorSpec(
    mode=mode,
    predictions=predictions,
    loss=total_loss,
    train_op=train_op,
    eval_metric_ops={'Accuracy': accuracy_obj})

# Create the Estimator & Train.
estimator = tf.estimator.Estimator(model_fn=my_model_fn)
tf.estimator.train_and_evaluate(estimator, train_spec, eval_spec)
INFO:tensorflow:Using default config.

INFO:tensorflow:Using default config.

Warning:tensorflow:Using temporary folder as model directory: /tmp/tmp_y4k0o_v

Warning:tensorflow:Using temporary folder as model directory: /tmp/tmp_y4k0o_v

INFO:tensorflow:Using config: {'_model_dir': '/tmp/tmp_y4k0o_v', '_tf_random_seed': None, '_save_summary_steps': 100, '_save_checkpoints_steps': None, '_save_checkpoints_secs': 600, '_session_config': allow_soft_placement: true
graph_options {
  rewrite_options {
    meta_optimizer_iterations: ONE
  }
}
, '_keep_checkpoint_max': 5, '_keep_checkpoint_every_n_hours': 10000, '_log_step_count_steps': 100, '_train_distribute': None, '_device_fn': None, '_protocol': None, '_eval_distribute': None, '_experimental_distribute': None, '_experimental_max_worker_delay_secs': None, '_session_creation_timeout_secs': 7200, '_service': None, '_cluster_spec': ClusterSpec({}), '_task_type': 'worker', '_task_id': 0, '_global_id_in_cluster': 0, '_master': '', '_evaluation_master': '', '_is_chief': True, '_num_ps_replicas': 0, '_num_worker_replicas': 1}

INFO:tensorflow:Using config: {'_model_dir': '/tmp/tmp_y4k0o_v', '_tf_random_seed': None, '_save_summary_steps': 100, '_save_checkpoints_steps': None, '_save_checkpoints_secs': 600, '_session_config': allow_soft_placement: true
graph_options {
  rewrite_options {
    meta_optimizer_iterations: ONE
  }
}
, '_keep_checkpoint_max': 5, '_keep_checkpoint_every_n_hours': 10000, '_log_step_count_steps': 100, '_train_distribute': None, '_device_fn': None, '_protocol': None, '_eval_distribute': None, '_experimental_distribute': None, '_experimental_max_worker_delay_secs': None, '_session_creation_timeout_secs': 7200, '_service': None, '_cluster_spec': ClusterSpec({}), '_task_type': 'worker', '_task_id': 0, '_global_id_in_cluster': 0, '_master': '', '_evaluation_master': '', '_is_chief': True, '_num_ps_replicas': 0, '_num_worker_replicas': 1}

INFO:tensorflow:Not using Distribute Coordinator.

INFO:tensorflow:Not using Distribute Coordinator.

INFO:tensorflow:Running training and evaluation locally (non-distributed).

INFO:tensorflow:Running training and evaluation locally (non-distributed).

INFO:tensorflow:Start train and evaluate loop. The evaluate will happen after every checkpoint. Checkpoint frequency is determined based on RunConfig arguments: save_checkpoints_steps None or save_checkpoints_secs 600.

INFO:tensorflow:Start train and evaluate loop. The evaluate will happen after every checkpoint. Checkpoint frequency is determined based on RunConfig arguments: save_checkpoints_steps None or save_checkpoints_secs 600.

INFO:tensorflow:Calling model_fn.

INFO:tensorflow:Calling model_fn.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Create CheckpointSaverHook.

INFO:tensorflow:Create CheckpointSaverHook.

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 0...

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 0...

INFO:tensorflow:Saving checkpoints for 0 into /tmp/tmp_y4k0o_v/model.ckpt.

INFO:tensorflow:Saving checkpoints for 0 into /tmp/tmp_y4k0o_v/model.ckpt.

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 0...

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 0...

INFO:tensorflow:loss = 2.7534888, step = 0

INFO:tensorflow:loss = 2.7534888, step = 0

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 25...

INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 25...

INFO:tensorflow:Saving checkpoints for 25 into /tmp/tmp_y4k0o_v/model.ckpt.

INFO:tensorflow:Saving checkpoints for 25 into /tmp/tmp_y4k0o_v/model.ckpt.

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 25...

INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 25...

INFO:tensorflow:Calling model_fn.

INFO:tensorflow:Calling model_fn.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Done calling model_fn.

INFO:tensorflow:Starting evaluation at 2020-09-19T01:25:39Z

INFO:tensorflow:Starting evaluation at 2020-09-19T01:25:39Z

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Graph was finalized.

INFO:tensorflow:Restoring parameters from /tmp/tmp_y4k0o_v/model.ckpt-25

INFO:tensorflow:Restoring parameters from /tmp/tmp_y4k0o_v/model.ckpt-25

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Done running local_init_op.

INFO:tensorflow:Evaluation [1/5]

INFO:tensorflow:Evaluation [1/5]

INFO:tensorflow:Evaluation [2/5]

INFO:tensorflow:Evaluation [2/5]

INFO:tensorflow:Evaluation [3/5]

INFO:tensorflow:Evaluation [3/5]

INFO:tensorflow:Evaluation [4/5]

INFO:tensorflow:Evaluation [4/5]

INFO:tensorflow:Evaluation [5/5]

INFO:tensorflow:Evaluation [5/5]

INFO:tensorflow:Inference Time : 0.85182s

INFO:tensorflow:Inference Time : 0.85182s

INFO:tensorflow:Finished evaluation at 2020-09-19-01:25:40

INFO:tensorflow:Finished evaluation at 2020-09-19-01:25:40

INFO:tensorflow:Saving dict for global step 25: Accuracy = 0.740625, global_step = 25, loss = 1.6748577

INFO:tensorflow:Saving dict for global step 25: Accuracy = 0.740625, global_step = 25, loss = 1.6748577

INFO:tensorflow:Saving 'checkpoint_path' summary for global step 25: /tmp/tmp_y4k0o_v/model.ckpt-25

INFO:tensorflow:Saving 'checkpoint_path' summary for global step 25: /tmp/tmp_y4k0o_v/model.ckpt-25

INFO:tensorflow:Loss for final step: 0.3578726.

INFO:tensorflow:Loss for final step: 0.3578726.

({'Accuracy': 0.740625, 'loss': 1.6748577, 'global_step': 25}, [])

প্রিমেড অনুমানকারী

Tf.estimator.DNN tf.estimator.DNN* , tf.estimator.Linear* এবং tf.estimator.DNNLinearCombined* এর পরিবারে tf.estimator.DNN* tf.estimator.Linear* এখনও tf.estimator.DNNLinearCombined* ২.০ এপিআই-তে সমর্থিত, তবে কিছু যুক্তি পরিবর্তিত হয়েছে:

  1. input_layer_partitioner : ২.০ এ সরানো হয়েছে।
  2. loss_reduction : tf.keras.losses.Reduction পরিবর্তে tf.compat.v1.losses.Reduction । এর ডিফল্ট tf.keras.losses.Reduction.SUM_OVER_BATCH_SIZE থেকে tf.compat.v1.losses.Reduction.SUM পরিবর্তিত হয়েছে।
  3. optimizer , dnn_optimizer এবং linear_optimizer : এই ARG আপডেট করা হয়েছে tf.keras.optimizers পরিবর্তে tf.compat.v1.train.Optimizer

উপরের পরিবর্তনগুলি স্থানান্তর করতে:

  1. input_layer_partitioner জন্য কোনও স্থানান্তর প্রয়োজন নেই যেহেতু Distribution Strategy এটি টিএফ ২.০ এ স্বয়ংক্রিয়ভাবে পরিচালনা করবে।
  2. tf.keras.losses.Reduction জন্য, loss_reduction পরীক্ষা করুন tf.keras.losses.Reduction সমর্থিত বিকল্পগুলির জন্য tf.keras.losses.Reduction
  3. জন্য optimizer args, আপনি একটি মধ্যে পাস না হলে optimizer , dnn_optimizer বা linear_optimizer ARG, অথবা যদি আপনি উল্লেখ optimizer হিসেবে ARG string আপনার কোডে, তাহলে আপনাকে কোন পরিবর্তন করার প্রয়োজন হবে না। tf.keras.optimizers ডিফল্টরূপে ব্যবহৃত হয়। অন্যথায়, আপনাকে এটিকে tf.compat.v1.train.Optimizer এর সাথে সম্পর্কিত tf.keras.optimizers আপডেট করতে হবে

চেকপয়েন্ট রূপান্তরকারী

keras.optimizers স্থানান্তর TF 1.x ব্যবহার করে সংরক্ষিত চেকপয়েন্টগুলি ভেঙে ফেলবে, যেহেতু tf.keras.optimizers চেকপয়েন্টগুলিতে সংরক্ষণ করার জন্য বিভিন্ন ধরণের ভেরিয়েবল তৈরি করে। আপনার টিএফ ২.০ এ স্থানান্তরিত হওয়ার পরে পুরাতন চেকপয়েন্টটি পুনরায় ব্যবহারযোগ্য করে তুলতে, চেকপয়েন্ট রূপান্তরকারী সরঞ্জামটি ব্যবহার করে দেখুন

 curl -O https://raw.githubusercontent.com/tensorflow/estimator/master/tensorflow_estimator/python/estimator/tools/checkpoint_converter.py
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 15165  100 15165    0     0  72559      0 --:--:-- --:--:-- --:--:-- 72559

সরঞ্জামটি অন্তর্নির্মিত সহায়তা করেছে:

 python checkpoint_converter.py -h
2020-09-19 01:25:41.394385: I tensorflow/stream_executor/platform/default/dso_loader.cc:48] Successfully opened dynamic library libcudart.so.10.1
usage: checkpoint_converter.py [-h]
                               {dnn,linear,combined} source_checkpoint
                               source_graph target_checkpoint

positional arguments:
  {dnn,linear,combined}
                        The type of estimator to be converted. So far, the
                        checkpoint converter only supports Canned Estimator.
                        So the allowed types include linear, dnn and combined.
  source_checkpoint     Path to source checkpoint file to be read in.
  source_graph          Path to source graph file to be read in.
  target_checkpoint     Path to checkpoint file to be written out.

optional arguments:
  -h, --help            show this help message and exit

টেনারশ্যাপ

এই শ্রেণীর রাখা সরলীকৃত হয় int এস, পরিবর্তে tf.compat.v1.Dimension অবজেক্ট। সুতরাং কোন int পাওয়ার জন্য .value() কল করার দরকার নেই।

স্বতন্ত্র tf.compat.v1.Dimension অবজেক্টগুলি এখনও tf.TensorShape.dims থেকে অ্যাক্সেসযোগ্য।

নিম্নলিখিতটি টেনসরফ্লো 1.x এবং টেনসরফ্লো 2.0 এর মধ্যে পার্থক্যগুলি দেখায়।

# Create a shape and choose an index
i = 0
shape = tf.TensorShape([16, None, 256])
shape
TensorShape([16, None, 256])

আপনার যদি টিএফ 1.x এ থাকে:

value = shape[i].value

তারপরে টিএফ 2.0 এ এটি করুন:

value = shape[i]
value
16

আপনার যদি টিএফ 1.x এ থাকে:

for dim in shape:
    value = dim.value
    print(value)

তারপরে টিএফ 2.0 এ এটি করুন:

for value in shape:
  print(value)
16
None
256

আপনার যদি টিএফ 1.x এ থাকে (বা অন্য কোনও মাত্রা পদ্ধতি ব্যবহার করা হয়েছে):

dim = shape[i]
dim.assert_is_compatible_with(other_dim)

তারপরে টিএফ 2.0 এ এটি করুন:

other_dim = 16
Dimension = tf.compat.v1.Dimension

if shape.rank is None:
  dim = Dimension(None)
else:
  dim = shape.dims[i]
dim.is_compatible_with(other_dim) # or any other dimension method
True
shape = tf.TensorShape(None)

if shape:
  dim = shape.dims[i]
  dim.is_compatible_with(other_dim) # or any other dimension method

tf.TensorShape এর বুলিয়ান মানটি True যদি র‌্যাঙ্কটি জানা থাকে, অন্যথায় False

4 বি 2 এড 29 এ ই 6200 এ 4812

অন্যান্য পরিবর্তন

  • tf.colocate_with সরান: tf.colocate_with এর ডিভাইস প্লেসমেন্ট অ্যালগরিদমে উল্লেখযোগ্যভাবে উন্নতি হয়েছে। এটি আর প্রয়োজন হবে না। যদি এটি অপসারণের ফলে কর্মক্ষমতা হ্রাস ঘটে তবে দয়া করে একটি বাগ ফাইল করুন

  • প্রতিস্থাপন v1.ConfigProto থেকে সমতুল্য ফাংশন সঙ্গে ব্যবহার tf.config

সিদ্ধান্তে

সামগ্রিক প্রক্রিয়াটি হ'ল:

  1. আপগ্রেড স্ক্রিপ্টটি চালান।
  2. অবদানের প্রতীকগুলি সরান।
  3. আপনার মডেলগুলিকে কোনও অবজেক্ট ওরিয়েন্টেড স্টাইলে (কেরাস) স্যুইচ করুন।
  4. আপনি যেখানে পারেন tf.keras বা tf.estimator প্রশিক্ষণ এবং মূল্যায়ন লুপ ব্যবহার করুন।
  5. অন্যথায়, কাস্টম লুপগুলি ব্যবহার করুন, তবে সেশন এবং সংগ্রহগুলি এড়াতে ভুলবেন না।

কোডটিকে আইডিয়োম্যাটিক টেনসরফ্লো ২.০ তে রূপান্তর করতে একটু কাজ লাগে তবে প্রতিটি পরিবর্তনের ফলাফল:

  • কোডের কম লাইন।
  • স্পষ্টতা এবং সরলতা বর্ধিত।
  • সহজ ডিবাগিং।