 TensorFlow.org पर देखें |  Google Colab में चलाएं |  GitHub पर स्रोत देखें |  नोटबुक डाउनलोड करें |
सेट अप
import tensorflow as tf
from tensorflow import keras
Layer वर्ग: राज्य (वजन) के संयोजन और कुछ गणना
Keras में केंद्रीय अमूर्त में से एक है Layer वर्ग। एक परत एक राज्य (परत के "वजन") और इनपुट से आउटपुट (एक "कॉल", परत का आगे का पास) में परिवर्तन दोनों को समाहित करती है।
यहाँ एक घनी-जुड़ी परत है। चर: यह एक राज्य है w और b ।
class Linear(keras.layers.Layer):
def __init__(self, units=32, input_dim=32):
super(Linear, self).__init__()
w_init = tf.random_normal_initializer()
self.w = tf.Variable(
initial_value=w_init(shape=(input_dim, units), dtype="float32"),
trainable=True,
)
b_init = tf.zeros_initializer()
self.b = tf.Variable(
initial_value=b_init(shape=(units,), dtype="float32"), trainable=True
)
def call(self, inputs):
return tf.matmul(inputs, self.w) + self.b
आप एक परत का उपयोग कुछ टेंसर इनपुट पर कॉल करके करेंगे, जो कि पायथन फ़ंक्शन की तरह है।
x = tf.ones((2, 2))
linear_layer = Linear(4, 2)
y = linear_layer(x)
print(y)
tf.Tensor( [[ 0.00962844 -0.01307489 -0.1452128 0.0538918 ] [ 0.00962844 -0.01307489 -0.1452128 0.0538918 ]], shape=(2, 4), dtype=float32)
ध्यान दें कि वजन w और b स्वचालित रूप से परत विशेषताओं के रूप में सेट किया जा रहा है पर परत द्वारा पता लगाया जाता है:
assert linear_layer.weights == [linear_layer.w, linear_layer.b]
ध्यान रखें कि आप एक परत करने के लिए वजन जोड़ने के लिए एक तेज शॉर्टकट की पहुंच है: add_weight() विधि:
class Linear(keras.layers.Layer):
def __init__(self, units=32, input_dim=32):
super(Linear, self).__init__()
self.w = self.add_weight(
shape=(input_dim, units), initializer="random_normal", trainable=True
)
self.b = self.add_weight(shape=(units,), initializer="zeros", trainable=True)
def call(self, inputs):
return tf.matmul(inputs, self.w) + self.b
x = tf.ones((2, 2))
linear_layer = Linear(4, 2)
y = linear_layer(x)
print(y)
tf.Tensor( [[ 0.05790994 0.060931 -0.0402256 -0.09450993] [ 0.05790994 0.060931 -0.0402256 -0.09450993]], shape=(2, 4), dtype=float32)
परतों में गैर-प्रशिक्षित भार हो सकते हैं
प्रशिक्षित वजन के अलावा, आप एक परत में गैर-प्रशिक्षित वजन भी जोड़ सकते हैं। जब आप परत को प्रशिक्षित कर रहे हों, तो इस तरह के वज़न को बैकप्रॉपैगैशन के दौरान ध्यान में नहीं रखा जाना चाहिए।
गैर-प्रशिक्षित वजन जोड़ने और उपयोग करने का तरीका यहां दिया गया है:
class ComputeSum(keras.layers.Layer):
def __init__(self, input_dim):
super(ComputeSum, self).__init__()
self.total = tf.Variable(initial_value=tf.zeros((input_dim,)), trainable=False)
def call(self, inputs):
self.total.assign_add(tf.reduce_sum(inputs, axis=0))
return self.total
x = tf.ones((2, 2))
my_sum = ComputeSum(2)
y = my_sum(x)
print(y.numpy())
y = my_sum(x)
print(y.numpy())
[2. 2.] [4. 4.]
यह का हिस्सा है layer.weights है, लेकिन यह एक गैर trainable वजन के रूप में वर्गीकृत किया जाता है:
print("weights:", len(my_sum.weights))
print("non-trainable weights:", len(my_sum.non_trainable_weights))
# It's not included in the trainable weights:
print("trainable_weights:", my_sum.trainable_weights)
weights: 1 non-trainable weights: 1 trainable_weights: []
सर्वोत्तम अभ्यास: इनपुट के आकार के ज्ञात होने तक वजन निर्माण को स्थगित करना
हमारे Linear परत के ऊपर एक ले लिया input_dim तर्क यह है कि वजन के आकार की गणना करने के लिए उपयोग किया गया w और b में __init__() :
class Linear(keras.layers.Layer):
def __init__(self, units=32, input_dim=32):
super(Linear, self).__init__()
self.w = self.add_weight(
shape=(input_dim, units), initializer="random_normal", trainable=True
)
self.b = self.add_weight(shape=(units,), initializer="zeros", trainable=True)
def call(self, inputs):
return tf.matmul(inputs, self.w) + self.b
कई मामलों में, हो सकता है कि आप अपने इनपुट के आकार को पहले से नहीं जानते हों, और परत को इंस्टेंट करने के कुछ समय बाद, जब वह मान ज्ञात हो जाता है, तो आप आलसी रूप से वज़न बनाना चाहेंगे।
Keras एपीआई में, हम में परत वजन बनाने का सुझाव देते build(self, inputs_shape) अपने परत की विधि। ऐशे ही:
class Linear(keras.layers.Layer):
def __init__(self, units=32):
super(Linear, self).__init__()
self.units = units
def build(self, input_shape):
self.w = self.add_weight(
shape=(input_shape[-1], self.units),
initializer="random_normal",
trainable=True,
)
self.b = self.add_weight(
shape=(self.units,), initializer="random_normal", trainable=True
)
def call(self, inputs):
return tf.matmul(inputs, self.w) + self.b
__call__() अपने परत की प्रक्रिया स्वतः ही निर्माण के लिए पहली बार यह कहा जाता है चलेंगे। अब आपके पास एक परत है जो आलसी है और इस प्रकार उपयोग करने में आसान है:
# At instantiation, we don't know on what inputs this is going to get called
linear_layer = Linear(32)
# The layer's weights are created dynamically the first time the layer is called
y = linear_layer(x)
को लागू करने build() अलग रूप में अच्छी तरह से ऊपर दिखाए गए हर कॉल में वजन का उपयोग करने से केवल एक बार वजन बनाने अलग करती है। हालांकि, कुछ उन्नत कस्टम परतों के लिए, राज्य निर्माण और गणना को अलग करना अव्यावहारिक हो सकता है। लेयर कार्यान्वयन पहले करने के लिए वजन निर्माण को स्थगित करने की अनुमति है __call__() जो बाद में कॉल एक ही वजन का उपयोग देखभाल करने के लिए की जरूरत है, लेकिन। इसके अलावा, के बाद से __call__() संभावना एक के अंदर पहली बार के लिए क्रियान्वित किया जाना है tf.function , किसी भी चर रचना कि में जगह लेता है __call__() एक में लपेटा जाना चाहिए tf.init_scope ।
परतें पुनरावर्ती रूप से रचना योग्य हैं
यदि आप किसी अन्य परत की विशेषता के रूप में एक परत आवृत्ति निर्दिष्ट करते हैं, तो बाहरी परत आंतरिक परत द्वारा बनाए गए भारों को ट्रैक करना शुरू कर देगी।
हम में इस तरह के sublayers बनाने की सलाह देते __init__() विधि और पहले के लिए छोड़ __call__() उनके वजन के निर्माण ट्रिगर करने के लिए।
class MLPBlock(keras.layers.Layer):
def __init__(self):
super(MLPBlock, self).__init__()
self.linear_1 = Linear(32)
self.linear_2 = Linear(32)
self.linear_3 = Linear(1)
def call(self, inputs):
x = self.linear_1(inputs)
x = tf.nn.relu(x)
x = self.linear_2(x)
x = tf.nn.relu(x)
return self.linear_3(x)
mlp = MLPBlock()
y = mlp(tf.ones(shape=(3, 64))) # The first call to the `mlp` will create the weights
print("weights:", len(mlp.weights))
print("trainable weights:", len(mlp.trainable_weights))
weights: 6 trainable weights: 6
add_loss() विधि
जब लेखन call() एक परत की विधि, आप नुकसान tensors बना सकते हैं कि आप जब अपने प्रशिक्षण पाश लिख बाद में, उपयोग करने के लिए चाहते हैं। यह फोन करके संभव है self.add_loss(value) :
# A layer that creates an activity regularization loss
class ActivityRegularizationLayer(keras.layers.Layer):
def __init__(self, rate=1e-2):
super(ActivityRegularizationLayer, self).__init__()
self.rate = rate
def call(self, inputs):
self.add_loss(self.rate * tf.reduce_sum(inputs))
return inputs
ये नुकसान (किसी भी भीतरी परत के द्वारा बनाई गई उन सहित) के माध्यम से प्राप्त किए जा सकें layer.losses । यह गुण हर के शुरू में रीसेट किया जाता है __call__() उच्च-स्तरीय परत है, ताकि layer.losses हमेशा पिछले फॉरवर्ड पास के दौरान बनाया नुकसान मान हैं।
class OuterLayer(keras.layers.Layer):
def __init__(self):
super(OuterLayer, self).__init__()
self.activity_reg = ActivityRegularizationLayer(1e-2)
def call(self, inputs):
return self.activity_reg(inputs)
layer = OuterLayer()
assert len(layer.losses) == 0 # No losses yet since the layer has never been called
_ = layer(tf.zeros(1, 1))
assert len(layer.losses) == 1 # We created one loss value
# `layer.losses` gets reset at the start of each __call__
_ = layer(tf.zeros(1, 1))
assert len(layer.losses) == 1 # This is the loss created during the call above
इसके अलावा, loss संपत्ति भी किसी भी भीतरी परत के वजन के लिए बनाई गई नियमितीकरण नुकसान शामिल हैं:
class OuterLayerWithKernelRegularizer(keras.layers.Layer):
def __init__(self):
super(OuterLayerWithKernelRegularizer, self).__init__()
self.dense = keras.layers.Dense(
32, kernel_regularizer=tf.keras.regularizers.l2(1e-3)
)
def call(self, inputs):
return self.dense(inputs)
layer = OuterLayerWithKernelRegularizer()
_ = layer(tf.zeros((1, 1)))
# This is `1e-3 * sum(layer.dense.kernel ** 2)`,
# created by the `kernel_regularizer` above.
print(layer.losses)
[<tf.Tensor: shape=(), dtype=float32, numpy=0.0024520475>]
प्रशिक्षण लूप लिखते समय इन नुकसानों को ध्यान में रखा जाना चाहिए, जैसे:
# Instantiate an optimizer.
optimizer = tf.keras.optimizers.SGD(learning_rate=1e-3)
loss_fn = keras.losses.SparseCategoricalCrossentropy(from_logits=True)
# Iterate over the batches of a dataset.
for x_batch_train, y_batch_train in train_dataset:
with tf.GradientTape() as tape:
logits = layer(x_batch_train) # Logits for this minibatch
# Loss value for this minibatch
loss_value = loss_fn(y_batch_train, logits)
# Add extra losses created during this forward pass:
loss_value += sum(model.losses)
grads = tape.gradient(loss_value, model.trainable_weights)
optimizer.apply_gradients(zip(grads, model.trainable_weights))
प्रशिक्षण छोरों लिखने के बारे में एक विस्तृत मार्गदर्शिका के लिए, देखें स्क्रैच से एक प्रशिक्षण पाश लिखने के लिए गाइड ।
ये नुकसान भी साथ समेकित रूप से काम fit() (वे स्वचालित रूप से, अभिव्यक्त किया और मुख्य नुकसान में जुड़ती यदि कोई हो):
import numpy as np
inputs = keras.Input(shape=(3,))
outputs = ActivityRegularizationLayer()(inputs)
model = keras.Model(inputs, outputs)
# If there is a loss passed in `compile`, the regularization
# losses get added to it
model.compile(optimizer="adam", loss="mse")
model.fit(np.random.random((2, 3)), np.random.random((2, 3)))
# It's also possible not to pass any loss in `compile`,
# since the model already has a loss to minimize, via the `add_loss`
# call during the forward pass!
model.compile(optimizer="adam")
model.fit(np.random.random((2, 3)), np.random.random((2, 3)))
1/1 [==============================] - 0s 209ms/step - loss: 0.1948 1/1 [==============================] - 0s 49ms/step - loss: 0.0298 <keras.callbacks.History at 0x7fce9052d290>
add_metric() विधि
इसी तरह के add_loss() , परतों भी एक है add_metric() प्रशिक्षण के दौरान एक मात्रा की औसत चलती नज़र रखने के लिए विधि।
निम्नलिखित परत पर विचार करें: एक "लॉजिस्टिक समापन बिंदु" परत। यह लेता है के रूप में आदानों भविष्यवाणियों और लक्ष्य है, यह एक नुकसान यह के माध्यम से पटरियों जो गणना करता add_loss() , और यह एक सटीकता अदिश, यह के माध्यम से पटरियों जो गणना करता add_metric() ।
class LogisticEndpoint(keras.layers.Layer):
def __init__(self, name=None):
super(LogisticEndpoint, self).__init__(name=name)
self.loss_fn = keras.losses.BinaryCrossentropy(from_logits=True)
self.accuracy_fn = keras.metrics.BinaryAccuracy()
def call(self, targets, logits, sample_weights=None):
# Compute the training-time loss value and add it
# to the layer using `self.add_loss()`.
loss = self.loss_fn(targets, logits, sample_weights)
self.add_loss(loss)
# Log accuracy as a metric and add it
# to the layer using `self.add_metric()`.
acc = self.accuracy_fn(targets, logits, sample_weights)
self.add_metric(acc, name="accuracy")
# Return the inference-time prediction tensor (for `.predict()`).
return tf.nn.softmax(logits)
इस तरह से नज़र रखी मेट्रिक्स के माध्यम से सुलभ हैं layer.metrics :
layer = LogisticEndpoint()
targets = tf.ones((2, 2))
logits = tf.ones((2, 2))
y = layer(targets, logits)
print("layer.metrics:", layer.metrics)
print("current accuracy value:", float(layer.metrics[0].result()))
layer.metrics: [<keras.metrics.BinaryAccuracy object at 0x7fce90578490>] current accuracy value: 1.0
बस के लिए की तरह add_loss() , इन मीट्रिक द्वारा पता लगाया जाता है fit() :
inputs = keras.Input(shape=(3,), name="inputs")
targets = keras.Input(shape=(10,), name="targets")
logits = keras.layers.Dense(10)(inputs)
predictions = LogisticEndpoint(name="predictions")(logits, targets)
model = keras.Model(inputs=[inputs, targets], outputs=predictions)
model.compile(optimizer="adam")
data = {
"inputs": np.random.random((3, 3)),
"targets": np.random.random((3, 10)),
}
model.fit(data)
1/1 [==============================] - 0s 274ms/step - loss: 0.9291 - binary_accuracy: 0.0000e+00 <keras.callbacks.History at 0x7fce90448c50>
आप वैकल्पिक रूप से अपनी परतों पर क्रमांकन सक्षम कर सकते हैं
आप अपने कस्टम परतों की जरूरत है एक के हिस्से के रूप serializable होना करने के लिए कार्यात्मक मॉडल , आप वैकल्पिक रूप से एक को लागू कर सकते get_config() विधि:
class Linear(keras.layers.Layer):
def __init__(self, units=32):
super(Linear, self).__init__()
self.units = units
def build(self, input_shape):
self.w = self.add_weight(
shape=(input_shape[-1], self.units),
initializer="random_normal",
trainable=True,
)
self.b = self.add_weight(
shape=(self.units,), initializer="random_normal", trainable=True
)
def call(self, inputs):
return tf.matmul(inputs, self.w) + self.b
def get_config(self):
return {"units": self.units}
# Now you can recreate the layer from its config:
layer = Linear(64)
config = layer.get_config()
print(config)
new_layer = Linear.from_config(config)
{'units': 64}
ध्यान दें कि __init__() आधार की विधि Layer वर्ग विशेष एक में कुछ कीवर्ड तर्क लेता है, name और एक dtype । यह में माता पिता के वर्ग के लिए इन तर्कों पारित करने के लिए अच्छा व्यवहार है __init__() और उन्हें परत config में शामिल करने के लिए:
class Linear(keras.layers.Layer):
def __init__(self, units=32, **kwargs):
super(Linear, self).__init__(**kwargs)
self.units = units
def build(self, input_shape):
self.w = self.add_weight(
shape=(input_shape[-1], self.units),
initializer="random_normal",
trainable=True,
)
self.b = self.add_weight(
shape=(self.units,), initializer="random_normal", trainable=True
)
def call(self, inputs):
return tf.matmul(inputs, self.w) + self.b
def get_config(self):
config = super(Linear, self).get_config()
config.update({"units": self.units})
return config
layer = Linear(64)
config = layer.get_config()
print(config)
new_layer = Linear.from_config(config)
{'name': 'linear_8', 'trainable': True, 'dtype': 'float32', 'units': 64}
आप और अधिक लचीलापन की जरूरत है जब इसकी config से परत deserializing, आप भी ओवरराइड कर सकते हैं from_config() वर्ग विधि। इस के आधार कार्यान्वयन है from_config() :
def from_config(cls, config):
return cls(**config)
क्रमबद्धता और बचत के बारे में अधिक जानने के लिए पूरा देखने के बचत और मॉडल serializing के लिए गाइड ।
विशेषाधिकार प्राप्त training में तर्क call() विधि
कुछ परतों, विशेष रूप से BatchNormalization परत और Dropout परत, प्रशिक्षण और निष्कर्ष के दौरान विभिन्न व्यवहार है। इस तरह के परतों के लिए यह एक पर्दाफाश करने के लिए मानक अभ्यास है training में (बुलियन) तर्क call() विधि।
में इस तर्क को उजागर द्वारा call() , आप में निर्मित प्रशिक्षण और मूल्यांकन छोरों (जैसे सक्षम fit() सही ढंग से प्रशिक्षण और निष्कर्ष में परत का उपयोग करने के लिए)।
class CustomDropout(keras.layers.Layer):
def __init__(self, rate, **kwargs):
super(CustomDropout, self).__init__(**kwargs)
self.rate = rate
def call(self, inputs, training=None):
if training:
return tf.nn.dropout(inputs, rate=self.rate)
return inputs
विशेषाधिकृत mask में तर्क call() विधि
अन्य विशेषाधिकार प्राप्त तर्क द्वारा समर्थित call() है mask तर्क।
आप इसे सभी केरस आरएनएन परतों में पाएंगे। एक मुखौटा एक बूलियन टेंसर (इनपुट में एक बूलियन मान प्रति टाइमस्टेप) होता है जिसका उपयोग टाइमसीरीज डेटा को संसाधित करते समय कुछ इनपुट टाइमस्टेप्स को छोड़ने के लिए किया जाता है।
Keras स्वचालित रूप से सही पारित करेंगे mask करने के लिए तर्क __call__() परतों है कि यह समर्थन करते हैं, जब एक मुखौटा एक पूर्व परत द्वारा उत्पन्न होता है के लिए। मास्क जेनरेट होने परतें हैं Embedding परत के साथ विन्यस्त mask_zero=True है, और Masking परत।
मास्किंग और कैसे लिखने के लिए मास्किंग सक्षम परतों के बारे में अधिक जानने के लिए गाइड की जाँच कृपया "पैडिंग को समझने और मास्किंग" ।
Model वर्ग
सामान्य तौर पर, आप का उपयोग करेगा Layer भीतरी गणना ब्लॉक परिभाषित करने के लिए वर्ग, और का उपयोग करेगा Model बाहरी मॉडल को परिभाषित करने के वर्ग - वस्तु आप को प्रशिक्षित करेंगे।
उदाहरण के लिए, एक ResNet50 मॉडल में, आप उपवर्गीकरण कई ResNet ब्लॉकों के लिए होता है Layer , और एक एकल Model पूरे ResNet50 नेटवर्क भी शामिल है।
Model वर्ग के रूप में एक ही एपीआई है Layer निम्नलिखित अंतर के साथ,:
- इसमें अंतर्निहित प्रशिक्षण, मूल्यांकन, और भविष्यवाणी छोरों उजागर (
model.fit(),model.evaluate(),model.predict())। - यह अपने भीतर की परतों की सूची को उजागर करता है, के माध्यम से
model.layersसंपत्ति। - यह बचत और क्रमबद्धता एपीआई को उजागर करता है (
save(),save_weights()...)
प्रभावी ढंग से, Layer क्या हम एक "परत" के रूप में (साहित्य में उल्लेख करने के लिए ( "घुमाव परत" या "आवर्तक परत" के रूप में) या एक "ब्लॉक" के रूप में "ब्लॉक ResNet" के रूप में या "इंसेप्शन ब्लॉक" के लिए कक्षा मेल खाती है )
इस बीच, Model क्या एक "मॉडल" के रूप में साहित्य में जाना जाता है के लिए कक्षा मेल खाती है ( "गहरी शिक्षण मॉडल" के रूप में) या एक "नेटवर्क" के रूप में ( "गहरी तंत्रिका नेटवर्क" में)।
आप सोच रहे हैं तो अगर, "मैं का उपयोग करना चाहिए Layer वर्ग या Model वर्ग?", अपने आप से पूछना: मैं कॉल करने की आवश्यकता होगी fit() इस पर? मैं फोन करने की आवश्यकता होगी save() के लिए उस पर? यदि हां, तो साथ जाना Model । यदि नहीं (क्योंकि या तो अपनी कक्षा एक बड़ा प्रणाली में सिर्फ एक ब्लॉक है, या फिर आपने प्रशिक्षण लेखन और अपने आप को कोड बचत कर रहे हैं), उपयोग Layer ।
उदाहरण के लिए, हम ऊपर हमारे मिनी resnet उदाहरण ले सकता है, और इसका इस्तेमाल एक निर्माण करने के लिए Model है कि हम साथ प्रशिक्षण दे सकते fit() , और हम साथ बचा सकता है कि save_weights() :
class ResNet(tf.keras.Model):
def __init__(self, num_classes=1000):
super(ResNet, self).__init__()
self.block_1 = ResNetBlock()
self.block_2 = ResNetBlock()
self.global_pool = layers.GlobalAveragePooling2D()
self.classifier = Dense(num_classes)
def call(self, inputs):
x = self.block_1(inputs)
x = self.block_2(x)
x = self.global_pool(x)
return self.classifier(x)
resnet = ResNet()
dataset = ...
resnet.fit(dataset, epochs=10)
resnet.save(filepath)
यह सब एक साथ रखना: एक एंड-टू-एंड उदाहरण
आपने अब तक जो सीखा है, वह यहां दिया गया है:
- एक
Layerएक राज्य (में बनाया संपुटित__init__()याbuild()) और कुछ गणना (में परिभाषितcall())। - नए, बड़े संगणना ब्लॉक बनाने के लिए परतों को पुनरावर्ती रूप से नेस्ट किया जा सकता है।
- परतें बना सकते हैं और ट्रैक घाटा (आमतौर पर नियमितीकरण नुकसान) के साथ-साथ मैट्रिक्स, के माध्यम से
add_loss()औरadd_metric() - बाहरी कंटेनर, बात आप को प्रशिक्षित करना चाहते हैं, एक है
Model। एकModelसिर्फ एक की तरह हैLayer, लेकिन जोड़ा प्रशिक्षण और क्रमबद्धता उपयोगिताओं के साथ।
आइए इन सभी चीजों को एक साथ एंड-टू-एंड उदाहरण में डालते हैं: हम एक वेरिएशनल ऑटोएन्कोडर (VAE) को लागू करने जा रहे हैं। हम इसे MNIST अंकों पर प्रशिक्षित करेंगे।
हमारे VAE का एक उपवर्ग हो जाएगा Model , कि उपवर्ग परतों के एक नेस्टेड संरचना के रूप में बनाया गया Layer । इसमें रेगुलराइजेशन लॉस (केएल डाइवर्जेंस) होगा।
from tensorflow.keras import layers
class Sampling(layers.Layer):
"""Uses (z_mean, z_log_var) to sample z, the vector encoding a digit."""
def call(self, inputs):
z_mean, z_log_var = inputs
batch = tf.shape(z_mean)[0]
dim = tf.shape(z_mean)[1]
epsilon = tf.keras.backend.random_normal(shape=(batch, dim))
return z_mean + tf.exp(0.5 * z_log_var) * epsilon
class Encoder(layers.Layer):
"""Maps MNIST digits to a triplet (z_mean, z_log_var, z)."""
def __init__(self, latent_dim=32, intermediate_dim=64, name="encoder", **kwargs):
super(Encoder, self).__init__(name=name, **kwargs)
self.dense_proj = layers.Dense(intermediate_dim, activation="relu")
self.dense_mean = layers.Dense(latent_dim)
self.dense_log_var = layers.Dense(latent_dim)
self.sampling = Sampling()
def call(self, inputs):
x = self.dense_proj(inputs)
z_mean = self.dense_mean(x)
z_log_var = self.dense_log_var(x)
z = self.sampling((z_mean, z_log_var))
return z_mean, z_log_var, z
class Decoder(layers.Layer):
"""Converts z, the encoded digit vector, back into a readable digit."""
def __init__(self, original_dim, intermediate_dim=64, name="decoder", **kwargs):
super(Decoder, self).__init__(name=name, **kwargs)
self.dense_proj = layers.Dense(intermediate_dim, activation="relu")
self.dense_output = layers.Dense(original_dim, activation="sigmoid")
def call(self, inputs):
x = self.dense_proj(inputs)
return self.dense_output(x)
class VariationalAutoEncoder(keras.Model):
"""Combines the encoder and decoder into an end-to-end model for training."""
def __init__(
self,
original_dim,
intermediate_dim=64,
latent_dim=32,
name="autoencoder",
**kwargs
):
super(VariationalAutoEncoder, self).__init__(name=name, **kwargs)
self.original_dim = original_dim
self.encoder = Encoder(latent_dim=latent_dim, intermediate_dim=intermediate_dim)
self.decoder = Decoder(original_dim, intermediate_dim=intermediate_dim)
def call(self, inputs):
z_mean, z_log_var, z = self.encoder(inputs)
reconstructed = self.decoder(z)
# Add KL divergence regularization loss.
kl_loss = -0.5 * tf.reduce_mean(
z_log_var - tf.square(z_mean) - tf.exp(z_log_var) + 1
)
self.add_loss(kl_loss)
return reconstructed
आइए MNIST पर एक सरल प्रशिक्षण लूप लिखें:
original_dim = 784
vae = VariationalAutoEncoder(original_dim, 64, 32)
optimizer = tf.keras.optimizers.Adam(learning_rate=1e-3)
mse_loss_fn = tf.keras.losses.MeanSquaredError()
loss_metric = tf.keras.metrics.Mean()
(x_train, _), _ = tf.keras.datasets.mnist.load_data()
x_train = x_train.reshape(60000, 784).astype("float32") / 255
train_dataset = tf.data.Dataset.from_tensor_slices(x_train)
train_dataset = train_dataset.shuffle(buffer_size=1024).batch(64)
epochs = 2
# Iterate over epochs.
for epoch in range(epochs):
print("Start of epoch %d" % (epoch,))
# Iterate over the batches of the dataset.
for step, x_batch_train in enumerate(train_dataset):
with tf.GradientTape() as tape:
reconstructed = vae(x_batch_train)
# Compute reconstruction loss
loss = mse_loss_fn(x_batch_train, reconstructed)
loss += sum(vae.losses) # Add KLD regularization loss
grads = tape.gradient(loss, vae.trainable_weights)
optimizer.apply_gradients(zip(grads, vae.trainable_weights))
loss_metric(loss)
if step % 100 == 0:
print("step %d: mean loss = %.4f" % (step, loss_metric.result()))
Start of epoch 0 step 0: mean loss = 0.3184 step 100: mean loss = 0.1252 step 200: mean loss = 0.0989 step 300: mean loss = 0.0890 step 400: mean loss = 0.0841 step 500: mean loss = 0.0807 step 600: mean loss = 0.0787 step 700: mean loss = 0.0771 step 800: mean loss = 0.0759 step 900: mean loss = 0.0749 Start of epoch 1 step 0: mean loss = 0.0746 step 100: mean loss = 0.0740 step 200: mean loss = 0.0735 step 300: mean loss = 0.0730 step 400: mean loss = 0.0727 step 500: mean loss = 0.0723 step 600: mean loss = 0.0720 step 700: mean loss = 0.0717 step 800: mean loss = 0.0715 step 900: mean loss = 0.0712
ध्यान दें कि VAE उपवर्गीकरण है के बाद से Model , यह सुविधाओं में निर्मित प्रशिक्षण छोरों। तो आप इसे इस तरह प्रशिक्षित भी कर सकते थे:
vae = VariationalAutoEncoder(784, 64, 32)
optimizer = tf.keras.optimizers.Adam(learning_rate=1e-3)
vae.compile(optimizer, loss=tf.keras.losses.MeanSquaredError())
vae.fit(x_train, x_train, epochs=2, batch_size=64)
Epoch 1/2 938/938 [==============================] - 3s 3ms/step - loss: 0.0745 Epoch 2/2 938/938 [==============================] - 3s 3ms/step - loss: 0.0676 <keras.callbacks.History at 0x7fce90282750>
वस्तु-उन्मुख विकास से परे: कार्यात्मक एपीआई
क्या यह उदाहरण आपके लिए बहुत अधिक वस्तु-उन्मुख विकास था? तुम भी का उपयोग कर मॉडल का निर्माण कर सकते हैं कार्यात्मक एपीआई । महत्वपूर्ण रूप से, एक शैली या किसी अन्य को चुनना आपको दूसरी शैली में लिखे गए घटकों का लाभ उठाने से नहीं रोकता है: आप हमेशा मिक्स-एंड-मैच कर सकते हैं।
उदाहरण के लिए, reuses नीचे कार्यात्मक एपीआई उदाहरण एक ही Sampling परत हम ऊपर के उदाहरण में परिभाषित:
original_dim = 784
intermediate_dim = 64
latent_dim = 32
# Define encoder model.
original_inputs = tf.keras.Input(shape=(original_dim,), name="encoder_input")
x = layers.Dense(intermediate_dim, activation="relu")(original_inputs)
z_mean = layers.Dense(latent_dim, name="z_mean")(x)
z_log_var = layers.Dense(latent_dim, name="z_log_var")(x)
z = Sampling()((z_mean, z_log_var))
encoder = tf.keras.Model(inputs=original_inputs, outputs=z, name="encoder")
# Define decoder model.
latent_inputs = tf.keras.Input(shape=(latent_dim,), name="z_sampling")
x = layers.Dense(intermediate_dim, activation="relu")(latent_inputs)
outputs = layers.Dense(original_dim, activation="sigmoid")(x)
decoder = tf.keras.Model(inputs=latent_inputs, outputs=outputs, name="decoder")
# Define VAE model.
outputs = decoder(z)
vae = tf.keras.Model(inputs=original_inputs, outputs=outputs, name="vae")
# Add KL divergence regularization loss.
kl_loss = -0.5 * tf.reduce_mean(z_log_var - tf.square(z_mean) - tf.exp(z_log_var) + 1)
vae.add_loss(kl_loss)
# Train.
optimizer = tf.keras.optimizers.Adam(learning_rate=1e-3)
vae.compile(optimizer, loss=tf.keras.losses.MeanSquaredError())
vae.fit(x_train, x_train, epochs=3, batch_size=64)
Epoch 1/3 938/938 [==============================] - 3s 3ms/step - loss: 0.0748 Epoch 2/3 938/938 [==============================] - 3s 3ms/step - loss: 0.0676 Epoch 3/3 938/938 [==============================] - 3s 3ms/step - loss: 0.0676 <keras.callbacks.History at 0x7fce90233cd0>
अधिक जानकारी के लिए पढ़ने के लिए सुनिश्चित करें कि कार्यात्मक API मार्गदर्शिका ।