इस पेज का अनुवाद Cloud Translation API से किया गया है.
Switch to English

बफ़र खेलना

TensorFlow.org पर देखें Google Colab में चलाएं GitHub पर स्रोत देखें नोटबुक डाउनलोड करें

परिचय

सुदृढीकरण सीखने वाले एल्गोरिदम एक वातावरण में एक नीति को निष्पादित करते समय अनुभव के प्रक्षेपवक्रों को संग्रहीत करने के लिए रिप्ले बफ़र्स का उपयोग करते हैं। प्रशिक्षण के दौरान, रिप्ले बफ़र्स को एजेंट के अनुभव को "रीप्ले" करने के लिए प्रक्षेपवक्र (या तो अनुक्रमिक सबसेट या एक नमूना) के सबसेट के लिए क्वियर किया जाता है।

इस कोलाब में, हम दो प्रकार के रिप्ले बफ़र्स का पता लगाते हैं: अजगर-समर्थित और टेंसरफ़्लो-समर्थित, एक आम एपीआई साझा करना। निम्नलिखित अनुभागों में, हम एपीआई का वर्णन करते हैं, प्रत्येक बफर कार्यान्वयन और डेटा संग्रह प्रशिक्षण के दौरान उनका उपयोग कैसे करें।

सेट अप

यदि आपने पहले से ही tf- एजेंट स्थापित नहीं किया है।

pip install -q --pre tf-agents[reverb]
pip install -q gym
WARNING: You are using pip version 20.1.1; however, version 20.2 is available.
You should consider upgrading via the '/tmpfs/src/tf_docs_env/bin/python -m pip install --upgrade pip' command.
WARNING: You are using pip version 20.1.1; however, version 20.2 is available.
You should consider upgrading via the '/tmpfs/src/tf_docs_env/bin/python -m pip install --upgrade pip' command.

 from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

import tensorflow as tf
import numpy as np

from tf_agents import specs
from tf_agents.agents.dqn import dqn_agent
from tf_agents.drivers import dynamic_step_driver
from tf_agents.environments import suite_gym
from tf_agents.environments import tf_py_environment
from tf_agents.networks import q_network
from tf_agents.replay_buffers import py_uniform_replay_buffer
from tf_agents.replay_buffers import tf_uniform_replay_buffer
from tf_agents.specs import tensor_spec
from tf_agents.trajectories import time_step

tf.compat.v1.enable_v2_behavior()
 

बफ़र API को रिप्ले करें

रिप्ले बफ़र वर्ग की निम्न परिभाषा और विधियाँ हैं:

 class ReplayBuffer(tf.Module):
  """Abstract base class for TF-Agents replay buffer."""

  def __init__(self, data_spec, capacity):
    """Initializes the replay buffer.

    Args:
      data_spec: A spec or a list/tuple/nest of specs describing
        a single item that can be stored in this buffer
      capacity: number of elements that the replay buffer can hold.
    """

  @property
  def data_spec(self):
    """Returns the spec for items in the replay buffer."""

  @property
  def capacity(self):
    """Returns the capacity of the replay buffer."""

  def add_batch(self, items):
    """Adds a batch of items to the replay buffer."""

  def get_next(self,
               sample_batch_size=None,
               num_steps=None,
               time_stacked=True):
    """Returns an item or batch of items from the buffer."""

  def as_dataset(self,
                 sample_batch_size=None,
                 num_steps=None,
                 num_parallel_calls=None):
    """Creates and returns a dataset that returns entries from the buffer."""


  def gather_all(self):
    """Returns all the items in buffer."""
    return self._gather_all()

  def clear(self):
    """Resets the contents of replay buffer"""

 

ध्यान दें कि जब रिप्ले बफर ऑब्जेक्ट को इनिशियलाइज़ किया जाता है, तो उसे उन तत्वों के data_spec की आवश्यकता होती है, data_spec वह स्टोर करेगा। यह युक्ति TensorSpec के प्रक्षेपवक्र तत्वों से मेल खाती है जिसे बफर में जोड़ा जाएगा। यह युक्ति आम तौर पर एक एजेंट के एजेंट को देखकर हासिल की जाती है agent.collect_data_spec जो प्रशिक्षण के दौरान एजेंट द्वारा अपेक्षित आकार, प्रकार और संरचनाओं को परिभाषित करता है (उस पर बाद में और अधिक)

TFUniformReplayBuffer

TFUniformReplayBuffer टीएफ-एजेंटों में सबसे अधिक इस्तेमाल किया जाने वाला रिप्ले बफर है, इस प्रकार हम इसे अपने ट्यूटोरियल में यहां उपयोग करेंगे। TFUniformReplayBuffer में बैकिंग बफर स्टोरेज को टेंसरफ्लो वैरिएबल द्वारा किया जाता है और इस तरह कंपैरिजन ग्राफ का हिस्सा है।

बफ़र तत्वों के बैचों को संग्रहीत करता है और इसमें प्रति बैच सेगमेंट में अधिकतम क्षमता वाले max_length तत्व होते हैं। इस प्रकार, कुल बफ़र क्षमता है batch_size x max_length तत्व। बफ़र में संग्रहीत तत्वों में सभी का मिलान डेटा युक्ति होना चाहिए। जब डेटा संग्रह के लिए रिप्ले बफर का उपयोग किया जाता है, तो युक्ति एजेंट की एकत्रित डेटा युक्ति है।

बफर बनाना:

TFUniformReplayBuffer बनाने के लिए हम इसमें से गुजरते हैं:

  1. डेटा तत्वों की कल्पना जो बफर स्टोर करेगा
  2. batch size अनुरूप है
  3. max_length बैच प्रति खंड तत्वों की संख्या

यहाँ एक बनाने का एक उदाहरण है TFUniformReplayBuffer नमूना डेटा चश्मा, साथ batch_size 32 और max_length 1000।

 data_spec =  (
        tf.TensorSpec([3], tf.float32, 'action'),
        (
            tf.TensorSpec([5], tf.float32, 'lidar'),
            tf.TensorSpec([3, 2], tf.float32, 'camera')
        )
)

batch_size = 32
max_length = 1000

replay_buffer = tf_uniform_replay_buffer.TFUniformReplayBuffer(
    data_spec,
    batch_size=batch_size,
    max_length=max_length)
 

बफर को लिखना:

रिप्ले बफर में तत्वों को जोड़ने के लिए, हम add_batch(items) विधि add_batch(items) उपयोग करते हैं जहां items एक सूची / टपल / घोंसला है जो बफर में जोड़े जाने वाले आइटम के बैच का प्रतिनिधित्व करता है। items प्रत्येक तत्व में एक बाहरी आयाम होना चाहिए बराबर batch_size और शेष आयामों को आइटम के डेटा चश्मे का पालन करना चाहिए (जैसे कि डेटा चश्मा रिप्ले बफर कंस्ट्रक्टर को पास किया गया)।

यहां वस्तुओं के एक बैच को जोड़ने का एक उदाहरण है

 action = tf.constant(1 * np.ones(
    data_spec[0].shape.as_list(), dtype=np.float32))
lidar = tf.constant(
    2 * np.ones(data_spec[1][0].shape.as_list(), dtype=np.float32))
camera = tf.constant(
    3 * np.ones(data_spec[1][1].shape.as_list(), dtype=np.float32))
  
values = (action, (lidar, camera))
values_batched = tf.nest.map_structure(lambda t: tf.stack([t] * batch_size),
                                       values)
  
replay_buffer.add_batch(values_batched)
 

बफर से पढ़ना

TFUniformReplayBuffer से डेटा पढ़ने के तीन तरीके हैं:

  1. get_next() - बफर से एक नमूना लौटाता है। नमूना बैच आकार और लौटे टाइमस्टेप्स की संख्या को इस पद्धति के तर्कों के माध्यम से निर्दिष्ट किया जा सकता है।
  2. as_dataset() - रिप्ले बफर को tf.data.Dataset रूप में tf.data.Dataset । फिर बफर में वस्तुओं के नमूनों के माध्यम से एक डेटासेट इटेटर और इटरेट बना सकते हैं।
  3. gather_all() - बफर के सभी आइटमों को आकार [batch, time, data_spec] साथ एक [batch, time, data_spec]

इन तरीकों में से प्रत्येक का उपयोग करते हुए रिप्ले बफर से पढ़ने के तरीके नीचे दिए गए हैं:

 # add more items to the buffer before reading
for _ in range(5):
  replay_buffer.add_batch(values_batched)

# Get one sample from the replay buffer with batch size 10 and 1 timestep:

sample = replay_buffer.get_next(sample_batch_size=10, num_steps=1)

# Convert the replay buffer to a tf.data.Dataset and iterate through it
dataset = replay_buffer.as_dataset(
    sample_batch_size=4,
    num_steps=2)

iterator = iter(dataset)
print("Iterator trajectories:")
trajectories = []
for _ in range(3):
  t, _ = next(iterator)
  trajectories.append(t)
  
print(tf.nest.map_structure(lambda t: t.shape, trajectories))

# Read all elements in the replay buffer:
trajectories = replay_buffer.gather_all()

print("Trajectories from gather all:")
print(tf.nest.map_structure(lambda t: t.shape, trajectories))

 
WARNING:tensorflow:From <ipython-input-6-1f9907631cb9>:7: ReplayBuffer.get_next (from tf_agents.replay_buffers.replay_buffer) is deprecated and will be removed in a future version.
Instructions for updating:
Use `as_dataset(..., single_deterministic_pass=False) instead.
Iterator trajectories:
[(TensorShape([4, 2, 3]), (TensorShape([4, 2, 5]), TensorShape([4, 2, 3, 2]))), (TensorShape([4, 2, 3]), (TensorShape([4, 2, 5]), TensorShape([4, 2, 3, 2]))), (TensorShape([4, 2, 3]), (TensorShape([4, 2, 5]), TensorShape([4, 2, 3, 2])))]
WARNING:tensorflow:From <ipython-input-6-1f9907631cb9>:24: ReplayBuffer.gather_all (from tf_agents.replay_buffers.replay_buffer) is deprecated and will be removed in a future version.
Instructions for updating:
Use `as_dataset(..., single_deterministic_pass=True)` instead.
Trajectories from gather all:
(TensorShape([32, 6, 3]), (TensorShape([32, 6, 5]), TensorShape([32, 6, 3, 2])))

PyUniformReplayBuffer

PyUniformReplayBuffer में PyUniformReplayBuffer की तरह ही TFUniformReplayBuffer लेकिन tf वेरिएबल्स के बजाय, यह डेटा numpy सरणियों में संग्रहीत है। इस बफर का उपयोग आउट-ऑफ-ग्राफ डेटा संग्रह के लिए किया जा सकता है। खस्ता में बैकिंग स्टोरेज होने से कुछ एप्लिकेशन के लिए डेटा हेरफेर करना आसान हो सकता है (जैसे कि प्राथमिकताओं को अपडेट करने के लिए इंडेक्सिंग) बिना टेंसरफ्लो चर का उपयोग किए। हालाँकि, इस कार्यान्वयन में Tensorflow के साथ ग्राफ़ अनुकूलन का लाभ नहीं होगा।

नीचे एजेंट की नीति प्रक्षेपवक्र चश्मे से एक PyUniformReplayBuffer को PyUniformReplayBuffer का एक उदाहरण है:

 replay_buffer_capacity = 1000*32 # same capacity as the TFUniformReplayBuffer

py_replay_buffer = py_uniform_replay_buffer.PyUniformReplayBuffer(
    capacity=replay_buffer_capacity,
    data_spec=tensor_spec.to_nest_array_spec(data_spec))
 

प्रशिक्षण के दौरान रिप्ले बफ़र्स का उपयोग करना

अब जब हम जानते हैं कि रिप्ले बफर कैसे बनाते हैं, तो उसमें आइटम लिखें और उसमें से पढ़ें, हम अपने एजेंटों के प्रशिक्षण के दौरान प्रक्षेपवक्र को संग्रहीत करने के लिए इसका उपयोग कर सकते हैं।

आंकड़ा संग्रहण

सबसे पहले, आइए देखें कि डेटा संग्रह के दौरान रिप्ले बफर का उपयोग कैसे करें।

TF-Agent में हम एक वातावरण में अनुभव एकत्र करने के लिए Driver (अधिक विवरण के लिए ड्राइवर ट्यूटोरियल देखें) का उपयोग करते हैं। Driver उपयोग करने के लिए, हम एक Observer निर्दिष्ट करते हैं जो Driver लिए एक फ़ंक्शन है जिसे निष्पादित करने के लिए एक प्रक्षेपवक्र प्राप्त होता है।

इस प्रकार, रिप्ले बफर में प्रक्षेपवक्र तत्वों को जोड़ने के लिए, हम एक पर्यवेक्षक को जोड़ते हैं जो रिप्ले बफर पर (बैच) आइटम जोड़ने के लिए add_batch(items) कहता है।

नीचे TFUniformReplayBuffer साथ TFUniformReplayBuffer एक उदाहरण है। हम पहले एक वातावरण, एक नेटवर्क और एक एजेंट बनाते हैं। फिर हम एक TFUniformReplayBuffer बनाते हैं। ध्यान दें कि रिप्ले बफर में प्रक्षेपवक्र तत्वों की ऐनक एजेंट के एकत्रित डेटा युक्ति के बराबर हैं। इसके बाद हमने ड्राइवर के लिए पर्यवेक्षक के रूप में इसकी add_batch विधि निर्धारित की जो हमारे प्रशिक्षण के दौरान एकत्रित डेटा को करेगा:

 env = suite_gym.load('CartPole-v0')
tf_env = tf_py_environment.TFPyEnvironment(env)

q_net = q_network.QNetwork(
    tf_env.time_step_spec().observation,
    tf_env.action_spec(),
    fc_layer_params=(100,))

agent = dqn_agent.DqnAgent(
    tf_env.time_step_spec(),
    tf_env.action_spec(),
    q_network=q_net,
    optimizer=tf.compat.v1.train.AdamOptimizer(0.001))

replay_buffer_capacity = 1000

replay_buffer = tf_uniform_replay_buffer.TFUniformReplayBuffer(
    agent.collect_data_spec,
    batch_size=tf_env.batch_size,
    max_length=replay_buffer_capacity)

# Add an observer that adds to the replay buffer:
replay_observer = [replay_buffer.add_batch]

collect_steps_per_iteration = 10
collect_op = dynamic_step_driver.DynamicStepDriver(
  tf_env,
  agent.collect_policy,
  observers=replay_observer,
  num_steps=collect_steps_per_iteration).run()
 
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.6/site-packages/tf_agents/drivers/dynamic_step_driver.py:203: calling while_loop_v2 (from tensorflow.python.ops.control_flow_ops) with back_prop=False is deprecated and will be removed in a future version.
Instructions for updating:
back_prop=False is deprecated. Consider using tf.stop_gradient instead.
Instead of:
results = tf.while_loop(c, b, vars, back_prop=False)
Use:
results = tf.nest.map_structure(tf.stop_gradient, tf.while_loop(c, b, vars))

ट्रेन स्टेप के लिए डेटा पढ़ना

रिप्ले बफर में प्रक्षेपवक्र तत्वों को जोड़ने के बाद, हम ट्रेन स्टेप के लिए इनपुट डेटा के रूप में उपयोग करने के लिए रिप्ले बफर से प्रक्षेपवक्र के बैचों को पढ़ सकते हैं।

प्रशिक्षण पाश में रिप्ले बफर से प्रक्षेपवक्र पर प्रशिक्षित करने का तरीका इस प्रकार है:

 # Read the replay buffer as a Dataset,
# read batches of 4 elements, each with 2 timesteps:
dataset = replay_buffer.as_dataset(
    sample_batch_size=4,
    num_steps=2)

iterator = iter(dataset)

num_train_steps = 10

for _ in range(num_train_steps):
  trajectories, _ = next(iterator)
  loss = agent.train(experience=trajectories)