Agentes de TensorFlow

Aprendizaje por refuerzo con TensorFlow

Los agentes facilitan el diseño, la implementación y la prueba de nuevos algoritmos de RL al proporcionar componentes modulares bien probados que se pueden modificar y ampliar. Permite una iteración de código rápida, con una buena integración de pruebas y evaluación comparativa.

Para comenzar, le recomendamos que consulte uno de nuestros tutoriales .

Instalación

TF-Agents publica compilaciones estables y nocturnas. Para obtener una lista de lanzamientos, lea la sección de lanzamientos . Los siguientes comandos cubren la instalación de TF-Agents de forma estable y nocturna desde pypi.org , así como desde un clon de GitHub.

:advertencia: si usa Reverb (búfer de reproducción), que es muy común, los TF-Agents solo funcionarán con Linux.

Estable

Ejecute los siguientes comandos para instalar la versión estable más reciente. La documentación de la API para el lanzamiento se encuentra en tensorflow.org .

$ pip install --user tf-agents[reverb]

# Use this tag get the matching examples and colabs.
$ git clone https://github.com/tensorflow/agents.git
$ cd agents
$ git checkout v0.15.0

Si desea instalar TF-Agents con versiones de Tensorflow o Reverb que están marcadas como no compatibles por la verificación de dependencia de pip, use el siguiente patrón a continuación bajo su propio riesgo.

$ pip install --user tensorflow
$ pip install --user dm-reverb
$ pip install --user tf-agents

Si desea utilizar TF-Agents con TensorFlow 1.15 o 2.0, instale la versión 0.3.0:

# Newer versions of tensorflow-probability require newer versions of TensorFlow.
$ pip install tensorflow-probability==0.8.0
$ pip install tf-agents==0.3.0

Nocturno

Las compilaciones nocturnas incluyen funciones más nuevas, pero pueden ser menos estables que las versiones versionadas. La compilación nocturna se promociona como tf-agents-nightly . Sugerimos instalar versiones nocturnas de TensorFlow ( tf-nightly ) y TensorFlow Probability ( tfp-nightly ), ya que esas son las versiones contra las que se prueban los TF-Agents nightly.

Para instalar la versión de compilación nocturna, ejecute lo siguiente:

# `--force-reinstall helps guarantee the right versions.
$ pip install --user --force-reinstall tf-nightly
$ pip install --user --force-reinstall tfp-nightly
$ pip install --user --force-reinstall dm-reverb-nightly

# Installing with the `--upgrade` flag ensures you'll get the latest version.
$ pip install --user --upgrade tf-agents-nightly

Desde GitHub

Después de clonar el repositorio, las dependencias se pueden instalar ejecutando pip install -e .[tests] . TensorFlow debe instalarse de forma independiente: pip install --user tf-nightly .

contribuyendo

¡Estamos ansiosos por colaborar contigo! Consulte CONTRIBUTING.md para obtener una guía sobre cómo contribuir. Este proyecto se adhiere al código de conducta de TensorFlow. Al participar, se espera que respete este código.

Lanzamientos

TF Agents tiene lanzamientos estables y nocturnos. Los lanzamientos nocturnos a menudo están bien, pero pueden tener problemas debido a que las bibliotecas ascendentes están en constante cambio. La siguiente tabla enumera las versiones de TensorFlow que se alinean con el lanzamiento de cada agente de TF. Publicar versiones de interés:

• 0.16.0 es la primera versión compatible con Python 3.11.
• 0.15.0 es la última versión compatible con Python 3.7.
• Si usa numpy < 1.19, use TF-Agents 0.15.0 o anterior.
• 0.9.0 es la última versión compatible con Python 3.6.
• 0.3.0 es la última versión compatible con Python 2.x.

Principios

Este proyecto se adhiere a los principios de IA de Google . Al participar, usar o contribuir a este proyecto, se espera que cumpla con estos principios.

Citación

Si usa este código, por favor cítelo como:

@misc{TFAgents,
  title = { {TF-Agents}: A library for Reinforcement Learning in TensorFlow},
  author = {Sergio Guadarrama and Anoop Korattikara and Oscar Ramirez and
     Pablo Castro and Ethan Holly and Sam Fishman and Ke Wang and
     Ekaterina Gonina and Neal Wu and Efi Kokiopoulou and Luciano Sbaiz and
     Jamie Smith and Gábor Bartók and Jesse Berent and Chris Harris and
     Vincent Vanhoucke and Eugene Brevdo},
  howpublished = {\url{https://github.com/tensorflow/agents} },
  url = "https://github.com/tensorflow/agents",
  year = 2018,
  note = "[Online; accessed 25-June-2019]"
}