Agentes do TensorFlow

Aprendizado por reforço com TensorFlow

Os agentes facilitam o projeto, a implementação e o teste de novos algoritmos de RL, fornecendo componentes modulares bem testados que podem ser modificados e estendidos. Ele permite iteração rápida de código, com boa integração de teste e benchmarking.

Para começar, recomendamos verificar um de nossos tutoriais .

Instalação

O TF-Agents publica compilações noturnas e estáveis. Para obter uma lista de lançamentos, leia a seção Lançamentos . Os comandos abaixo cobrem a instalação de TF-Agents estáveis ​​e noturnos de pypi.org , bem como de um clone do GitHub.

Estábulo

Execute os comandos abaixo para instalar a versão estável mais recente. A documentação da API para o lançamento está em tensorflow.org .

$ pip install --user tf-agents[reverb]

# Use this tag get the matching examples and colabs.
$ git clone https://github.com/tensorflow/agents.git
$ cd agents
$ git checkout v0.13.0

Se você deseja instalar TF-Agents com versões do Tensorflow ou Reverb que são sinalizadas como não compatíveis pela verificação de dependência do pip, use o seguinte padrão abaixo por sua conta e risco.

$ pip install --user tensorflow
$ pip install --user dm-reverb
$ pip install --user tf-agents

Se você quiser usar TF-Agents com TensorFlow 1.15 ou 2.0, instale a versão 0.3.0:

# Newer versions of tensorflow-probability require newer versions of TensorFlow.
$ pip install tensorflow-probability==0.8.0
$ pip install tf-agents==0.3.0

Todas as noites

As compilações noturnas incluem recursos mais recentes, mas podem ser menos estáveis ​​do que as versões com versão. A compilação noturna é enviada como tf-agents-nightly . Sugerimos a instalação de versões noturnas do TensorFlow ( tf-nightly ) e TensorFlow Probability ( tfp-nightly ), pois essas são as versões em que o TF-Agents nightly é testado.

Para instalar a versão de compilação noturna, execute o seguinte:

# `--force-reinstall helps guarantee the right versions.
$ pip install --user --force-reinstall tf-nightly
$ pip install --user --force-reinstall tfp-nightly
$ pip install --user --force-reinstall dm-reverb-nightly

# Installing with the `--upgrade` flag ensures you'll get the latest version.
$ pip install --user --upgrade tf-agents-nightly

Do GitHub

Após clonar o repositório, as dependências podem ser instaladas executando pip install -e .[tests] . O TensorFlow precisa ser instalado de forma independente: pip install --user tf-nightly .

Contribuindo

Estamos ansiosos para colaborar com você! Veja CONTRIBUTING.md para um guia sobre como contribuir. Este projeto segue o código de conduta do TensorFlow . Ao participar, espera-se que você mantenha este código.

Lançamentos

O TF Agents tem lançamentos estáveis ​​e noturnos. Os lançamentos noturnos geralmente são bons, mas podem ter problemas devido ao fluxo de bibliotecas upstream. A tabela abaixo lista as versões do TensorFlow testadas com cada versão do TF Agents para ajudar os usuários que podem estar bloqueados em uma versão específica do TensorFlow.

Liberar Filial/Etiqueta Versão do TensorFlow
Todas as noites mestre tf-nightly
0.13.0 v0.13.0 2.9.0
0.12.0 v0.12.0 2.8.0
0.11.0 v0.11.0 2.7.0
0.10.0 v0.10.0 2.6.0
0,9,0 v0.9.0 2.6.0
0,8,0 v0.8.0 2.5.0
0.7.1 v0.7.1 2.4.0
0.6.0 v0.6.0 2.3.0
0,5,0 v0.5.0 2.2.0
0.4.0 v0.4.0 2.1.0
0.3.0 v0.3.0 1.15.0 e 2.0.0

Princípios

Este projeto segue os princípios de IA do Google . Ao participar, usar ou contribuir para este projeto, espera-se que você siga esses princípios.

Citação

Se você usar este código, por favor, cite-o como:

@misc{TFAgents,
  title = { {TF-Agents}: A library for Reinforcement Learning in TensorFlow},
  author = {Sergio Guadarrama and Anoop Korattikara and Oscar Ramirez and
     Pablo Castro and Ethan Holly and Sam Fishman and Ke Wang and
     Ekaterina Gonina and Neal Wu and Efi Kokiopoulou and Luciano Sbaiz and
     Jamie Smith and Gábor Bartók and Jesse Berent and Chris Harris and
     Vincent Vanhoucke and Eugene Brevdo},
  howpublished = {\url{https://github.com/tensorflow/agents} },
  url = "https://github.com/tensorflow/agents",
  year = 2018,
  note = "[Online; accessed 25-June-2019]"
}