Agents TensorFlow

Apprentissage par renforcement avec TensorFlow

Les agents facilitent la conception, la mise en œuvre et le test de nouveaux algorithmes RL, en fournissant des composants modulaires bien testés qui peuvent être modifiés et étendus. Il permet une itération rapide du code, avec une bonne intégration des tests et une analyse comparative.

Pour commencer, nous vous recommandons de consulter l'un de nos tutoriels .

Installation

TF-Agents publie des versions nocturnes et stables. Pour une liste des versions, lisez la section Versions . Les commandes ci-dessous couvrent l'installation stable et nocturne de TF-Agents à partir de pypi.org ainsi qu'à partir d'un clone GitHub.

:warning: Si vous utilisez Reverb (replay buffer), ce qui est très courant, les TF-Agents ne fonctionneront qu'avec Linux.

Écurie

Exécutez les commandes ci-dessous pour installer la version stable la plus récente. La documentation de l'API pour la version se trouve sur tensorflow.org .

$ pip install --user tf-agents[reverb]

# Use this tag get the matching examples and colabs.
$ git clone https://github.com/tensorflow/agents.git
$ cd agents
$ git checkout v0.15.0

Si vous souhaitez installer TF-Agents avec des versions de Tensorflow ou Reverb qui sont signalées comme non compatibles par la vérification de dépendance pip, utilisez le modèle suivant ci-dessous à vos risques et périls.

$ pip install --user tensorflow
$ pip install --user dm-reverb
$ pip install --user tf-agents

Si vous souhaitez utiliser TF-Agents avec TensorFlow 1.15 ou 2.0, installez la version 0.3.0 :

# Newer versions of tensorflow-probability require newer versions of TensorFlow.
$ pip install tensorflow-probability==0.8.0
$ pip install tf-agents==0.3.0

Chaque nuit

Les versions nocturnes incluent des fonctionnalités plus récentes, mais peuvent être moins stables que les versions versionnées. La construction nocturne est poussée en tant que tf-agents-nightly . Nous vous suggérons d'installer les versions nocturnes de TensorFlow ( tf-nightly ) et TensorFlow Probability ( tfp-nightly ) car ce sont les versions par rapport auxquelles les TF-Agents sont testés la nuit.

Pour installer la version nightly build, exécutez la commande suivante :

# `--force-reinstall helps guarantee the right versions.
$ pip install --user --force-reinstall tf-nightly
$ pip install --user --force-reinstall tfp-nightly
$ pip install --user --force-reinstall dm-reverb-nightly

# Installing with the `--upgrade` flag ensures you'll get the latest version.
$ pip install --user --upgrade tf-agents-nightly

De GitHub

Après avoir cloné le référentiel, les dépendances peuvent être installées en exécutant pip install -e .[tests] . TensorFlow doit être installé indépendamment : pip install --user tf-nightly .

Contribuant

Nous sommes impatients de collaborer avec vous ! Voir CONTRIBUTING.md pour un guide sur la façon de contribuer. Ce projet respecte le code de conduite de TensorFlow . En participant, vous êtes tenu de respecter ce code.

Communiqués

TF Agents a des versions stables et nocturnes. Les versions nocturnes sont souvent correctes, mais peuvent rencontrer des problèmes en raison de l'évolution des bibliothèques en amont. Le tableau ci-dessous répertorie les versions de TensorFlow qui correspondent à la version de chaque agent TF. Versions d'intérêt :

• 0.16.0 est la première version à prendre en charge Python 3.11.
• 0.15.0 est la dernière version compatible avec Python 3.7.
• Si vous utilisez numpy < 1.19, utilisez TF-Agents 0.15.0 ou une version antérieure.
• 0.9.0 est la dernière version compatible avec Python 3.6.
• 0.3.0 est la dernière version compatible avec Python 2.x.

Des principes

Ce projet respecte les principes d'intelligence artificielle de Google . En participant, en utilisant ou en contribuant à ce projet, vous devez adhérer à ces principes.

Citation

Si vous utilisez ce code, veuillez le citer comme suit :

@misc{TFAgents,
  title = { {TF-Agents}: A library for Reinforcement Learning in TensorFlow},
  author = {Sergio Guadarrama and Anoop Korattikara and Oscar Ramirez and
     Pablo Castro and Ethan Holly and Sam Fishman and Ke Wang and
     Ekaterina Gonina and Neal Wu and Efi Kokiopoulou and Luciano Sbaiz and
     Jamie Smith and Gábor Bartók and Jesse Berent and Chris Harris and
     Vincent Vanhoucke and Eugene Brevdo},
  howpublished = {\url{https://github.com/tensorflow/agents} },
  url = "https://github.com/tensorflow/agents",
  year = 2018,
  note = "[Online; accessed 25-June-2019]"
}