Google I/O — это обертка! Наверстать упущенное в сеансах TensorFlow Просмотреть сеансы

rlu_atari_checkpoints_ordered

  • Описание:

RL Unplugged - это набор тестов для автономного обучения с подкреплением. RL Unplugged разработан с учетом следующих соображений: для облегчения использования мы предоставляем наборы данных с унифицированным API, который позволяет практикующему специалисту работать со всеми данными в пакете после создания общего конвейера.

Мы выпускаем большой и разнообразный набор данных игрового процесса в соответствии с протоколом , описанным Agarwal и др., 2020 , которая может быть использована для оценки несколько дискретных автономных алгоритмов RL. Набор данных создается путем запуска онлайн DQN агента и записи переходов от его воспроизведения во время тренировки с липкими действий Мачадо и др., 2018 год . Как указано в Агарвал и др., 2020 , для каждой игры мы используем данные из пяти серий с 50 миллионов переходов каждый. Мы выпускаем наборы данных для 46 игр Atari. Подробнее о том, как был создан набор данных, см. В документе.

Atari - это стандартный тест RL. Мы рекомендуем вам попробовать автономные методы RL на Atari, если вы хотите сравнить свой подход с другими современными методами автономной RL с дискретными действиями.

Помимо вознаграждения за каждый шаг, этот набор данных включает вырезанное вознаграждение (полученное с помощью отсечения [-1, 1]) и сумму вырезанного вознаграждения за эпизод.

Каждая из конфигураций разбита на части. Разделения соответствуют контрольным точкам из 1 миллиона шагов (обратите внимание, что количество серий может отличаться). Контрольные точки упорядочиваются по времени (так, контрольная точка 0 прошла до контрольной точки 1).

Упорядочиваются эпизоды в каждом сплите. Проверьте https://www.tensorflow.org/datasets/determinism , если вы хотите , чтобы убедиться , что вы читали эпизоды в порядке.

Этот набор данных соответствует тому, который использовался в документе о воспроизведении DQN. https://research.google/tools/datasets/dqn-replay/

Расколоть Примеры
  • Особенности:
FeaturesDict({
    'checkpoint_id': tf.int64,
    'clipped_episode_return': tf.float32,
    'episode_id': tf.int64,
    'episode_return': tf.float32,
    'steps': Dataset({
        'action': tf.int64,
        'clipped_reward': tf.float32,
        'discount': tf.float32,
        'is_first': tf.bool,
        'is_last': tf.bool,
        'is_terminal': tf.bool,
        'observation': Image(shape=(84, 84, 1), dtype=tf.uint8),
        'reward': tf.float32,
    }),
})
@misc{gulcehre2020rl,
    title={RL Unplugged: Benchmarks for Offline Reinforcement Learning},
    author={Caglar Gulcehre and Ziyu Wang and Alexander Novikov and Tom Le Paine
        and  Sergio Gómez Colmenarejo and Konrad Zolna and Rishabh Agarwal and
        Josh Merel and Daniel Mankowitz and Cosmin Paduraru and Gabriel
        Dulac-Arnold and Jerry Li and Mohammad Norouzi and Matt Hoffman and
        Ofir Nachum and George Tucker and Nicolas Heess and Nando deFreitas},
    year={2020},
    eprint={2006.13888},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

rlu_atari_checkpoints_ordered / Alien_run_1 (конфигурация по умолчанию)

rlu_atari_checkpoints_ordered / Alien_run_2

rlu_atari_checkpoints_ordered / Alien_run_3

rlu_atari_checkpoints_ordered / Alien_run_4

rlu_atari_checkpoints_ordered / Alien_run_5

rlu_atari_checkpoints_ordered / Amidar_run_1

rlu_atari_checkpoints_ordered / Amidar_run_2

rlu_atari_checkpoints_ordered / Amidar_run_3

rlu_atari_checkpoints_ordered / Amidar_run_4

rlu_atari_checkpoints_ordered / Amidar_run_5

rlu_atari_checkpoints_ordered / Assault_run_1

rlu_atari_checkpoints_ordered / Assault_run_2

rlu_atari_checkpoints_ordered / Assault_run_3

rlu_atari_checkpoints_ordered / Assault_run_4

rlu_atari_checkpoints_ordered / Assault_run_5

rlu_atari_checkpoints_ordered / Asterix_run_1

rlu_atari_checkpoints_ordered / Asterix_run_2

rlu_atari_checkpoints_ordered / Asterix_run_3

rlu_atari_checkpoints_ordered / Asterix_run_4

rlu_atari_checkpoints_ordered / Asterix_run_5

rlu_atari_checkpoints_ordered / Atlantis_run_1

rlu_atari_checkpoints_ordered / Atlantis_run_2

rlu_atari_checkpoints_ordered / Atlantis_run_3

rlu_atari_checkpoints_ordered / Atlantis_run_4

rlu_atari_checkpoints_ordered / Atlantis_run_5

rlu_atari_checkpoints_ordered / BankHeist_run_1

rlu_atari_checkpoints_ordered / BankHeist_run_2

rlu_atari_checkpoints_ordered / BankHeist_run_3

rlu_atari_checkpoints_ordered / BankHeist_run_4

rlu_atari_checkpoints_ordered / BankHeist_run_5

rlu_atari_checkpoints_ordered / BattleZone_run_1

rlu_atari_checkpoints_ordered / BattleZone_run_2

rlu_atari_checkpoints_ordered / BattleZone_run_3

rlu_atari_checkpoints_ordered / BattleZone_run_4

rlu_atari_checkpoints_ordered / BattleZone_run_5

rlu_atari_checkpoints_ordered / BeamRider_run_1

rlu_atari_checkpoints_ordered / BeamRider_run_2

rlu_atari_checkpoints_ordered / BeamRider_run_3

rlu_atari_checkpoints_ordered / BeamRider_run_4

rlu_atari_checkpoints_ordered / BeamRider_run_5

rlu_atari_checkpoints_ordered / Boxing_run_1

rlu_atari_checkpoints_ordered / Boxing_run_2

rlu_atari_checkpoints_ordered / Boxing_run_3

rlu_atari_checkpoints_ordered / Boxing_run_4

rlu_atari_checkpoints_ordered / Boxing_run_5

rlu_atari_checkpoints_ordered / Breakout_run_1

rlu_atari_checkpoints_ordered / Breakout_run_2

rlu_atari_checkpoints_ordered / Breakout_run_3

rlu_atari_checkpoints_ordered / Breakout_run_4

rlu_atari_checkpoints_ordered / Breakout_run_5

rlu_atari_checkpoints_ordered / Carnival_run_1

rlu_atari_checkpoints_ordered / Carnival_run_2

rlu_atari_checkpoints_ordered / Carnival_run_3

rlu_atari_checkpoints_ordered / Carnival_run_4

rlu_atari_checkpoints_ordered / Carnival_run_5

rlu_atari_checkpoints_ordered / Centipede_run_1

rlu_atari_checkpoints_ordered / Centipede_run_2

rlu_atari_checkpoints_ordered / Centipede_run_3

rlu_atari_checkpoints_ordered / Centipede_run_4

rlu_atari_checkpoints_ordered / Centipede_run_5

rlu_atari_checkpoints_ordered / ChopperCommand_run_1

rlu_atari_checkpoints_ordered / ChopperCommand_run_2

rlu_atari_checkpoints_ordered / ChopperCommand_run_3

rlu_atari_checkpoints_ordered / ChopperCommand_run_4

rlu_atari_checkpoints_ordered / ChopperCommand_run_5

rlu_atari_checkpoints_ordered / CrazyClimber_run_1

rlu_atari_checkpoints_ordered / CrazyClimber_run_2

rlu_atari_checkpoints_ordered / CrazyClimber_run_3

rlu_atari_checkpoints_ordered / CrazyClimber_run_4

rlu_atari_checkpoints_ordered / CrazyClimber_run_5

rlu_atari_checkpoints_ordered / DemonAttack_run_1

rlu_atari_checkpoints_ordered / DemonAttack_run_2

rlu_atari_checkpoints_ordered / DemonAttack_run_3

rlu_atari_checkpoints_ordered / DemonAttack_run_4

rlu_atari_checkpoints_ordered / DemonAttack_run_5

rlu_atari_checkpoints_ordered / DoubleDunk_run_1

rlu_atari_checkpoints_ordered / DoubleDunk_run_2

rlu_atari_checkpoints_ordered / DoubleDunk_run_3

rlu_atari_checkpoints_ordered / DoubleDunk_run_4

rlu_atari_checkpoints_ordered / DoubleDunk_run_5

rlu_atari_checkpoints_ordered / Enduro_run_1

rlu_atari_checkpoints_ordered / Enduro_run_2

rlu_atari_checkpoints_ordered / Enduro_run_3

rlu_atari_checkpoints_ordered / Enduro_run_4

rlu_atari_checkpoints_ordered / Enduro_run_5

rlu_atari_checkpoints_ordered / FishingDerby_run_1

rlu_atari_checkpoints_ordered / FishingDerby_run_2

rlu_atari_checkpoints_ordered / FishingDerby_run_3

rlu_atari_checkpoints_ordered / FishingDerby_run_4

rlu_atari_checkpoints_ordered / FishingDerby_run_5

rlu_atari_checkpoints_ordered / Freeway_run_1

rlu_atari_checkpoints_ordered / Freeway_run_2

rlu_atari_checkpoints_ordered / Freeway_run_3

rlu_atari_checkpoints_ordered / Freeway_run_4

rlu_atari_checkpoints_ordered / Freeway_run_5

rlu_atari_checkpoints_ordered / Frostbite_run_1

rlu_atari_checkpoints_ordered / Frostbite_run_2

rlu_atari_checkpoints_ordered / Frostbite_run_3

rlu_atari_checkpoints_ordered / Frostbite_run_4

rlu_atari_checkpoints_ordered / Frostbite_run_5

rlu_atari_checkpoints_ordered / Gopher_run_1

rlu_atari_checkpoints_ordered / Gopher_run_2

rlu_atari_checkpoints_ordered / Gopher_run_3

rlu_atari_checkpoints_ordered / Gopher_run_4

rlu_atari_checkpoints_ordered / Gopher_run_5

rlu_atari_checkpoints_ordered / Gravitar_run_1

rlu_atari_checkpoints_ordered / Gravitar_run_2

rlu_atari_checkpoints_ordered / Gravitar_run_3

rlu_atari_checkpoints_ordered / Gravitar_run_4

rlu_atari_checkpoints_ordered / Gravitar_run_5

rlu_atari_checkpoints_ordered / Hero_run_1

rlu_atari_checkpoints_ordered / Hero_run_2

rlu_atari_checkpoints_ordered / Hero_run_3

rlu_atari_checkpoints_ordered / Hero_run_4

rlu_atari_checkpoints_ordered / Hero_run_5

rlu_atari_checkpoints_ordered / IceHockey_run_1

rlu_atari_checkpoints_ordered / IceHockey_run_2

rlu_atari_checkpoints_ordered / IceHockey_run_3

rlu_atari_checkpoints_ordered / IceHockey_run_4

rlu_atari_checkpoints_ordered / IceHockey_run_5

rlu_atari_checkpoints_ordered / Jamesbond_run_1

rlu_atari_checkpoints_ordered / Jamesbond_run_2

rlu_atari_checkpoints_ordered / Jamesbond_run_3

rlu_atari_checkpoints_ordered / Jamesbond_run_4

rlu_atari_checkpoints_ordered / Jamesbond_run_5

rlu_atari_checkpoints_ordered / Kangaroo_run_1

rlu_atari_checkpoints_ordered / Kangaroo_run_2

rlu_atari_checkpoints_ordered / Kangaroo_run_3

rlu_atari_checkpoints_ordered / Kangaroo_run_4

rlu_atari_checkpoints_ordered / Kangaroo_run_5

rlu_atari_checkpoints_ordered / Krull_run_1

rlu_atari_checkpoints_ordered / Krull_run_2

rlu_atari_checkpoints_ordered / Krull_run_3

rlu_atari_checkpoints_ordered / Krull_run_4

rlu_atari_checkpoints_ordered / Krull_run_5

rlu_atari_checkpoints_ordered / KungFuMaster_run_1

rlu_atari_checkpoints_ordered / KungFuMaster_run_2

rlu_atari_checkpoints_ordered / KungFuMaster_run_3

rlu_atari_checkpoints_ordered / KungFuMaster_run_4

rlu_atari_checkpoints_ordered / KungFuMaster_run_5

rlu_atari_checkpoints_ordered / MsPacman_run_1

rlu_atari_checkpoints_ordered / MsPacman_run_2

rlu_atari_checkpoints_ordered / MsPacman_run_3

rlu_atari_checkpoints_ordered / MsPacman_run_4

rlu_atari_checkpoints_ordered / MsPacman_run_5

rlu_atari_checkpoints_ordered / NameThisGame_run_1

rlu_atari_checkpoints_ordered / NameThisGame_run_2

rlu_atari_checkpoints_ordered / NameThisGame_run_3

rlu_atari_checkpoints_ordered / NameThisGame_run_4

rlu_atari_checkpoints_ordered / NameThisGame_run_5

rlu_atari_checkpoints_ordered / Phoenix_run_1

rlu_atari_checkpoints_ordered / Phoenix_run_2

rlu_atari_checkpoints_ordered / Phoenix_run_3

rlu_atari_checkpoints_ordered / Phoenix_run_4

rlu_atari_checkpoints_ordered / Phoenix_run_5

rlu_atari_checkpoints_ordered / Pong_run_1

rlu_atari_checkpoints_ordered / Pong_run_2

rlu_atari_checkpoints_ordered / Pong_run_3

rlu_atari_checkpoints_ordered / Pong_run_4

rlu_atari_checkpoints_ordered / Pong_run_5

rlu_atari_checkpoints_ordered / Pooyan_run_1

rlu_atari_checkpoints_ordered / Pooyan_run_2

rlu_atari_checkpoints_ordered / Pooyan_run_3

rlu_atari_checkpoints_ordered / Pooyan_run_4

rlu_atari_checkpoints_ordered / Pooyan_run_5

rlu_atari_checkpoints_ordered / Qbert_run_1

rlu_atari_checkpoints_ordered / Qbert_run_2

rlu_atari_checkpoints_ordered / Qbert_run_3

rlu_atari_checkpoints_ordered / Qbert_run_4

rlu_atari_checkpoints_ordered / Qbert_run_5

rlu_atari_checkpoints_ordered / Riverraid_run_1

rlu_atari_checkpoints_ordered / Riverraid_run_2

rlu_atari_checkpoints_ordered / Riverraid_run_3

rlu_atari_checkpoints_ordered / Riverraid_run_4

rlu_atari_checkpoints_ordered / Riverraid_run_5

rlu_atari_checkpoints_ordered / RoadRunner_run_1

rlu_atari_checkpoints_ordered / RoadRunner_run_2

rlu_atari_checkpoints_ordered / RoadRunner_run_3

rlu_atari_checkpoints_ordered / RoadRunner_run_4

rlu_atari_checkpoints_ordered / RoadRunner_run_5

rlu_atari_checkpoints_ordered / Robotank_run_1

rlu_atari_checkpoints_ordered / Robotank_run_2

rlu_atari_checkpoints_ordered / Robotank_run_3

rlu_atari_checkpoints_ordered / Robotank_run_4

rlu_atari_checkpoints_ordered / Robotank_run_5

rlu_atari_checkpoints_ordered / Seaquest_run_1

rlu_atari_checkpoints_ordered / Seaquest_run_2

rlu_atari_checkpoints_ordered / Seaquest_run_3

rlu_atari_checkpoints_ordered / Seaquest_run_4

rlu_atari_checkpoints_ordered / Seaquest_run_5

rlu_atari_checkpoints_ordered / SpaceInvaders_run_1

rlu_atari_checkpoints_ordered / SpaceInvaders_run_2

rlu_atari_checkpoints_ordered / SpaceInvaders_run_3

rlu_atari_checkpoints_ordered / SpaceInvaders_run_4

rlu_atari_checkpoints_ordered / SpaceInvaders_run_5

rlu_atari_checkpoints_ordered / StarGunner_run_1

rlu_atari_checkpoints_ordered / StarGunner_run_2

rlu_atari_checkpoints_ordered / StarGunner_run_3

rlu_atari_checkpoints_ordered / StarGunner_run_4

rlu_atari_checkpoints_ordered / StarGunner_run_5

rlu_atari_checkpoints_ordered / TimePilot_run_1

rlu_atari_checkpoints_ordered / TimePilot_run_2

rlu_atari_checkpoints_ordered / TimePilot_run_3

rlu_atari_checkpoints_ordered / TimePilot_run_4

rlu_atari_checkpoints_ordered / TimePilot_run_5

rlu_atari_checkpoints_ordered / UpNDown_run_1

rlu_atari_checkpoints_ordered / UpNDown_run_2

rlu_atari_checkpoints_ordered / UpNDown_run_3

rlu_atari_checkpoints_ordered / UpNDown_run_4

rlu_atari_checkpoints_ordered / UpNDown_run_5

rlu_atari_checkpoints_ordered / VideoPinball_run_1

rlu_atari_checkpoints_ordered / VideoPinball_run_2

rlu_atari_checkpoints_ordered / VideoPinball_run_3

rlu_atari_checkpoints_ordered / VideoPinball_run_4

rlu_atari_checkpoints_ordered / VideoPinball_run_5

rlu_atari_checkpoints_ordered / WizardOfWor_run_1

rlu_atari_checkpoints_ordered / WizardOfWor_run_2

rlu_atari_checkpoints_ordered / WizardOfWor_run_3

rlu_atari_checkpoints_ordered / WizardOfWor_run_4

rlu_atari_checkpoints_ordered / WizardOfWor_run_5

rlu_atari_checkpoints_ordered / YarsRevenge_run_1

rlu_atari_checkpoints_ordered / YarsRevenge_run_2

rlu_atari_checkpoints_ordered / YarsRevenge_run_3

rlu_atari_checkpoints_ordered / YarsRevenge_run_4

rlu_atari_checkpoints_ordered / YarsRevenge_run_5

rlu_atari_checkpoints_ordered / Zaxxon_run_1

rlu_atari_checkpoints_ordered / Zaxxon_run_2

rlu_atari_checkpoints_ordered / Zaxxon_run_3

rlu_atari_checkpoints_ordered / Zaxxon_run_4

rlu_atari_checkpoints_ordered / Zaxxon_run_5