Gym包的安装与使用（新旧版本问题，Atari游戏支持问题）

目录

参考网页

Gym Documentation

Gym: A toolkit for developing and comparing reinforcement learning algorithms

https://github.com/openai/gym

Gym安装Atari环境（Windows，Linux适用）_李子树_的博客-CSDN博客

重要概念

gym

Atari

ALE

安装

pip install gym

pip install gym[atari]

pip install gym[all]

Hello world

import gym

env = gym.make('CartPole-v0')
env.reset()
for _ in range(1000):
    env.render()
    env.step(env.action_space.sample())  # take a random action
env.close()

环境

gym.make(id)中id的命名方式是*[username/](env-name)-v(version)*

from gym import envs
for env in envs.registry.all():
    print(env.id)

输出结果

并不是所有的输出拿来都能用（主要是Atari相关的环境，有名字但是没有包的）

As of Gym v0.20 and onwards all Atari environments are provided via ale-py. We do recommend using the new v5 environments in the ALE namespace:

import gym

env = gym.make('ALE/Breakout-v5')

gym的历史版本

从0.20开始，gym转而用ale-py了，这里测试019版本时期gym的效果

pip install gym==0.19.0
pip install atari_py==0.2.6

0.19版本的gym和最新版的区别不是很大

安装0.2.6版本的atari，相关目录下会有需要的ROM。

但是测试时会报错

Could not find module ‘D:\02 Python Envs\old_gym_test\lib\site-packages\atari_py\ale_interface\ale_c.dll’ (or one of its dependencies). Try using the full path with constructor syntax.

网络上查看主要有三种解决思路：

Could not find module \atari_py\ale_interface\ale_c.dll (or one of its dependencies)

总结

总的来看，老版gym+atari-py的组合和新版gym+ale-py的区别主要在

1. 新版组合想要用Atari的Rom时，需要自己下载

2. 使用新版的gym时，调用atari游戏时不管是不是v5版本的，都要依照ale-py给出的渲染模式，即在程序创建环境时制定render_mode，后续程序中不再使用render函数

   # 新版
   import gym
   
   env = gym.make('Breakout-v0', render_mode='human')
   env.reset()
   for _ in range(10000):
       result = env.step(env.action_space.sample())  # take a random action
   env.close()
   

   # 老版
   import gym
   
   env = gym.make('Breakout-v0')
   env.reset()
   for _ in range(10000):
       env.render()
       result = env.step(env.action_space.sample())  # take a random action
   env.close()
   

扩展知识：ALE相关

说明文档

Arcade-Learning-Environment/docs at master · mgbellemare/Arcade-Learning-Environment

只能说非常不好找！这个包并没有一个很完善的官方网站。

单靠ALE开发强化学习代码

从上面的说明文档中找到的一段示例代码，说明ale-py本身该怎么用

import sys
from random import randrange
from ale_py import ALEInterface

def main(rom_file):
    ale = ALEInterface()
    ale.setInt('random_seed', 123)
    ale.loadROM(rom_file)

    # Get the list of legal actions
    legal_actions = ale.getLegalActionSet()
    num_actions = len(legal_actions)

    total_reward = 0
    while not ale.game_over():
      a = legal_actions[randrange(num_actions)]
      reward = ale.act(a)
      total_reward += reward

    print(f'Episode ended with score: {total_reward}')

if __name__ == '__main__':
    if len(sys.argv) < 2:
      print(f"Usage: {sys.argv[0]} rom_file")
      sys.exit()

    rom_file = sys.argv[1]
    main(rom_file)

与gym结合使用

import gym
import ale_py

env = gym.make('ALE/Breakout-v5')

import gym

env = gym.make('Breakout-v0', render_mode='rgb_array')
env.reset()
_, _, _, metadata = env.step(0)
assert 'rgb_array' in metadata

import gym

env = gym.make('ALE/Breakout-v5',
    obs_type='rgb',                   # ram | rgb | grayscale
    frameskip=5,                     # frame skip
    mode=0,                           # game mode, see Machado et al. 2018
    difficulty=0,                     # game difficulty, see Machado et al. 2018
    repeat_action_probability=0.25,   # Sticky action probability
    full_action_space=True,           # Use all actions
    render_mode=None                  # None | human | rgb_array
)

安装ROM

ale-py支持的游戏在上面的说明文档有列出。

安装ale-py自带的有一个游戏叫Tetris（俄罗斯方块）。使用如下代码，结合pygame，可以绘出图像。

import gym

env = gym.make('ALE/Tetris-v5', render_mode='human')
env.reset()
for _ in range(1000):
    result = env.step(env.action_space.sample())  # take a random action
env.close()

安装更多的ROMs有以下方法

录制视频

Arcade-Learning-Environment/visualization.md at master · mgbellemare/Arcade-Learning-Environment

来源：Fuxilab