Benchmarking Batch Deep Reinforcement Learning Algorithms

发表时间：2019
文章要点：这篇文章主要是针对batch RL做了一个离散动作空间的benchmark，对比了DQN和一些batch RL算法的性能（DQN，REM，QR-DQN，KL-Control，BCQ）。并且把BCQ从连续动作空间改成适用离散动作空间，取得了SOTA的效果。作者得出的结论是，要想batch RL效果好，就要考虑外推误差（extrapolation error）的问题，否则会造成unstable value estimates，导致效果不好。extrapolation error的意思就是说我在评估action value的时候，可能在fix data上并没有这个值，但是由于TD更新，不小心把这个data里没有的action value更新大了，但是其实这个值实际可能很差，这就造成了误差导致效果更差了（induced from evaluating state-action pairs which are not contained in the provided batch of data. This erroneous extrapolation is propagated through temporal difference update of most off-policy algorithms, causing extreme overestimation and poor performance）。这个其实不做实验也能想到，不过这个结论没毛病。
总结：这篇paper主要就是做了个benchmark，得出的结论也是make sense的。
疑问：文章提了好多个batch RL的算法都没看过，要是以后真要做batch RL的东西，可以从这篇里面找这些算法出来看看：QR-DQN，REM，BCQ，BEAR-QL，KL-Control，SPIBB-DQN。

标签：Batch,Reinforcement,batch,action,Algorithms,value,RL,DQN,BCQ
来源： https://www.cnblogs.com/initial-h/p/15225679.html