其他分享
首页 > 其他分享> > Gae&reward shaping

Gae&reward shaping

作者:互联网

1| reward. shaping

如果对vs有大致的认知,把势能potential-based定义为估计的最优价值函数,能加快价值函数收敛

 

2、gae:广义优势估计

absorb state:terminal state

γ-just条件:尚未理解

GAE(Generalized Advantage Estimation)

  1. GAE的作用

    • GAE的意思是泛化优势估计,因而他是用来优化Advantage Function优势函数的。
    • GAE的存在是用来权衡variance和bias问题的:
      • On-policy直接交互并用每一时刻的回报作为长期回报的估计∑Tt′=tγt′−trt′∑t′=tT​γt′−trt′​ 会产生较大的方差,Variance较大。
      • 而通过基于优势函数的AC方法来进行回报值估计,则会产生方差较小,而Bias较大的问题。
  2. GAE 推导

    满足γγ-just条件。(未完待续)

  3. GAE形式

    GAE的形式为多个价值估计的加权平均数。

​ 为了快速估计序列中所有时刻的估计值,采用倒序计算,从t+1时刻估计t时刻:

 

标签:时刻,函数,just,Advantage,估计,Gae,reward,shaping,GAE
来源: https://www.cnblogs.com/lin-kid/p/11199380.html