其他分享
首页 > 其他分享> > 强化学习-SARSA(lambda)路径规划

强化学习-SARSA(lambda)路径规划

作者:互联网

1. 问题:612个点 [(x,y,z), 标号1,标号2]

    约束:整体

              水平

              垂直

2. State: {w_ij}

    Action: 校正点坐标

    Reward: { -1 ; 1000/distance(s,a); 10}

3. 

   在状态S基于$\epsilon$贪心策略选择动作A,

   转移到状态S’,给予奖励R

   在下一步暂时不选择动作A‘,而是更新价值表Q

   输入:S,A,迭代轮数T,步长$\alpha$,衰减因子$\gamma$, $\epsilon$

   输出:状态集合和动作集合对应的价值表Q

   E(s,a) = E(s,a) + 1  #当前步在(s,a), 表示离奖励或惩罚更近,增加该步的权重

  for s $\in$ S, a $\in$ A :

   更新:Q(s,a) += $\alpha ( R+ \gamma Q^{\'} (s^{\'}, a^{\'}) - Q(s,a) ) E(s,a) $

              E(s,a) = $\lambda \gamma$ E(s,a) #之后都不走这步

4. 优化:空间余弦:校正点与A构成的向量,与AB构成的向量的空间余弦的正负作为评判飞行器的飞行方向

    转为曲线:输入A, P1, P2; 先求O,再求M

                      输出AP1, P1M弧,MP2

标签:标号,epsilon,路径,余弦,SARSA,alpha,gamma,lambda
来源: https://www.cnblogs.com/Nooni/p/13557682.html