强化学习投资组合管理Portofolio Management

前言

投资组合管理是将资金不断分配到不同的金融产品，以期获得更大累计收益的过程。
在证券组合投资管理中，深度强化学习主要的作用是利用深度神经网络的特征表示能力对强化学习的状态、动作、价值等函数进行拟合，提升强化学习模型性能，实现资产组合权重再更新。

PGPortofolio论文（2017）

1. 论文摘要

• 同时都用神经网络训练策略函数和奖励函数导致结果不稳定
• 文章测试虚拟货币市场。因为其'去中心化'，小量交易庞大；以及全天开放。实验中交易周期是 30 分钟。
• 文章使用CNN/RNN/LSTM作为策略网络，效果良好
• EIIE的结构不训练单个Asset
• 缺失/异常值会被Agent记忆，因此需要平滑填充
• Sub-sampling scheme：选择Asset（满足购买影响假设）；周期特征抽取（OHLC）；History cut-off（短时间price特征代表State）

2. 论文实现

• Ensemble of Identical Independent Evaluators (EIIE) topology：根据历史数据评估潜在价值。输出重要性权重作为下一次输入。
• Portfolio Vector Memory (PVM)：保存投资组合权重。
• Online Stochastic Batch Learning scheme (OSBL)：训练EIIE。
• 奖励函数：平均阶段的对数回报指标（梯度上升更新）

3. 数学理论

• 第一个asset是报价通货，即现金标准(Cash bias)，其值为1；只在softmax计算权重时作用
• 权重的更新：旧权重与回报比率（收盘/开盘）的加权

4. 强化学习

• State：价格向量 和 上一次的投资权重
• 策略网络：输入price tensor，输出权重portofolio vector w.
• RNN/LSTM使用PVM保存历史做批次训练——>速度慢

Automatic Financial Trading Agent for Low-risk Portfolio Management using Deep Reinforcement Learning （2019）

• DQN网络实现18倍回报，PAMR作为benchmark实现9倍回报

Reinforcement-Learning Based Portfolio Management with Augmented Asset Movement Prediction States (2020, AAAI)

标签：Management,权重,EIIE,Asset,Learning,Portfolio,Portofolio,强化
来源： https://www.cnblogs.com/rayinfos/p/16488918.html