暴露偏差（Exposure Bias）

暴露偏差（Exposure Bias）就是指训练时每个输入都来自于真实样本的标签，测试时输入却是来自上一个时刻的输出。

解决方案：通过概率选择，每次输入时以p的概率选择从真实数据输入，以（1-p）的概率选择从上一时刻输出为输入。类似于bert里面的mask的MLM机制。

标签：偏差,概率,选择,Bias,输入,Exposure
来源： https://blog.csdn.net/weixin_50537904/article/details/121874706