1、Low-Precision Arithmetic for Fast Gaussian Processes

Wesley J. Maddox, Andres Potapczynski, Andrew Gordon Wilson

https://arxiv.org/abs/2207.06856

低精度算法对神经网络的训练产生了变革性的影响，降低了对计算量、内存和算力的需求。但是高斯过程（GPS）中却很少使用低精度的算法，这是因为GPS的复杂线性代数在低精确度中是不稳定的。论文研究了在半精度训练GPs时可能发生的不同的失效模式。为了避免这些失效模式，提出了一种多层面的方法，包括共轭梯度与重新正交化、混合精度和预处理。论文提出的这些方法在大范围设置的低精度下显著提高了共轭梯度的数值稳定性和实际性能，使GPs能够在10小时内在单个GPU上训练180万个数据点，而无需任何稀疏逼近。

2、Markovian Gaussian Process Variational Autoencoders

Harrison Zhu, Carles Balsells Rodas, Yingzhen Li

https://arxiv.org/abs/2207.05543

深度生成模型广泛用于高维时间序列的建模，如视频动画、音频和气候数据等。序列变分自编码器已被成功地应用于许多应用中，许多变体模型依赖于离散时间方法和递归神经网络(RNNs)。连续时间方法最近获得了新的进展，在不规则采样时间序列的情况下，它们可以比离散时间方法更好地处理数据。这里其中一类是高斯过程变分自编码器(GPVAEs)，VAE先验设置为高斯过程(GPs)，允许通过核函数和潜在空间的可解释性对归纳偏差进行显式编码。但是GPVAEs的一个主要限制是它继承了与GPs相同的三次计算开销。在这篇论文中，利用马尔可夫GPs的等效离散状态空间表示，通过卡尔曼滤波和平滑实现线性时间GP求解器。通过测试任务显示，论文的方法表现良好，特别是优于基于rnn的模型。

完整文章：

https://avoid.overfit.cn/post/e934433f40c5442b96a0106aa2d0774c

标签：高斯,人工智能,论文,https,新进展,方法,精度,GPs
来源： https://www.cnblogs.com/deephub/p/16489353.html