首页 > TAG信息列表 > PRML
2022 PRML Stock Prediction
关于RNN（循环神经网络）（简略了解）： https://zhuanlan.zhihu.com/p/105383343 关于LSTM（长短期记忆网络）以及GRU： Q1：LSTM如何实现长短期记忆？（《百面深度学习》p54） 一般的RNN（循环神经网络）中，一般是参数共享的【1】，存在对于短期的数据敏感，但是对于长期数据不敏感的问题。LSTM能解决这个问PRML-公式推导 - 3.49 3.50 3.51
证明 贝叶斯定理\(p(w|t)\propto p(t|w)p(w)\) 代入3.10 ,3.48 \(p(\textbf{t}|\textbf{X},w,\beta) = \prod\limits_{n=1}^N\mathcal{N}(t_n|w^T\phi(x_n),\beta^{-1})\) \(p(w) = \mathcal{N}(w|m_0,S_0)\) 有 \(p(w|t)\propto exp[-\frac{\beta}{2}(t_1-w^T\phiPRML 概率分布
本文地址：https://www.cnblogs.com/faranten/p/15917369.html 转载请注明作者与出处 1 二元变量 1.1 伯努利分布与二项分布 考虑一个最基本的试验：抛硬币试验。在一次实验中只有两个结果，即正面与反面，用随机变量\(x=1\)来表示抛掷硬币得到的是正面，\(x=0\)来表示抛掷硬币得到的是反PRML-1.61 相对熵和互信息
1.相对熵,KL散度 \(真实分布p(x),近似分布q(x)对其建模,则分布p(x),q(x)之间的相对熵/KL散度为\) 注意KL\((p||q)\ne\)KL\((q||p)\),相对熵不是一个对称量 \(KL散度可以看做是两个分布p(x)和q(x)之间不相似程度的度量\) 2.KL散度的近似公式 \(对于p(x),可以用q(x|\theta)来近似这PRML-1.5.5 回归问题的损失函数
1.损失函数 \(我们造成了⼀个损失L(t, y(x))。平均损失（或者说期望损失）就是\) \(\mathbb{E}[L]=\int\int L(t,y(x))p(x,t)dxdt\) \(一般损失函数定义为\)平方损失 \(L(t,y(x))=\{y(x)-t\}^2\) \(损失函数可以写成\) \(\mathbb{E}[L]=\int\int \{y(x)-t\}^2p(x,t)dxdt\) 2.最小化损PRML-公式推导 1.88
https://biggerhao.github.io/blog/2018/02/PRML-1-88/ 原文回顾 在回归问题中，我们需要选择一个估计函数 \(y(\mathbf{x})\)，来对每个输入 \(\mathbf{x}\) 预测其对应的值 \(t\)。这样做就会导致损失 \(L(t, y(\mathbf{x}))\)。平均损失或期望损失的公式为 \[ \mathbb{E}(L) = \intPRML - 1.68公式
老外的一些解释 https://stats.stackexchange.com/questions/305078/how-to-compute-equation-1-68-of-bishops-book I was treating the problem as having four random variables \(x,t,D,w\) where \(D=(X,T)\) then I only obtain this: \(P(t,x,D)=\int P(t,x,D,w)dw\)PRML-1.2.4 高斯分布
1.一元高斯分布 2.多元高斯分布 \(D是维度,\mu是均值向量,D\times D的矩阵\Sigma是协方差矩阵\) \(比如二维的X,Y\) \(\begin{bmatrix} cov[x,x] & cov[x,y] \\ cov[y,x] & cov[y,y] \\ \end{bmatrix},对角线上正好是各自的方差\) \(|\Sigma|是行列式\) 3.一些记号 参数 含义2021-2022 PRML 期末回忆
10选择。10*2分 有一个贝叶斯球判断条件独立性的。5个结点的有向图。有一个减少偏差方法的，不会做（A. 减少特征 B. 增加特征 C. 增加训练集）有一个考神经网络复兴原因的（BP的提出）还有一个选择不是半监督学习三大假设之一的还有个选择哪个是监督学习的？A. PCA B. LDA C. 忘了 8大题【PRML 学习笔记】第二章 - 概率分布 (Probability Distributions)
二、概率分布 (Probability Distributions) 参数方法 (Parametric method)： 预先假设数据服从一个特定的分布 非参数方法 (Nonparametric method)： 数据的分布依赖于数据集的大小，且仅有控制模型复杂度的参数 共轭先验 (Conjugate prior)： 使后验分布具有与先验分布相同的函数形PRML_solutions_Chapter11
Chapter 11. Sampling Methods 目录Chapter 11. Sampling MethodsExercise 11.10 Exercise 11.10 Hint. 用归纳法证明。 当 \(\tau=0\) 时，\(\underset{z^{(0)}}{\mathbb{E}}\left[z^{(0)}\right] =0\)，结论成立。 假设当 \(\tau=k\) 时，\(\underset{z^{(0:k)}}{\mathbb{E}}\leftPRML笔记
参数估计 点估计 极大似然估计： 优化目标：\(p(X|\theta)\) 预测分布：\(p(x|\theta_{\rm MLE})\) 最大后验估计：\(p(\theta|X, \alpha)\propto p(X|\theta)p(\theta|\alpha)\) 优化目标：\(p(X|\theta)p(\theta|\alpha)\) 预测分布：\(p(x|\theta_{\rm MAP})\) 矩估计（数理统计） 区