首页 > TAG信息列表 > logp

变分自编码器（VAE）的理解与实现

导读 变分自编码器（VAE）是一种生成式模型，虽然名字上叫做自编码器，但却和普通的自编码器有着本质上的区别。图a所示为一个普通自编码器的示意图，其功能是将输入数据压缩到一个低维的空间中，这个低维的向量代表了输入数据的“精华”，如何保证低维的向量能够表示输入向量呢？自编码器在将低维

机器学习一

机器学习（一） 全程跟着白板推到走的，算是一个复习的记录，总共分为三部分 （一）频率派和贝叶斯派 （二）高斯分布 （三）高斯分布的情况例子 频率派和贝叶斯派 频率派认为 θ \theta θ是一个未知的常量，而

【强化学习】策略梯度 Policy Gradient

文章目录 Policy GradientTip : Baseline Policy Gradient 设trajectory为 T r a j e

朴素贝叶斯(二)

简单高效，吊丝逆袭虽然说朴素贝叶斯方法萌蠢萌蠢的，但实践证明在垃圾邮件识别的应用还令人诧异地好。Paul Graham先生自己简单做了一个朴素贝叶斯分类器，“1000封垃圾邮件能够被过滤掉995封，并且没有一个误判”。（Paul Graham《***与画家》） 那个…效果为啥好呢？ “有人对此提出了一个理

code

    func (lr *LinesReader) Next() (reader.Message, error) { // findKey := false //TODO: for { message, err := lr.reader.Next() logp.Debug("lines", "Next() message.Content:%s", message.Content) line

信息、信息熵、联合熵、条件熵、信息增益、信息增益率、基尼系数

信息 I ( X = x i ) =

EM算法

转自：https://snaildove.github.io/2018/10/01/9.EM_and_GEM_LiHang-Statistical-Learning-Methods/ 前言EM（期望最大）算法有很多的应用，最广泛的就是混合高斯模型、聚类、HMM等等，本质上就是一种优化算法，不断迭代，获得优值，与梯度下降、牛顿法、共轭梯度法都起到同一类的作用。 本文是对

NLP笔记-从HMM到CRF

  通过收集大量有标注的语料，估算状态转移概率和发射概率   HMM如何做词性标注      最笨的办法是穷举y来求P(x,y)的最大值，但是计算次数太多，所以通过维特比算法解这个问题    但是HMM有问题，加入y*是最优解，它并不能总是保证p(x,y*)>=p(x,y)，比如在这个图里，如果要算N->?->a，

机器学习入门之无监督学习(五)

引言 本文主要探讨生成模型。在图片分类任务中，我们可以让机器知道猫和狗的不同，但它没有真正了解猫和狗是什么。也许当机器能自己画出一只猫的时候，那它才是真正知道猫是什么了。 关于这个主题有3个主要的方法： PixelRNN Variational Autoencoder(VAE) Generative Adversarial

理解机器学习中的熵

1. 信息量和信息熵 熵是表征系统混乱度/不确定度的物理量，在热力学、信息学中都有其各自的含义，而在机器学习更多沿用了信息熵的概念，即解释随机变量分布所需要的信息量（下文给出数学定义），或者从信息编码的角度来说，用某种方式对随机变量分布进行编码所需要的编码信息长度。 假设

P5431 【模板】乘法逆元2

HyperlinkHyperlinkHyperlink https://www.luogu.org/problem/P5431 DescriptionDescriptionDescription 求∑i=1nkiaimod p\sum_{i=1}^n\dfrac{k^i}{a_i}mod\ p∑i=1n​ai​ki​mod p 数据范围：n≤5×106,k<p≤109,ai≤pn\leq 5\times 10^6,k<p\leq 10^9,a_i\leq pn≤5

朴素贝叶斯笔记

贝叶斯公式 贝叶斯公式就是采用贝叶斯准则来计算条件概率，它告诉我们计算时交换条件概率中的条件与结果： P(Y∣X)=P(X∣Y)P(Y)P(X)P(Y|X)=\frac{P(X|Y)P(Y)}{P(X)}P(Y∣X)=P(X)P(X∣Y)P(Y)​ P(Y∣X)P(Y|X)P(Y∣X) 不能通过直接观测来得到结果，而P(X∣Y)P(X|Y)P(X∣Y) 却容易通

lda

LDA 共轭先验分布 在贝叶斯概率理论中，如果后验概率P(θ|x)和先验概率p(θ)满足同样的分布律，那么，先验分布和后验分布被叫做共轭分布，同时，先验分布叫做似然函数的共轭先验分布 Beta分布是二项式分布的共轭先验分布，而狄利克雷(Dirichlet)分布是多项式分布的共轭分布。 共轭的意

机器学习中的熵、条件熵、相对熵和交叉熵

转载自 https://www.cnblogs.com/kyrieng/p/8694705.html 1、信息熵 (information entropy)   熵 (entropy) 这一词最初来源于热力学。1948年，克劳德·爱尔伍德·香农将热力学中的熵引入信息论，所以也被称为香农熵 (Shannon entropy)，信息熵 (information entropy)。本文只讨论信息