首页 > TAG信息列表 > markov

强化学习笔记（周博磊）

  # Lecture 1：概括与基础 和 supervised learning 的区别： * 强化学习是Sequential data作为input，每次输入并不是独立同分布 * 没有ground truth, learner不会被告知什么action是正确的。需要不断去尝试 * Trail-and-error exploration（balance between explioration and exploita

信息论-信息不等式、数据处理不等式、信息图、Fano不等式

1.相关概念及关系： (1)         (2)相对熵 D（ p | | q ）:在p的概率分布下q比p多的信息量（个人理解）   （3）条件互信息量 I( X ; Y|Z ) : I( X ; Y|Z ) = H( X|Z )-H( X|Y,Z ).     理解：Y｜Z是Y比Z多的信息量   (4) 垂直符号：独立   2.链式法则：   3.Markov Chain(三元) Markov

『PLUS模型教程2』数据前期准备和土地利用数量预测

请关注微信公众号：生态遥感笔记，获取更多干货！ 1 数据准备 想要模拟未来土地利用数据，需要一些数据，主要包括：2期土地利用数据（3期也行），众多你挑选的驱动因素数据。这些数据都有一定的要求： (1) 所有数据必须是tif格式数据，且必须投影坐标系一致； (2) 土地利用数据必须行列号一致！！（但我自己做

马尔科夫决策过程

文章目录 1、马尔科夫过程（Markov Process）1）随机过程（Stochastic Process）2）马尔科夫性质（Markov Property）3）马尔科夫过程（Markov Process）或被称为马尔科夫链（Markov Chain） 2、马尔科夫奖励过程（Markov Reward Process）1）回报（Return）2）价值函数（Value Function） 3、马尔科夫决策过程（Markov

HMM 隐马尔科夫模型

Hidden Markov Model (HMM) 隐马尔可夫模型 离散马尔可夫过程：一个系统，其在任意时刻会处于且只能处于N个状态中的一个。记状态集为$S=\{S_1, S_2, ..., S_N\}$，系统在时刻t时的状态为$q_t$，意味着$q_t=S_i\in S, 1\leqslant i \leqslant N$。这里的时刻的内涵在于其是某种序列上的一

隐马尔可夫模型 (hidden Markov model, HMM)

本文为《统计学习方法》的读书笔记 目录 隐马尔可夫模型的基本概念隐马尔可夫模型的定义观测序列的生成过程隐马尔可夫模型的 3 个基本问题 概率计算算法直接计算法前向算法 (forward algorithm)后向算法 (backward algorithm)一些概率与期望值的计算 学习算法监督学习方法

马尔可夫模型 Markov Model

1.一次性弄懂马尔可夫模型、隐马尔可夫模型、马尔可夫网络和条件随机场！_ITPUB博客文章目录1. 马尔可夫网络、马尔可夫模型、马尔可夫过程、贝叶斯网络的区别2. 马尔可夫模型2.1 马尔可夫过程3. 隐马尔可夫模型(HMM)3.1 隐马尔可夫三大问题3.1.1 第一个问题解法3.1.2 第二个问题

Markov matrix

markov matrix two special properties of A(markov matrix) Every entry of A is positive: a i j

2014A Study of Probabilistic Password Models论文讲解

这篇是对于论文的总结和个人的一些观点，关于代码部分请看下一篇： 有什么问题和疑惑欢迎讨论，一起研究口令破解的技术。 文章主要讲了两个技术，基于模板的破解（PCFG这个在上篇中有讲）和基于字符串的破解（就是本篇重点markov）。 使用的口令集有6个，3个来自美国，3个来自中国，总共6kw。 mark

stata马尔可夫Markov区制转移模型分析基金利率

原文链接：http://tecdat.cn/?p=19611   过程会随着时间的推移而发展，结果会发生变化。 考虑一下经济衰退和扩张。在衰退开始时，产出和就业率下降并保持较低水平，然后，产出和就业率增加。从统计上讲，均值，方差和其他参数在各个状态之间都在变化。我们的问题是估计方案何时更改以及与每个

R语言连续时间马尔可夫链模拟案例 Markov Chains

原文链接：http://tecdat.cn/?p=4182   案例 一个加油站有一个加油桩，没有空间供车辆等待（如果车辆到达，加油桩被占用，它就会离开）。车辆到达加油站的速率服从泊松过程λ=3/20每分钟，其中75％是汽车，25％是摩托车。加油时间可以用一个指数随机变量建模，平均汽车8分钟，摩托车3分钟，服务速率为汽车

自然语言处理(NLP)-2.2 词性标注与隐式马尔科夫模型(Part of Speech Tagging and Hidden Markov Models)

1.词性标注(Part of Speech Tagging，POS) 1.1 基本概念     定义：标注出句子中各单词的词性，如名词、动词、形容词等             例子：         1.2 相关应用     应用：         命名实体识别         指代消歧         语音识别 2.马尔可

机器学习 - 隐马尔科夫模型(Hidden Markov Model)

1. 马尔可夫模型 下面介绍几个马尔可夫模型中的重要概念： 1.1 一阶马尔可夫假设 (first order Markov assumption) n时刻的观测值只依赖于n-1时刻的观测值，即： p (

马尔科夫决策过程之Markov Reward Process（马尔科夫奖励过程）

上文介绍了马尔科夫决策过程之Markov Processes（马尔科夫过程），可以移步到下面：马尔科夫决策过程之Markov Processes（马尔科夫过程） 本文我们总结一下马尔科夫决策过程之Markov Reward Process（马尔科夫奖励过程），value function等知识点。 1Markov Reward Process 马尔科夫奖励过程在马尔

基于层次过滤的文本生成

　　基于层次过滤的文本生成 　　引言 　　目前文本生成最常用的算法基于 fully autoregressive 模型，比如 RNN 和 transformer。在 fully autoregressive 模型中，生成下一个词的概率取决于之前所有的词。 　　给定一个 fully autoregressive 模型，文本生成通常使用 beam search 从左

六个概率图模型

1.朴素贝叶斯模型（Naive Bayes，NB） 2.最大熵模型（Maximum Entropy Model，MaxEnt 或 MEM） （1）证明Logistic（Softmax）=MaxEnt   （2）多项式分布&指数族分布 ①多项分布：   ②指数族分布有：高斯/正态分布(Gaussian)、泊松分布（Poisson）、二项分布(Bernoulli)、指数分布(exponential)、Gamma分布、多

Hidden Markov Model (HMM) 详细推导及思路分析

往期文章链接目录 Before reading this post, make sure you are familiar with the EM Algorithm and decent among of knowledge of convex optimization. If not, please check out my previous post EM Algorithm convex optimization primal and dual problem Le

R语言马尔可夫体制转换模型Markov regime switching

原文链接：http://tecdat.cn/?p=12280   总览 本文简要介绍了一种简单的状态切换模型，该模型构成了隐马尔可夫模型（HMM）的特例。这些模型适应时间序列数据中的非平稳性。从应用的角度来看，这些模型在评估经济/市场状态时非常有用。这里的讨论主要围绕使用这些模型的科学性。 基本案例

R语言中的马尔科夫机制转换(Markov regime switching)模型

原文链接：http://tecdat.cn/?p=12187   金融分析师通常关心检测市场何时“发生变化”：几个月或至几年内市场的典型行为可以立即转变为非常不同的行为。投资者希望及时发现这些变化，以便可以相应地调整其策略，但是这样做可能很困难。 RHmm从CRAN不再可用，因此我想使用其他软件包复制功

马尔科夫链 Markov Chains

  Good resource, Markov Chains Explained Visually,  http://setosa.io/ev/markov-chains/       ============================ 马尔可夫链（Markov chain），又称离散时间马尔可夫链（discrete-time Markov chain），因俄国数学家安德烈·马尔可夫（俄语：Андрей Андрееви

隐马尔科夫模型 HMM(Hidden Markov Model)

本科阶段学了三四遍的HMM，机器学习课，自然语言处理课，中文信息处理课；如今学研究生的自然语言处理，又碰见了这个老熟人； 虽多次碰到，但总觉得一知半解，对其了解不够全面，借着这次的机会，我想要直接搞定这个大名鼎鼎的模型，也省着之后遇到再费心。     Outline 模型引入与背景介绍 从概

R语言如何做马尔科夫转换模型markov switching model

 原文链接：http://tecdat.cn/?p=6962   假设 有时间序列数据，如下所示。经验表明，目标变量y似乎与解释变量x有关。然而，乍一看，y的水平在中间移动，所以它似乎并不总是有固定的关系（背后有多个状态）。   ​ 上面的样本数据创建如下。数据根据时间改变x和y之间的关系。   x <- rpois(50

Thinking about the Beauty of Math and things I wanna do

I didn't know much about the book til I read it. Originally I thought the book was purely full of equations, formula and things about maths, but it's a surprise that the book contains lots of content about NLP. No wonder my teacher in NLP Lab re