Blog 7 | 数学之美 折服于隐马尔可夫模型
作者:互联网
数学之美读书笔记(未完待续)
一、数学概率统计模型|应用中文分词
已知:一句话S,有多种分词形式 A1 A2 A3 B1 B2 B3 B4 例如: 在北京大学 在 北京 大学 在北京 大学 在 北京大学 提问:如何从这些分词形式中选一种最自然的分词方式? 策略:假设 语料库(Corpus)作为训练样本 计算出“每种分词方式”组合后句子出现的概率,概率越大 说明这种分词方式使用最广泛。 因此套用数学概率计算模型: P(A1,A2,A3)>P(B1,B2,B3,B4) 二、数学概率统计模型|应用语音识别:隐马尔可夫模型基本概念: 隐马尔可夫模型 (Hidden Markov Model,HMM) : 一种统计模型,用来描述一个含有隐含未知参数的马尔可夫过程。
通过观察到的参数(马尔可夫链)推测隐含过程的参数(状态转移序列),同时隐含参数之间也有关系(转换概率)。
马尔可夫假设:
一个状态的转移只依赖于之前的n个状态,当n取1时就是马尔可夫假设。
独立性假设:假设任意时刻的观测只依赖于该时刻的马尔可夫链的状态,与其它观测状态无关。
例如1:
通过不同面数骰子摇出来的一系列数字,推测到底用了哪些骰子。
前提(输出概率):已知每个骰子和每个数字的概率。
例如2:
通过某天活动的类型,推测当天的天气。
前提(输出概率):已知 在每个天气下每个活动发生的概率。
语音识别:
通过语音o1,o2,o3 推测语音想表达的文字意思s1,s2,s3(并不只是单纯的文字翻译,更是识别用户对计算机的发出的指令)。
在已知 o1,o2,o3,...的情况下,求使得条件概率P (s1,s2,s3,...|o1,o2,o3....) = P (o1,o2,o3,...|s1,s2,s3....) * P(s1,s2,s3,...) 达到最大值的那个句子。 P(o1,o2,o3,...|s1,s2,s3....) 表示某句话 s1,s2,s3...被读成 o1,o2,o3,...的可能性, 而根据独立性假设,即 P(o1,o2,o3,...|s1,s2,s3....) =P(o1|s1) * P(o2|s2)* P(o3|s3)...
备注:以上只是近期短时间内学习的短小总结,路漫漫其修远兮,还有关于前向后向以及具体矩阵、函数等等的运用还需要再理解。关于这次模型的学习,可以总结,数学知识的高度决定了思维的高度。此次学习我总结了对于难懂晦涩的知识的学习步骤:先看网上优秀总结的博客,他们运用简单(骰子、天气活动)等例子解释知识,方便入门;接着是看优秀论文,高难度的算法思维需要慢慢啃。
留下的疑问:为什么语音识别要转化为P(o1...|s1...)?即在语音识别中,P(o1...|s1...)或P (s1,s2,s3,...|o1,o2,o3....)如何计算的?
此次学习参考:
http://www.52nlp.cn/hmm-learn-best-practices-four-hidden-markov-models
https://www.cnblogs.com/bigmonkey/p/7230668.html (重点推荐入门点击!!!)
https://wiki.mbalib.com/wiki/%E9%9A%90%E9%A9%AC%E5%B0%94%E6%9F%AF%E5%A4%AB
https://www.cnblogs.com/skyme/p/4651331.html
关于代码规范:
《高质量C++/C编程指南》作者: 林锐
展望:本学期想利用自己学到的知识做一个应用数学模型的“预判”小程序。
标签:...,s3,s1,之美,Blog,马尔可夫,o3,o2,o1 来源: https://www.cnblogs.com/gzq18/p/11488436.html