crf

条件随机场(Conditional Random Fields, 以下简称CRF)是给定一组输入序列条件下另一组输出序列的条件概率分布模型

什么样的问题需要CRF模型

　为了让我们的分类器表现的更好，可以在标记数据的时候，可以考虑相邻数据的标记信息。序列化标注任务。

从随机场到条件随机场

1. 随机场：随机场是由若干个位置组成的整体，当给每一个位置中按照某种分布随机赋予一个值之后，其全体就叫做随机场。
2. 马尔科夫随机场：马尔科夫随机场是随机场的特例，它假设随机场中某一个位置的赋值仅仅与和它相邻的位置的赋值有关，和与其不相邻的位置的赋值无关。
3. 条件随机场：CRF是马尔科夫随机场的特例，它假设马尔科夫随机场中只有X和Y两种变量，X一般是给定的，而Y一般是在给定X的条件下我们的输出

数学定义

设X=(X1,X2,...Xn),Y=(Y1,Y2,...Yn)均为线性链表示的随机变量序列，在给定随机变量序列X的情况下，随机变量Y的条件概率分布P(Y|X)构成条件随机场，即满足马尔科夫性：

P(Yi|X,Y1,Y2,...Yn)=P(Yi|X,Yi−1,Yi+1)

则称P(Y|X)为线性链条件随机场。　

参考

• 原文链接
• 简明条件随机场CRF介绍

crf 主要用于序列标注问题，可以简单理解为给序列中的每一帧都进行分类。

这类问题的另一个解法：逐帧softmax

特点：并没有直接考虑输出的上下文关联。

crf 在输出端显示的考虑了上下文关联

假设一个输入有n帧，每一帧的标签有k种可能性。
softmax将序列标注看成是n个k分类问题。crf将序列标注看成是1个$k^n$分类问题。

目标
要计算的是条件概率

\[P(y_1,...,y_n|x_1,...,x_n) = P(y_1,...,y_n|X) X = (x_1,...,x_n) \]

crf两个假设

1. 指数分布族假设

2. 输出之前的关联仅发生在相邻位置，并且关联是指数加性的.

\[f(y_1,...,y_n;X) = h(y_1;X)+g(y_1,y_2;X)+h(y_2;X)+...+g(y_{n-1},y_n;X)+h(y_n;X) - (3) \]

考虑到模型可以捕捉各个y域输入x的联系，因此，不忘考虑函数g和x无关。则

\[f(y_1,...,y_n;X) = h(y_1;X)+g(y_1,y_2)+h(y_2;X)+...+g(y_{n-1},y_n)+h(y_n;X) - (4) \]

标签：...,马尔科夫,crf,机场,条件,序列
来源： https://www.cnblogs.com/xchenblogs/p/15697375.html