闲聊结构化预测（structured learning）【这是一类问题】
作者：互联网
Structured Learning
我们首先需要明白什么是结构化预测。好，开始：
在机器学习过程中，对数据的拟合其实就是在找一个拟合函数f：
比如对于回归问题（Regression）来说，这个函数输出一个标量（scalar）、
对于分类问题（Classification）来说，这个函数输出一个类别（一个one-hot的向量）
但是有一类的预测，它并不是输出一个标量或者一个类别，而是输出些有结构的输出，比如，一个序列，一个句子，一个图，一颗树...
那么我们将输出这些结构化结果的过程叫做结构化预测（Structured Prediction）
Example
这部分，我们对于Output Sequence和Output Matrix举一些我们常见的例子，昨天听了车万翔老师的talk，对于nlp的基础任务分词，词性标注，parsing，等等内容都可以归结为结构化预测，目前还没有拿到slides，之后拿到了会更新。
Output Sequence
对于机器翻译（Machine Translation），输入是一个语言序列，输出是另一种语言序列：
对于语音识别（Speech Recognition）,输入是一段音频，输出是识别的文字序列：
对于聊天机器人（chat-bot）
输入是user的话序列，输出是机器人回复的response序列：
Output Matrix
对于image to image任务来说：
输入是一个图片，输出是另一个图片（matrix像素点）
Text to image任务
输入是一段文字描述，输出是图片（matrix像素点）
Why Structured Learning Challenging
首先给出李宏毅老师ppt，解释如下：
在分类任务中，每一个类别都有一定的样例Sample，但是在结构化预测中，如果把每一个output当做一个类别来看的话，输出空间就非常大了，因为测试数据的输出很有可能都是训练数据没有见过的，什么意思呢？
如果把每一个sequence当做一个类别的话，完全相同的sequence会比较少，那么造成每一个类别的训练样例很少，而且测试数据输出不一定在训练数据中出现过，比如是对话任务的话，一个问题的回复很可能在训练数据没有出现过，训练数据相同问题的回复可以换了一种表达了。
比如说：
训练数据中，对话是input：哈工大的地址在哪？ output：哈工大位于哈尔滨教化街29号
将这个回复当做一个类别看待的话。
而测试数据的样本是intput：哈工大的地址在哪？output：哈尔滨教化街29号是哈工大的地址。
那么这两个output的意思一样，但是是不同的输出，这样就需要机器自己有一些额外的能力，不然你在训练数据中没有见过测试数据的output，就很难正确生成。这里是解释一下为什么结构化预测问题中output space巨大的问题。
这是结构化预测的一个难点。
参考：李宏毅老师slides
推荐阅读：
11连胜！绝艺横扫中美日韩对手，称霸围棋AI世界大战
我就不信看完这篇你还搞不懂信息熵
通俗易懂讲解感知机（三）--收敛性证明与对偶形式以及python代码讲解 
标签：输出,结构化,一个,structured,哈工大,learning,类别,output,闲聊 来源： https://blog.51cto.com/15009309/2553325