1、语言模型

语言模型（language model）是自然语言处理的重要技术。

自然语言处理中最常见的数据是文本数据。

我们可以把一段自然语言文本看作一段离散的时间序列。

假设一段长度为\(T\)的文本中的词依次为\(w_1, w_2, \ldots, w_T\)，那么在离散的时间序列中，\(w_t\)（\(1 \leq t \leq T\)）可看作在时间步（time step）\(t\)的输出或标签。

给定一个长度为\(T\)的词的序列\(w_1, w_2, \ldots, w_T\)，语言模型将计算该序列的概率：

\[P(w_1, w_2, \ldots, w_T). \]

语言模型可用于提升语音识别和机器翻译的性能。

标签：mathbb,boldsymbol,mid,times,神经网络,循环,深度,隐藏
来源： https://www.cnblogs.com/caolanying/p/16648655.html