原标题：自然语言处理（NLP）在企业应用中的实践（二）

来源：CSDN博客       链接：https://blog.csdn.net/qq_35414313/article/details/51812107

循环神经网络：RNN

下面我们介绍一下循环神经网络。

这是一个简单的循环神经网络，也就是一个RNN的结构，输入层、隐藏层、到输出层这些基本的连接，它都具备。但是它引入了一种新的概念，就是上下文相关的这种单元，这个单元它起到什么作用？它是把一个时间节点的隐藏层的状态，返回输入到下一个时间节点的隐藏层，所以它可以解决时间序列这个问题。

这样一个结构图并不太容易理解，因为它包括了相关节点在时序上的输入问题。把它按照时序展开，这是一个概念视图，可以看到，和常规的神经网络相比，除了输入层到隐藏层的全连接，从隐藏层到输出层的全连接以外，它还包括了从上一个时点的隐藏层到当前时点的隐藏层之间的连接，那么这就是RNN的特点。

什么是语言模型？

由于RNN可以处理时间序列上的输入，所以它非常适合用来做自然语言的模型，我们现在看到的就是2003年提出来的用RNN来实现的自然语言模型。

什么是语言模型？在给定了一组自然语言的词序列以后，预测这样一个词出现的概率是什么。举个例子，假如说出“我是在中国长大的，最近几年到了美国，所以我最熟悉的语言是 ”，那么后面要预测我最熟悉的语言是什么？可以是汉语、可以是英语，汉语和英语出现的概率实际上就是这个语言模型要解决的问题，我们看到以前的语言模型通常是按照这个词前面的几个词来预测后面的词，假如刚才我们这个例子里面说，我最近在美国，所以它很有可能预测出来我熟悉的语言是英语，但实际上在最前面，因为我是在中国长大，所以我最熟悉的语言应该是什么？应该是汉语，像这样的模型就非常适合用RNN来解决。

改进的循环神经网络：LSTM

刚介绍的RNN只是一个概念模型，现在实际上最常用的是LSTM这种改进的循环神经网络，因为一个标准的RNN在进行训练时，如果是一个很长的时间序列，那么它在通过时间反向传播的时候，对前面的权重的调整会越来越小，最后会出现梯度消失这个问题。

这个LSTM也就是长短期记忆这个模型，它可以解决这个梯度消失，同时它还可以学习到一些特定的行为特征，比如说当语言的主体发生改变的时候，它可能应该忘掉什么信息，什么情况下应该长期记住这个信息。它的特点是除了输入，输出以外，引入了一个遗忘门，它的输出最终是由这三个门的上一个时刻和最新的输入状态共同来决定的。

循环神经网络实际用途

循环神经网络在语言模型里面的应用，简单地说就是用大量的训练数据让循环神经网络的表现非常接近于人的自然语言。它有什么实际的用途？可以从两个方面来进行介绍：评价和预算。

1．评价

第一个用途是评价，也就是评价一句话是自然语言的概率到底有多大？例如：一个是“安卓系统不习惯，我买了个苹果”，另外一个是“安卓系统不喜欢我，埋了个苹果”。我们通过自然语言模型，就可以判断出来，第一句话是人的自然语言（符合人的自然语言习惯）的概率，要大于第二句话，也就是说我们可以判断这样一句话，它是不是听起来合理，这个也可以用来在机器翻译的时候去选择最适合的翻译。

2．预测

第二个用途是预测，比如说“不习惯安卓，我买了个苹果 ”，后面可能会出现的词是什么？可能是“手机”，这个概率是最大的。那么第二句话“中午我吃了隔壁那家店的苹果 ”，后面跟着的应该是什么？很显然不会是手机，最大的概率是苹果“派”，这也就是预测的用途。

这就是语言模型在实际应用上起到的两个重要作用，一个是评价，一个是预测。

————————————————

版权声明：本文为CSDN博主「畅捷通」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。

原文链接：https://blog.csdn.net/qq_35414313/article/details/51812107

一THE END一

免责声明：本文来自互联网新闻客户端自媒体，不代表本网的观点和立场。

合作及投稿邮箱：E-mail:editor@tusaishared.com