大二寒假摸鱼报告
作者：互联网
摸鱼摸鱼摸鱼。。。。。
寒假学习报告——深度学习
包云飞 自动化204 205506
摘要： 本文作为本人深度学习的简要汇报
关键字：深度学习 学习报告
引言：深度学习在人工智能领域揭起热潮，应用其原理使得多种技术落地进入人们的日常生活，本文则作为本人寒假学习的记录。
一、历史发展
20世纪50年代，A. M. Turing在发表的COMPUTING MACHINERY AND INTELLIGENCE中提出了这样的问题：Can machines think。为了解决这个问题他构想了一个模仿游戏，即图灵测试：
It is played with three people, a man (A), a woman (B), and an interrogator (C) who may be of either sex. The interrogator stays in a room apart front the other two. The object of the game for the interrogator is to determine which of the other two is the man and which is the woman. He knows them by labels X and Y, and at the end of the game he says either "X is A and Y is B" or "X is B and Y is A.“【1】
探讨了数字计算机具有智能的可能性，也提出了很多对现代机器学习影响深远的思想，例如黑盒模型，随机初始化等等。严格意义上说，人工智能和机器学习没有直接关系，只不过目前机器学习的方法被大量的应用于解决人工智能的问题而已。目前机器学习是人工智能的一种实现方式，也是最重要的实现方式。早期的机器学习实际上是属于统计学，而非计算机科学的;而二十世纪九十年代之前的经典人工智能跟机器学习也没有关系。【2】
时间回到现代，Hinton于2006年在《Science》上发表的论文《Deep Learning》提出深度学习的概念，揭起了ai的热潮。
深度学习是机器学习的一种，而机器学习是实现人工智能的必经路径。深度学习的概念源于人工神经网络的研究，含多个隐藏层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。研究深度学习的动机在于建立模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本等。【2】
Deep learning allows computational models that are composed of multiple processing layers to learn representations of data with multiple levels of abstraction. These methods have dramatically improved the state-of-the-art in speech recognition, visual object recognition, object detection and many other domains such as drug discovery and genomics. Deep learning discovers intricate structure in large data sets by using the backpropagation algorithm to indicate how a machine should change its internal parameters that are used to compute the representation in each layer from the representation in the previous layer. Deep convolutional nets have brought about breakthroughs in processing images, video, speech and audio, whereas recurrent nets have shone light on sequential data such as text and speech.【3】
下面则是我寒假学习成果汇报
深度神经网络在人脸识别系统中，进行特征提取，通过识别像素中的边缘将其组合，每一层神经网络寻找不同的特征，比如眼睛、耳朵，最后将这些特征组合起来。语音识别也是同理。
二、初步实践
依托于吴恩达老师的深度学习课程和作业
一、简单的浅层神经网络（二元分类）：
依据教程的引导，导入各种工具包和数据后，利用matplotlib.pyplot的scatter函数观察数据分布，在用sklearn绘制简单Logistic回归的决策边界。如下图所示，线性回归表现较差。因此，尝试训练神经网络来达到分类目的：搭建好基本框架后（使用python的字典保留每一次运行的权重矩阵，为后向传播，使用numpy.random.randn初始化权重矩阵（深层的神经网络会用更严谨的初始化方法提高效率），然后选择适合的非线性激活函数，实现正向传播。
然后计算损失函数 ：
cost = -1 / m * np.sum(Y * np.log(AL) + (1-Y) * np.log(1-AL),axis=1,keepdims=True)
并实现后向传播，选择合适的学习速率实现梯度下降。完成后将模型封装。运行算法，得到结果。由于图像经过特殊处理，使得浅层神经网络也能得到较好结果，标签正确率达到91%。
二、构建深层神经网络：
将构建结构为LINEAR -> RELU -> LINEAR -> SIGMOID的模型（隐藏层为relu），与浅层神经网络相似的准备工作完成后，采用numpy.random.randn*0.01（randn：避免对称性导致的重复运算；*0.01：防止函数落在梯度较缓的区域导致梯度下降法效率降低）初始化权重矩阵，实现正向传播和反向传播，注意区分sigmoid和relu。使用for循环，实现多个隐藏层的运算，
深度神经网络应用——图片分类：
载入图像及其数据，将图像重载为向量，
深度神经网络初始化尝试：
数据可视化结果：
采用权重矩阵零初始化（np.zeros）分类结果：
三、卷积神经网络：
步骤与上面类似，引入了卷积核，平均池化，最大池化等概念
卷积网络：
经典网络 alexnet vgg-16 letnet
残差网络（resnet）：由何恺明，张翔宇，任少卿，孙剑等人发表的Deep Residual Learning for Image Recognition提出已解决更深层的神经网络问题，例如梯度爆炸、梯度消失等，虽然可以通过标准初始化等方法改善，但有出现了更深层网络收敛的退化现象：
When deeper networks are able to start converging, a degradation problem has been exposed: with the network depth increasing, accuracy gets saturated (which might be unsurprising) and then degrades rapidly. Unexpectedly, such degradation is not caused by overfitting, and adding more layers to a suitably deep model leads to higher training error, as reported in [10, 41] and thoroughly verified by our experiments. Fig. 1 shows a typical example.【4】
对于退化现象的优化，残差网络通过imagenet提供的测试展现了极高的准确率。
三、训练技巧
正则化：选择一个算法来优化代价函数（梯度下降），预防过拟合，正交化，，
归一化输入：归一化训练集测试集，优化学习速度
梯度爆炸和梯度消失：输出值随神经网络深度增加以（权重矩阵）指数级增长，爆炸还是消失取决于权重矩阵的大小，大于1还是小于1。导致梯度下降算法的步长过小或过大，花费过多时间学习。
其他的技巧还有：神经网络的初始化，earlystopping、relu 2/n，梯度的数值逼近，双边梯度下降，mini batch梯度下降法，指数加权平均，动量梯度下降，rmsprop，adam等。后续待补充
[1] A. M. Turing (1950) Computing Machinery and Intelligence. Mind 49: 433-460.
[2] 刘俊一.基于人工神经网络的深度学习算法综述[J].中国新通信,2018,20(06):193-194.
[3] Yann LeCun Yoshua Bengio & Geoffrey Hinton, Deep learning doi:10.1038/nature14539
[4] Kaiming He、Xiangyu Zhang、Shaoqing Ren、Jian Sun，Deep Residual Learning for Image Recognition
图片粘不上来就算了。。。
标签：初始化,梯度,Deep,学习,神经网络,寒假,摸鱼,深度,大二 来源： https://www.cnblogs.com/dark-blue/p/16026367.html