首页 > TAG信息列表 > 邱锡鹏
神经网络与深度学习（邱锡鹏）编程练习6 RNN 加法进位实验 Jupyter导出版
加法进位实验 本题为填空题，填入内容： def call(self, num1, num2): num1_emb = self.embed_layer(num1) # shape(b_sz, len, emb_sz) num2_emb = self.embed_layer(num2) # shape(b_sz, len, emb_sz) inp_emb = tf.concat([num1_emb, num2_emb], axis=-1) rnn_out = self.rnn_layer神经网络与深度学习（邱锡鹏）编程练习5 CNN
卷积神经网络(CNN) 问题描述： 利用卷积神经网络，实现对MNIST 数据集的分类问题。 数据集: MNIST数据集包括60000张训练图片和10000张测试图片。图片样本的数量已经足够训练一个很复杂的模型（例如 CNN的深层神经网络）。它经常被用来作为一个新 的模式识别模型的测试用例。而且它也是一神经网络与深度学习（邱锡鹏）编程练习4 FNN 正向传播 numpy
NN模型： ref：【人工智能导论：模型与算法】MOOC 8.3 误差后向传播(BP) 例题 【第三版】 - HBU_DAVID - 博客园 (cnblogs.com) 实验目标： 理解正向传播过程，熟悉numpy编程。 初始值： w1, w2, w3, w4, w5, w6, w7, w8 = 0.2, -0.4, 0.5, 0.6, 0.1, -0.5, -0.3, 0.8 x1, x2 = 0.5, 0神经网络与深度学习（邱锡鹏）编程练习 2 实验3 基函数回归（最小二乘法优化）
通过基函数对元素数据进行交换，从而将变量间的线性回归模型转换为非线性回归模型。 最小二乘法 + 多项式基函数 最小二乘法 + 高斯基函数 def identity_basis(x): ret = np.expand_dims(x, axis=1) return ret def multinomial_basis(x, feature_num=10): x = np.ex神经网络与深度学习（邱锡鹏）编程练习 2 实验1 线性回归的参数优化 - 最小二乘法
实验结果： 源代码： import numpy as np import matplotlib.pyplot as plt def load_data(filename): # 载入数据 xys = [] with open(filename, 'r') as f: for line in f: xys.append(map(float, line.strip().split())) xs, ys神经网络与深度学习（邱锡鹏）编程练习 2 题目解析
线性回归的参数优化： 先完成最小二乘法的优化 (参考书中第二章 2.3中的公式) 再完成梯度下降法的优化 (参考书中第二章 2.3中的公式) 不同的基函数实现： 多项式基函数 高斯基函数 函数： 载入数据：load_data(filename) 基函数： identity_basis(x) multinomial_basis(x, feature_nu【人工智能导论：模型与算法】机器学习基础
ref：李宏毅 邱锡鹏神经网络与深度学习[邱锡鹏] 第七章习题解析
7-1 明显地，埃尔法和K成正比 7-2 7-3 7-4(我透) 7-5（我透） 7-6 7-7[我不李姐] 从再参数化的角度来分析批量归一化中缩放和平移的意义 7-8 批归一化可以应用于RNN的堆栈之间，其中归一化是“垂直”应用（即每个RNN的输出）， 但是它不能“水平”应用（即在时间步之间），因为重复的rescaling会神经网络与深度学习[邱锡鹏] 第六章习题解析
6-1 三者都是典型的神经网络模型。 卷积神经网络是对前馈神经网络增加卷积层和池化层。 延时神经网络是对前馈神经网络增加延时器。 循环神经网络是对前馈神经网络增加自反馈的神经元。 延时神经网络和循环神经网络是给网络增加短期记忆能力的两种重要方法。 卷积神经网络和循环神神经网络与深度学习[邱锡鹏] 第二章习题解析
2-1 视角1： 一般平方损失函数的公式如下图所示： h表示的是你的预测结果，y表示对应的标签，J就可以理解为用二范数的方式将预测和标签的差距表示出来， 模型学习的过程就是优化权重参数，使得J达到近似最小值。 理论上这个损失函数是很有效果的，但是在实践中却又些问题。 它这个h是激活函数神经网络与深度学习-邱锡鹏-学习笔记16-多项式回归
神经网络与深度学习（更新至第6讲 循环神经网络）_哔哩哔哩_bilibili 注解： 1.非线性的问题加入用线性方程去拟合，那会出现欠拟合的情况。 2.解决办法就是用Ф(X)代替X，如下图： 注解： 1.依然可以把多项式回归模型写成线性的形式，此时可以利用线性回归的最小二乘神经网络与深度学习-邱锡鹏-学习笔记13-机器学习的要素
神经网络与深度学习（更新至第6讲 循环神经网络）_哔哩哔哩_bilibili 注解： 1.在假定的空间中建立一个最优的模型，利用这个模型建立x和y之间的关系。 2.需要有一个准则来判断学习到的模型是好是坏。 注解： 1.左边是线性模型，右边是非线性模型。 注解： 1.函数的预测值f神经网络与深度学习-邱锡鹏-学习笔记10-关于概率的一些基本概念
注解： 1.随机变量和随机事件不等价，一个随机事件可以定义很多随机变量。 2.随机变量是定义在一个随机事件里面的变量，可以有很多种定义方法，比如可以定义出现某一个值的概率，也可以定义出现奇数的概率。 3.概率分布就是所定义的一个随机变量取所有可能值的概率的一个Transformer模型有多少种变体？复旦邱锡鹏教授团队做了全面综述
自 2017 年 6 月谷歌发布论文《Attention is All You Need》后，Transformer 架构为整个 NLP 领域带来了极大的惊喜。在诞生至今仅仅四年的时间里，Transformer 已经成为自然语言处理领域的主流模型，基于 Transformer 的预训练语言模型更是成为主流。 随着时间的推移，Transformer 还开