首页 > TAG信息列表 > neural
Feature Overcorrelation in Deep Graph Neural Networks: A New Perspective
目录概符号说明over-correlation 的现象解决方法代码 Jin W., Liu X., Ma Y., Aggarwal C. and Tang J. Feature overcorrelation in deep graph neural networks: a new perspective. In ACM International Conference on Knowledge Discovery and Data Mining (KDD), 2022. 概ICLR2019:(Slimmable)SLIMMABLE NEURAL NETWORKS
Institute：University of Illinois at Urbana-Champaign Author：Jiahui Yu, Linjie Yang, Ning Xu, Jianchao Yang, Thomas Huang GitHub：https://github.com/JiahuiYu/slimmable_networks Introduction (1)Different devices have drastically different runtimes for thThe Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks
目录概动机算法一些实验结果MNIST + LeNetCIFAR-10 + Conv + DropoutCIFAR-10 + VGG|ResNet + lr decay + augmentation Frankle J. and Carbin M. The lottery ticket hypothesis: finding sparse, trainable neural networks. In International Conference on Learning RepresPansharpening by Convolutional Neural Networks 论文解析
Pansharpening by Convolutional Neural Networks 论文解析 Q1论文试图解决什么问题？ 解决遥感图片的全色锐化问题，传统方法处理遥感图片全色锐化存在诸多问题，本文从Image Super-Resolution Using Deep Convolutional Networks一文中获取灵感，使用三层网络架构进行遥感图片的全色锐化论文解读（PPNP）《Predict then Propagate: Graph Neural Networks meet Personalized PageRank》
论文信息 论文标题：Predict then Propagate: Graph Neural Networks meet Personalized PageRank论文作者：Johannes Gasteiger, Aleksandar Bojchevski, Stephan Günnemann论文来源：2019,ICLR论文地址：download 论文代码：download 1-Abstract 本文主要将 PageRank 算法引入到【论文笔记】Towards Certifying l-infinity robustness using neural networks with l-infinity-dist neurons
原文地址 slides GitHub 代码 本文发表于 2021 ICML，提出了一个新颖的神经网络计算方式：对于网络中的每个神经元，不采用传统的线性转换+非线性激活函数的方式，而是计算输入与参数之间的 \(\ell_{\infty}\)-distance，作者将其称为 \(\ell_{\infty}\)-dist net，网络中的神经元称为 \(\ell_机器学习---神经网络(Neural Network)
1. 神经网络的基本概念 神经网络的分层：神经网络由输入层、隐藏层、输出层组成。 神经元之间的连接：层与层之间有神经元连接、而层内之间没有神经元连接。连接的神经元都有对应的权重。 输入层：负责接收输入的数据。 输出层：从这层获取神经网络输出数据。 隐藏层：输入层与输出层之间的A Recipe for Training Neural Networks-Andrej Karpathy
https://karpathy.github.io/2019/04/25/recipe/ 训练神经网络2个坑 训练神经网络2个leaky abstraction 据说开始训练神经网络很容易。许多库和框架都觉得使用30行代码来解决数据问题很了不起，这给人一种即插即用的(错误的)印象。常见的做法是：在我们的脑子里，标准的软件就应该是Product-based Neural Networks for User Response Prediction阅读笔记
动机 本文是2016年的一篇文章，提出了经典的推荐模型PNN。传统的推荐模型例如LR、GBDT、FM等在挖掘高阶关系和学习到高质量特征表示受到限制，而当时的深度学习模型存在着不同的问题，例如FNN不是端到端训练的模型，同时不足以提取出多个field的交互特征，CCPM只能做邻域特征交叉，无法进行全Detecting Rumors from Microblogs with Recurrent Neural Networks（IJCAI-16）
记录一下，很久之前看的论文-基于RNN来从微博中检测谣言及其代码复现。 1 引言 现有传统谣言检测模型使用经典的机器学习算法，这些算法利用了根据帖子的内容、用户特征和扩散模式手工制作的各种特征，或者简单地利用使用正则表达式表达的模式来发现推特中的谣言（规则加2022各顶会NAS论文（不全）
2022各顶会NAS论文（不全） CVPR 2022 1.Shapley-NAS: Discovering Operation Contribution for Neural Architecture SearchShapley-NAS：发现对神经架构搜索的操作贡献 2.GreedyNASv2: Greedier Search with a Greedy Path FilterGreedyNASv2：使用贪心路径过滤器的贪心搜索 3.BaLeNAS:Neural Network模型复杂度之Batch Normalization - Python实现
背景介绍 Neural Network之模型复杂度主要取决于优化参数个数与参数变化范围. 优化参数个数可手动调节, 参数变化范围可通过正则化技术加以限制. 本文从参数变化范围出发, 以Batch Normalization技术为例, 简要演示Batch Normalization批归一化对Neural Network模型复杂度的影响【论文笔记】（防御蒸馏）Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks
有关蒸馏 (Distillation)的论文： (2006)Model Compression (2014)Do Deep Nets Really Need to be Deep?--- 论文笔记 (2015)Distilling the Knowledge in a Neural Network--- 论文笔记 摘要 本文提出了防御蒸馏（defensive distillation），主要思想为：使用从DNN中提取的知识来降低【论文笔记】（知识蒸馏）Distilling the Knowledge in a Neural Network
摘要 模型平均可以提高算法的性能，但是计算量大且麻烦，难以部署给用户。《模型压缩》这篇论文中表明，知识可以从复杂的大型模型或由多个模型构成的集成模型中压缩并转移到一个小型模型中，本文基于这一观点做出了进一步研究：通过知识蒸馏（knowledge distillation）显著提高了转移后的小型模笔记：End-to-end Neural Coreference Resolution
End-to-end Neural Coreference Resolution 作者：Lee et al. EMNLP 2017. 目录 简介 模型 总结 1 简介 本文主要针对Coreference Resolution(共指消解)任务，提出一个神经网络端到端模型。既然是共指消解，那么每个可能的mention span的表示就是核心部分，而我们的目的就是为每个span论文阅读 Streaming Graph Neural Networks
3 Streaming Graph Neural Networks link：https://dl.acm.org/doi/10.1145/3397271.3401092 Abstract 本文提出了一种新的动态图神经网络模型DGNN，它可以随着图的演化对动态信息进行建模。特别是，该框架可以通过捕获： 1、边的序列信息， 2、边之间的时间间隔， 3、信息传播耦合性 来不断更Generative Adversarial Imitation Learning
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS 29 (NIPS 2016), (2016): 4565-4573Deep neural networks using a single neuron（使用单个神经元的深度神经网络）
提出了一种将任意大小的深度神经网络折叠成具有多个时间延迟反馈回路的单个神经元的方法，称为Folded-in-time DNN。 第一眼看到感觉类似于操作系统里面的多线程，操作系统使用中断来模拟多线程，用极快的速度使得“看上去”多个程序在同时运行。 emerge 浮现 摘要：深度神经网络是应2021 Image Compression with Recurrent Neural Network and Generalized Divisive Normalization
概要 该文提出了两种有效的新编解码块：采用卷积层和Generalized Divisive Normalization(GDN)的分析(analysis)和合成块(synthesis)。该文的网络利用pixel RNN方法进行量化。此外，为了改进整个网络，我们使用LSTM细胞对残差图像进行编码，以减少不必要的信息。 1. 网络结构 下图给出了两NLP知识总结和论文整理
词向量 参考论文: Efficient Estimation of Word Representations in Vector Space CBOW (Continuous Bag-of-Word): 挑一个要预测的词，来学习这个词前后文中词语和预测词的关系。 Skip-Gram: 使用文中的某个词，然后预测这个词周边的词。相比 CBOW 最大的不同，就是剔除掉了中间的【论文考古】神经网络优化 Qualitatively Characterizing Neural Network Optimization Problems
I. J. Goodfellow, O. Vinyals, and A. M. Saxe, “Qualitatively characterizing neural network optimization problems,” arXiv:1412.6544 [cs, stat], May 2015. [Online]. Available: http://arxiv.org/abs/1412.6544 主要工作 文章提出一种方法，用来检测训练好的神经网络，在论文笔记 IJCAI 2019|Extracting Entities and Events as a Single Task Using a Transition-Based Neural Mode
文章目录 1 简介1.1 动机 1.2 创新 2 方法2.1 转移系统2.2 模型 3 实验 1 简介 论文题目：Extracting Entities and Events as a Single Task Using a Transition-Based Neural Model 论文来源：IJCAI 2019 论文链接：https://www.ijcai.org/proceedings/2019/753 代码链接：htt[论文阅读]Learning to Prune Dependency Trees with Rethinking for Neural Relation Extraction[ACL2021]
论文地址：https://aclanthology.org/2020.coling-main.341/ 代码地址： 数据集：TACRED，SemEval 本文提出了一种新的体系结构，称为动态剪枝图卷积网络（DP-GCN），该网络以端到端的方式学习通过重新思考来剪枝依赖树。在DP-GCN的每一层中，我们使用一个选择模块，集中于用一组二进制门表示目标关系Convolutional Neural Network 小结
一、the whole CNN 二、CNN – Convolution 三、Convolution v.s. Fully Connected理解LSTM网络（Understanding LSTM Networks）原文与翻译
原文链接： http://colah.github.io/posts/2015-08-Understanding-LSTMs/ Recurrent Neural Networks 循环神经网络 Humans don’t start their thinking from scratch every second. 人不会总是从头开始思考。 As you read this essay, you understand each word based on your