蒸馏

首页 > TAG信息列表 > 蒸馏

Incremental Learning Techniques for Semantic Segmentation 论文阅读笔记

Incremental Learning Techniques for Semantic Segmentation 论文阅读笔记摘要当需要增量学习新任务时，由于灾难性的遗忘，深度学习架构表现出严重的性能下降。之前增量学习框架专注于图像分类和对象检测，本文正式提出了语义分割的增量学习任务。作者设计了方法提取先前模型的知识

DeiT：注意力也能蒸馏

DeiT：注意力也能蒸馏《Training data-efﬁcient image transformers & distillation through attention》 ViT 在大数据集 ImageNet-21k（14million）或者 JFT-300M（300million）上进行训练，Batch Size 128 下 NVIDIA A100 32G GPU 的计算资源加持下预训练 ViT-Base/32 需要3天时间。 Faceb

GID：旷视提出全方位的检测模型知识蒸馏 | CVPR 2021

论文提出的GID框架能够自动选择可辨别目标用于知识蒸馏，而且综合了feature-based、relation-based和response-based知识，全方位蒸馏，适用于不同的检测框架中。从实验结果来看，效果十分不错，值得一看来源：晓飞的算法工程笔记公众号论文: General Instance Distillation for Object D

NLP模型压缩概述

目录1. 为什么需要模型压缩2. 模型压缩的基本方法 1. 为什么需要模型压缩理论上来说，深度神经网络模型越深，非线性程度也就越大，相应的对现实问题的表达能力越强，但相应的代价是，训练成本和模型大小的增加。同时，在部署时，大模型预测速度较低且需要更好的硬件支持。但随着深度学习

【论文笔记】（防御蒸馏）Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks

有关蒸馏 (Distillation)的论文： (2006)Model Compression (2014)Do Deep Nets Really Need to be Deep?--- 论文笔记 (2015)Distilling the Knowledge in a Neural Network--- 论文笔记摘要本文提出了防御蒸馏（defensive distillation），主要思想为：使用从DNN中提取的知识来降低

模型压缩 -- 知识蒸馏

轻量化网络已经是一个热点，主要的技术路线如下： 1、压缩已经训练好的大模型：知识蒸馏、剪枝（权重剪枝、通道剪枝）、权值量化、注意力迁移 2、重新设计轻量化模型：SqueezeNet、MobileNet系列、ShuffleNet系列、EfficientNet、EfficientDet等 3、加速卷积运算：im2col+GEMM、winograd、低秩

KDDN

KDDN（2020-CVPR） Distilling Image Dehazing with Heterogeneous Task Imitation 摘要最先进的深度除雾模型在训练中往往是困难的。知识蒸馏使得利用教师网络训练学生网络成为可能。然而，大多数的知识蒸馏方法都是应用于图像分类、语义分割或者目标检测的，很少有研究将知识蒸馏应用

知识蒸馏

第一个方向是把一个已经训练好的臃肿的网络进行瘦身权值量化：把模型的权重从原来的32个比特数变成用int8，8个比特数来表示，节省内存，加速运算剪枝：去掉多余枝干，保留有用枝干。分为权重剪枝和通道剪枝，也叫结构化剪枝和非结构化剪枝，一根树杈一根树杈的剪叫非结构化剪枝，也可以整层整层

知识蒸馏 | 知识蒸馏的算法原理与其他拓展介绍

如有错误，恳请指出。这篇博客将记录我看视频后对知识蒸馏的笔记，视频链接见参考资料[1]，其中包含知识蒸馏的算法原理（训练流程与测试流程），以及知识蒸馏能够正常工作的背后机理与其发展的趋势及展望。在这篇博客中，主要都是介绍没有涉及具体的代码，我另外还将会记录一下知识蒸馏

CVPR 2022 | 清华&字节提出FGD：针对目标检测的重点与全局知识蒸馏

https://mp.weixin.qq.com/s/yDkreTudC8JL2V2ETsADwQ 识蒸馏美索不达米亚平原 CVer 2022-03-09 13:05 收录于话题 #CVPR4个 #CVPR 20224个 #开源项目5个 #目标检测2个 #知识蒸馏1个点击下方卡片，关注“CVer”公众号 AI/CV重磅干货，第一时间送达 CVer 一个专注侃侃计算

知识蒸馏在SR中

2020年的这篇文章思路感觉是更有效的： Learning with Privileged Information for Efficient Image Super-Resolution (ECCV 2020) https://cvlab.yonsei.ac.kr/projects/PISR/ 第一步：训练encoder退化 HR -> LR', 然后 decoder 恢复 LR' -> HR' 第二步： decoder部分即为我们的SR网

Bert不完全手册1. 推理太慢？模型蒸馏

模型蒸馏的目标主要用于模型的线上部署，解决Bert太大，推理太慢的问题。因此用一个小模型去逼近大模型的效果，实现的方式一般是Teacher-Stuent框架，先用大模型（Teacher）去对样本进行拟合，再用小模型（Student）去模仿Teacher。为什么蒸馏本身会比直接用小模型去拟合样本取得更好的效果呢？这里

【论文翻译_2021】Distilling Knowledge via Knowledge Review

（以下的“审查”皆可替换为“复习”）摘要知识蒸馏将知识从教师网络转移到学生网络，目的是大大提高学生网络的性能。以往的方法大多侧重于提出同级特征之间的特征转换和损失函数，以提高效率。通过对师生网络连接路径跨层因素的不同研究，揭示了其重要性。首次在知识提取中提出了

FLiText: A Faster and Lighter Semi-Supervised Text Classification with Convolution Networks

本文发表于EMNLP2020。本文提出了一个基于卷积模型的蒸馏方法，实现了一个轻量级的、快速的半监督文本分类框架FLiText，相比于Bert等大规模预训练模型，蒸馏模型更具备实际应用价值。 Method 模型总体的框架如下，大致分为激励网络和目标网络两部分：激励器网络（预训练语言模型）利

MonoDistill 阅读笔记 ICLR2022

标题： MONODISTILL: LEARNING SPATIAL FEATURES FOR MONOCULAR 3D OBJECT DETECTION 文章链接：https://arxiv.org/abs/2201.10830 代码链接：https://github.com/monster-ghost/MonoDistill 创新点：借助创新的蒸馏框架，在推理阶段不引入任何额外成本的情况下，将深度信号引入单目3D

深度学习之模型蒸馏、剪枝等文献机器源码实现

下面这个既有源码，又有文献深度学习模型优化+模型蒸馏+模型压缩_cbd_2012的博客-CSDN博客_模型压缩模型蒸馏深度学习模型优化+模型蒸馏+模型压缩、https://blog.csdn.net/shentanyue/article/details/83539382经典论文：（1）Distilling the Knowledge in a Neural Network地址：http

知识蒸馏综述: 知识的类型

知识蒸馏综述: 知识的类型【GiantPandCV引言】简单总结一篇综述《Knowledge Distillation A Survey》中的内容，提取关键部分以及感兴趣部分进行汇总。这篇是知识蒸馏综述的第一篇，主要内容为知识蒸馏中知识的分类，包括基于响应的知识、基于特征的知识和基于关系的知识。知识蒸馏简

【知识蒸馏】Knowledge Review

【GiantPandaCV引言】知识回顾（KR）发现学生网络深层可以通过利用教师网络浅层特征进行学习，基于此提出了回顾机制，包括ABF和HCL两个模块，可以在很多分类任务上得到一致性的提升。摘要知识蒸馏通过将知识从教师网络传递到学生网络，但是之前的方法主要关注提出特征变换和实施相同层的特

多任务深度强化学习入门

理论概述多任务深度强化学习，英文Multi-Task Deep Reinforcement Learning ，简称MTDRL或MTRL。于MARL不同，它可以是单智能体多任务的情况，也可以是多智能体多任务的情况。现在的深度强化学习领域虽然在很多特定任务上有着超越人类的表现，然而这些算法的共同特点是，一次只能训练一

知识蒸馏：Distillation

1，背景：复杂模型不好直接部署，简单模式更容易直接部署在服务器中目的：模型压缩解决办法： 1，使用Distillation：将老师（复杂模型）学到的“知识”灌输给学生（简单模型），所谓的知识其实是泛化能力。 2，衡量模型的复杂程度：模型中参数的数量。模型容量的概念：模型的容量是指它拟合各种函数的能力。

【论文笔记】TinyBERT: Distilling BERT for Natural Language Understanding

To accelerate inference and reduce model size while maintaining accuracy, we first propose a novel Transformer distillation method that is specially designed for knowledge distillation (KD) of the Transformer-based models. Then, we introduce a new two-s

KD论文阅读：A Gift from Knowledge Distillation: Fast Optimization, Network Minimization and Transfer

主要思想网络中的不同层之间存在 flow，这种流可以被定义为两个层特征向量之间的 innner product之前 Gramian 的研究主要是将这个内积应用在一个层之内，这篇文章应用在不同的层之间这篇文章主要将第一层和最后一层作为主要的研究对象，两个特征层的内积得到的矩阵定义为 FSP 矩

2021年6月，CVTE NLP算法岗4道面试题分享

深度学习模型——知识蒸馏

什么是知识蒸馏？近年来，神经模型在几乎所有领域都取得了成功，包括极端复杂的问题。然而，这些模型体积巨大，有数百万(甚至数十亿)个参数，因此不能部署在边缘设备上。知识蒸馏指的是模型压缩的思想，通过一步一步地使用一个较大的已经训练好的网络去教导一个较小的网络确切地去做什么。

论文阅读：数据库知识蒸馏

论文：《Towards a Universal Continuous Knowledge Base》这篇文章的主要工作就是将持续的知识库融入神经网络的训练当中，同时将多种神经网络结合在一起达到不俗的效果。模型结果：周围的NN表示不同的神经网络，他们训练不同下游任务；M表示一个知识库，用来向神经网络中传输知识。同