首页 > TAG信息列表 > MegEngine

TracedModule: 更友好的模型表示方案,模型训练到部署的桥梁

作者:曹文刚 | 旷视 MegEngine 架构师 TracedModule 介绍 TracedModule 是 MegEngine 中的一种模型格式,用于脱离模型源码对模型进行训练、量化、图手术和模型转换,它是模型训练到部署之间的桥梁。 图 1 从一个普通 Module 生成 TracedModule TracedModule 产生自普通的 Module,它

实录 | MegEngine 大 Kernel 卷积工程优化实践

本篇整理自 3.19 日 “Large Kernel Makes CNN Great Again” 专题 Meetup 中《MegEngine 大 Kernel 卷积工程优化实践》分享。作者:王彪 | 旷视 MegEngine 异构计算组负责人。 视频回顾 01:10:55 直达 从卷积到矩阵乘 矩阵乘(GEMM)具有计算密度大和易并行等优良特点,传统领域例如芯

paddle、MindSpore、MegEngine安装教程

paddle和MindSpore安装教程 paddle安装教程:https://www.paddlepaddle.org.cn/install/quick?docurl=/documentation/docs/zh/develop/install/pip/windows-pip.html MindSpore安装教程:https://www.mindspore.cn/install(这个有点恶心,只有linux版本,没有windows版本) MegEngine安

移动端 CPU 的深度学习模型推理性能优化——NCHW44 和 Record 原理方法详解

用户实践系列,将收录 MegEngine 用户在框架实践过程中的心得体会文章,希望能够帮助有同样使用场景的小伙伴,更好地了解和使用 MegEngine ~ 作者:王雷 | 旷视科技 研发工程师 背景 随着人工智能技术的发展及应用领域的不断扩大,算力较弱的移动设备成为模型推理的重要运算载体,优化其推

MegEngine TensorCore 卷积算子实现原理

作者:章晓 | 旷视 MegEngine 架构师 一、前言 2020 年 5 月 Nvidia 发布了新一代的 GPU 架构安培(Ampere)。其中和深度学习关系最密切的莫过于性能强劲的第三代的 TensorCore ,新一代的 TensorCore 支持了更为丰富的 DL(Deep Learning)数据类型,包括了新的 TesorFloat-32(TF32),Bfloat16(BF16

天元MegEngine训练推理

天元MegEngine训练推理 Brain++ 新一代AI生产力平台 旷视Brain++是由旷视研究院自主研发的新一代 AI 生产力平台,致力于帮助企业和开发者提升AI生产效率、规范生产流程。Brain++的核心能力包括数据的处理、清洗和管理能力,算力的共享、调度和分布式能力,算法的训练、推理及部署能力,

MegEngine基本概念

MegEngine基本概念 基本概念 MegEngine 是基于计算图的深度神经网络学习框架。 本文内容会简要介绍计算图及其相关基本概念,以及在 MegEngine 中的实现。 计算图 结合一个简单的数学表达式来介绍计算图中的基本概念。下图是 y = (w * x) + b 这一数学表达式的计算图表示:      

MegEngine推理性能优化

MegEngine推理性能优化 MegEngine「训练推理一体化」的独特范式,通过静态图优化保证模型精度与训练时一致,无缝导入推理侧,再借助工业验证的高效卷积优化技术,打造深度学习推理侧极致加速方案,实现当前业界最快运行速度。本文从推理侧的数据排布(Inference Layout)讲起,接着介绍MegEngine

MegEngine亚线性显存优化

MegEngine亚线性显存优化 MegEngine经过工程扩展和优化,发展出一套行之有效的加强版亚线性显存优化技术,既可在计算存储资源受限的条件下,轻松训练更深的模型,又可使用更大batch size,进一步提升模型性能,稳定batchwise算子。使用MegEngine训练ResNet18/ResNet50,显存占用分别最高降低23%

deeplearning模型量化实战

deeplearning模型量化实战 MegEngine 提供从训练到部署完整的量化支持,包括量化感知训练以及训练后量化,凭借“训练推理一体”的特性,MegEngine更能保证量化之后的模型与部署之后的效果一致。本文将简要介绍神经网络量化的原理,并与大家分享MegEngine量化方面的设计思路与实操教程。

旷视MegEngine数据加载与处理

旷视MegEngine数据加载与处理 在网络训练与测试中,数据的加载和预处理往往会耗费大量的精力。 MegEngine 提供了一系列接口来规范化这些处理工作。 利用 Dataset 封装一个数据集 数据集是一组数据的集合,例如 MNIST、Cifar10等图像数据集。 Dataset 是 MegEngine 中表示数据集的