首页 > TAG信息列表 > Transformers
transformers 之Trainer对应的数据加载
基础信息说明 本文以Seq2SeqTrainer作为实例，来讨论其模型训练时的数据加载方式 预训练模型：opus-mt-en-zh 数据集：本地数据集 任务：en-zh 机器翻译 数据加载 Trainer的数据加载方式主要分为两种：基于torch.utils.data.Dataset的方式加载 和 基于huggingface自带的Datasets的方式（下文transformers tokenizers需要glibc2.29解决办法
安装新版transformers后，啪，报了个错 ImportError: /lib/x86_64-linux-gnu/libm.so.6: version `GLIBC_2.29' not found (required by /data/jcdu/miniconda3/envs/main/lib/python3.7/site-packages/tokenizers/tokenizers.cpython-37m-x86_64-linux-gnu.so) 解决方案：安装旧版tokeBERT
目录前言 前言 论文全称及链接：《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》 项目地址：google-research/bert BERT全称：Bidirectional Encoder Representations from Transformers【ARXIV2205】EdgeViTs: Competing Light-weight CNNs on Mobile Devices with Vision Transformers
【ARXIV2205】EdgeViTs: Competing Light-weight CNNs on Mobile Devices with Vision Transformers 91/100 发布文章 gaopursuit 未选择文件 【ARXIV2205】EdgeViTs: Competing Light-weight CNNs on Mobile Devices with Vision Transformers 论文：https://arxiv.org/abs/2205.【ARXIV2204】Vision Transformers for Single Image Dehazing
论文：https://arxiv.org/abs/2204.03883 代码：https://github.com/IDKiro/DehazeFormer 1、研究动机 作者提出了 DehazeFormer 用于图像去雾，灵感来自Swin Transformer ，论文中有趣的地方在于 reflection padding 和 注意力的计算 2、主要方法 该方法框架如下图所示，是一个5阶段的UN对《OmniNet: Omnidirectional Representations from Transformers》方法的理解
1.OMNIDIRECTIONAL REPRESENTATIONS 对于一个L层的transformer网络，输入的数据维度是N×d，同理得transformer每一层的输出都是N×d。 x f o r[2101] Tokens-to-Token ViT: Training Vision Transformers from Scratch on ImageNet
paper: arXiv code: pytorch main limitations of ViT straightforward tokenization of input images by hard split makes ViT unable to model local information, thus requiring more training samples than CNNs to achieve similar performanceself-attention in ViThuggingface transformers 预训练模型加载参数设置
说明： 1）proxies：服务器无法直接访问互联网需通过代理访问。 2）cache_dir：model及dadaset文件过大多次容易导致服务器存储过高，手工选择存储位置。 model/tokenizer.from_pretrained('bert-base-chinese',2022年必须要了解的20个开源NLP 库
在本文中，我列出了当今最常用的 NLP 库，并对其进行简要说明。它们在不同的用例中都有特定的优势和劣势，因此它们都可以作为专门从事 NLP 的优秀数据科学家备选方案。每个库的描述都是从它们的 GitHub 中提取的。 NLP库 以下是顶级库的列表，排序方式是在GitHub上的星数倒序。 1、HuggiA ConvNet for the 2020s(论文翻译)
A ConvNet for the 2020s Address Abstract 1. Introduction Address https://github.com/facebookresearch/ConvNeXt https://arxiv.org/pdf/2201.03545.pdf Abstract ViT伴随着视觉的“20年代”咆哮而来，它迅速取代了 ConvNets，成为最先进的图像分类模型。另一方面，常规2021年Graph ML热门趋势和主要进展总结
对于 Graph ML 来说2021年是重要的一年——成千上万的论文、无数的会议和研讨会......说明这个领域是在蓬勃的发展。我将Graph ML 这一年的进展进行结构化的展示，并重点介绍【CV Transformer 论文笔记】Intriguing Properties of Vision Transformers
论文地址：https://arxiv.org/abs/2105.10497 项目地址：https://git.io/Js15X 这篇论文主要介绍并验证了ViT的一些有趣的特性，而且文章的组织结构是通过不断根据实验结果和猜测提出新的问题并去验证的形式，非常推荐细读。 文章主要介绍了ViT在遮挡、形状纹理偏好、对抗与自然干BERT预训练模型（Bidirectional Encoder Representations from Transformers）-原理详解
Bert： BERT（Bidirectional Encoder Representations from Transformers）近期提出之后，作为一个Word2Vec的替代者，其在NLP领域的11个方向大幅刷新了精度，可以说是近年来自残差网络最优突破性的一项技术了。论文的主要特点以下几点： 使用了Transformer [2]作为算法的主要框架，TransformTransformers实际应用案例
尝试使用transformers库提供的各种pipeline 1--情感分类(Sequence Classification)2--智能填词(Masked Language Modeling)3--文本生成Text Generation4--抽取式问答Extractive Question Answering5--Translation翻译 首先安装transformers pip install transformers[Transformer]Is it Time to Replace CNNs with Transformers for Medical Images?
医学图像中Transformer可以取代CNN了吗？ AbstractSection II Related WorkSection III MethodsSection IV ExperimentsAre random initialized transformers useful?Does pretraining transformers on ImageNet work in the medical domain?Do transformers benefit from seMoCo v3: An Empirical Study of Training Self-Supervised Vision Transformers
论文 ｜ 代码 论文主要工作 开辟ViT的自监督领域 探究ViT的instability的原因和解决方案 Self-supervised Transformer for vision Masks and reconstructs patches Contrastive/Siamese methods MoCo v3 改动1：去掉了 memory queue 原因：batch size 足够大 (>4096) 时带来的增益Optimizing Deeper Transformers on Small Datasets翻译
摘要 从头开始训练深层 transformers需要大型数据集是一个普遍观点。因此，对于小型数据集，人们通常在微调期间，在预训练模型上使用较浅和简单的额外层。本项工作表明，这种情况并不是常见的：只需通过正确的初始化和优化，非常深的transformers的优势就可以转移到具有小型数据集的小型NLP on Transformers 101(基于Transformer的NLP智能对话机器人实战课程)One Architecture， One Course，One Universe
本课程以Transformer架构为基石、萃取NLP中最具有使用价值的内容、围绕手动实现工业级智能业务对话机器人所需要的全生命周期知识点展开，学习完成后不仅能够从算法、源码、实战等方面融汇贯通NLP领域NLU、NLI、NLG等所有核心环节，同时会具备独自开发业界领先智能业务对话机器人的自然语言处理NLP星空智能对话机器人系列：NLP on Transformers 101第二章
自然语言处理NLP星空智能对话机器人系列：NLP on Transformers 101 第二章 NLP on Transformers 101 (基于Transformer的NLP智能对话机器人实战课程) One Architecture， One Course，One Universe 本课程以Transformer架构为基石、萃取NLP中最具有使用价值的内容、围绕手动实现工[Transformer]Segtran:Medical Image Segmentation Using Squeeze-and-Expansion Transformers
SegTran：基于Squeeze-Expansion的Transformer用于医学图像分割 AbstractSection I IntroductionSection II Related WorkSection III Squeeze-and-Expansion TransformerPart 1 Squeezed Attention Block IPart 2 Expanded Attention Block Section IV Segtran ArchitecturVision Transformers for Dense Prediction 论文阅读
研一小菜鸡一枚，刚刚入门CV领域，最近对大火的Transformer 比较感兴趣，把刚刚阅读过的一篇论文和大家分享一下，第一次写文章，如有错误，还请指正。 先放一下论文链接：https://arxiv.org/pdf/2103.13413v1.pdf Background 在阅读论文之前我们要先知道Dense prediction的定义 Dense PredBERT源码详解（一）——HuggingFace Transformers源码解
众所周知，BERT模型自2018年问世起就各种屠榜，开启了NLP领域预训练+微调的范式。到现在，BERT的相关衍生模型层出不穷（XL-Net、RoBERTa、ALBERT、ELECTRA、ERNIE等），要理解它们可以先从BERT这个始祖入手。 HuggingFace是一家总部位于纽约的聊天机器人初创服务商，很早就捕捉到BERT大潮no module named XXX
eg：no module named transformers 明明安装了报错说没有安装 第一：检查安装的虚拟环境对不对 第二：用which pip看看用的pip对不对，到anaconda3/envs/自己的环境名下/bin这个目录下，看看有没有pip文件。或者改个特殊的名字，免得用错。比如pip_lyjpig。 参考：https://github.com/huggiCVPR2021配准算法LoFTR的配置（LoFTR: Detector-Free Local Feature Matching with Transformers）
1、论文下载地址： https://arxiv.org/pdf/2104.00680.pdf 2、代码下载地址： https://github.com/zju3dv/LoFTR 3、新建虚拟python环境并激活 conda create -n LoFTR python=3.7 source activate LoFTR 4、安装需要的库 pip install torch==1.6.0 einops yacs kornia opencv-pyt公众号内容拓展学习笔记（2021.9.30）
公众号内容拓展学习笔记（2021.9.30）