vocab

首页 > TAG信息列表 > vocab

57长短期记忆网络LSTM

点击查看代码 import torch from torch import nn from d2l import torch as d2l batch_size, num_steps = 32, 35 train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps) # 参数初始化 def get_lstm_params(vocab_size, num_hiddens, device): num_in

56门控循环单元GRU

点击查看代码 import torch from torch import nn from d2l import torch as d2l """ 额外的控制单元 """ batch_size, num_steps = 32, 35 train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps) # 初始化模型参数 def get_params(vocab_size

【动手学深度学习pytorch】学习笔记 9.3. 深度循环神经网络

9.3. 深度循环神经网络 — 动手学深度学习 2.0.0-beta0 documentation (d2l.ai) rnn.LSTM(num_hiddens, num_layers) 通过num_layers的值来设定隐藏层数解释了前面的问题：【动手学深度学习pytorch】学习笔记 8.6. 循环神经网络的简洁实现 - HBU_DAVID - 博客园 (cnblogs.com

【动手学深度学习pytorch】学习笔记 8.5. 循环神经网络的从零开始实现

8.5. 循环神经网络的从零开始实现 — 动手学深度学习 2.0.0-beta0 documentation (d2l.ai) 目标：根据用户提供的文本的前缀生成后续文本知识点：独热编码、梯度剪裁实现细节：注意 “预热 ” 程序可分4个步骤学习 1 独热编码。读通代码，观察输出。 2 建立RNN模型。 3 使用建立好的RN

Python 简易英语词汇生词本

1 # 英语生词本 2 3 """ 4 介绍：背单词是学英语最基础的一环，不少学生在背单词的过程中会整理自己的生词本，以不断拓展自己的词汇量。 5 6 知识点： 7 1、集合的创建、增添、删除、查询、遍历 8 2、循环语句：while、for 9 3、条件语句：if、elif、else

GRU、LSTM、双向循环神经网络

动手学深度学习笔记一、门控循环单元(GRU)1.重置门和更新门2.候选隐状态3.隐状态4.PyTorch代码二、长短期记忆网络(LSTM)1.输入门、忘记门和输出门2.记忆元3.隐状态4.PyTorch代码三、深度循环神经网络四、双向循环神经网络学习GRU和LSTM之前可以先看 RNN基础代码-Py

基于pytorch使用LSTM进行虎年春联生成

先看看我摘录的一些结果吧七字春联，开头两个字分别为虎年、虎气、春节虎年啸虎春虎虎虎气伏虎牛龙龙虎年虎虎展啸风春节啸春虎风虎虎年虎啸啸千啸春节萝啸气风春虎年啸浩一讯欢春节回旧鹤绣舞虎年啸一着有处春节回一福舞福虎年啸月翼业来春节回旧精绣福我语文

RNN循环神经网络 - PyTorch

动手学深度学习-循环神经网络笔记一、文本预处理1.读取数据集2.Token(词元)化3.构建词表二、读取⻓序列数据1.随机采样2.顺序分区三、RNN从零实现1.预测2.梯度裁剪3.训练四、RNN简洁实现一、文本预处理常⻅预处理步骤：将文本作为字符串加载到内存中。将字符串

Pytorch tokenizer使用及补充vocab词汇表

我们现在需要对一句话做分词，然后转换成index，作为Bert的输入 tokenizer = BertTokenizer.from_pretrained(config.PRE_TRAINED_MODEL_NAME) text = '天空下着暴雨，o2正在给c1穿雨衣，他自己却只穿着单薄的军装，完全暴露在大雨之中。角色: o2' input_ids =tokenizer.encode(text) out

连续词袋模型CBOW与跳字模型Skip-gram

一、主要原理连续词袋模型（CBOW，Continuous Bag-of-Words Model）假设中心词是由文本序列的上下文生成；跳字模型（skip-gram）假设中心词生成该词在文本序列中的上下文。如下图所示。二、代码实现 2.1 处理语料库数据。首先，读取语料库中的数据，并转换成字典序，让每个单词或字母对应数字，即

transformer代码笔记----pre_process.py

import os import pickle from tqdm import tqdm from config import wav_folder, transcript_file, pickle_file from utils import ensure_folder def get_data(split): print('getting {} data...'.format(split)) #对获取的数据名打印 global VOCAB #定义全局

torchtext.vocab

class Vocab 功能：用于创建字典和应用字典函数： __contains__(token: str) → bool 功能：用于判断传入的词语是否存在于词典中。参数： token：字符串。需要判断的词语。返回值：布尔值。传入单词是否在词典中 __getitem__(token: str) → int 功能：获得传入单词在词典中的索引。

自然语言处理学习笔记，使用SVM进行文本分类

导入包并打开数据看看 #SVM文本分类 import codecs import os import jieba train_file='cnews.train.txt' # training data file name test_file='cnews.test.txt' # test data file name vocab='cnews_dict.txt' # dictionary with codecs.open(tra

Torchtext使用教程

主要内容：如何使用torchtext建立语料库如何使用torchtext将词转下标，下标转词，词转词向量如何建立相应的迭代器 torchtext预处理流程：定义Field：声明如何处理数据定义Dataset：得到数据集，此时数据集里每一个样本是一个经过 Field声明的预处理预处理后的 wordlist建立vocab：在这一步

文本摘要-02-数据标签分离及其数值化

背景本文承接上一篇数据预处理与词向量训练内容，上文已描述了我们的任务和目标。本篇中，主要记录在训练和预处理后的一些初步的细节处理，如句子长度对齐、oov初步处理、构造后续用与训练与测试的X和y等等。核心内容 1. 构造X和y 针对本文任务及数据集的特点，对于训

使用LSTM训练语言模型(以《魔道祖师》为corpus)

文章目录 1.读入原始文档和停用词txt文件2.分词处理3.建立字典和迭代器4.定义模型及评估函数5.开始训练6.将训练好的模型load进来并进行评估 import torchtext from torchtext.vocab import Vectors import torch from torch import nn import numpy as np import rando

加载词向量

import numpy as np from numpy import dtype, fromstring, float32 as REAL #fname=glove.refine.txt class WordLoader(object): def load_word_vector(self, fname, binary=None): if binary == None: if fname.endswith('.txt'):

word2vec

在自然语言处理中常常使用预训练的word2vec,来自GoogleNews-vectors-negative300.bin，下面函数将一句话中的单词转换成词向量，词向量的维度是(300,1), 没有在该word2vec中的单词采用其他的方式，如采用均匀分布，高斯分布等随机初始化 # -*- coding= utf-8 -*- import numpy as np # lo

paddle13-ERNIE2.0源代码解析2-tokenizing_ernie相关

大话中文文本分类之前数据处理

基本操作就是将要分类的文本用正则匹配一下之后迭代成列表去重一下,得到 vocab (后期训练的时候也要使用,这个正则表达式,否则字符不在vocab中无法编码) 接着进行编码,就是一个字符也就是中文和标点符号用一个数字代表形成一个字典word2id 例如 { “你”:0} 其实各种格式和存储方

听说你还没读过 Bert 源码？

前言前几天面试，有面试官直接拿 bert 的源码让我分析，emm，有点厉害呀。还好老宋底子可以，之前看过 Transformer 的实现，自己也用 Transformer 写了一下文本分类任务，没有难住我，哈哈哈哈。不过，看来，如今，面试官们已经不满足仅仅只问原理了，倒也是，如何看出一个人的代码能力，看看他读源码的能

用TensorFlow实现深度推荐模型

利用TensorFlow的Keras接口实现Embedding+MLP结构，内容源于王喆老师在极客时间上开设的深度学习推荐系统课程。第一步：导入TensorFlow包，并定义训练数据的路径。 import tensorflow as tf TRAIN_DATA_URL = "file:///F:/ReferenceMaterials/SparrowRecSys-master/src/main/resou

使用注意力机制建模 - 标准化日期格式

文章目录 1. 概述2. 数据3. 模型4. 训练5. 测试参考基于深度学习的自然语言处理本文使用attention机制的模型，将各种格式的日期转化成标准格式的日期 1. 概述 LSTM、GRU 减少了梯度消失的问题，但是对于复杂依赖结构的长句子，梯度消失仍然存在注意力机制能同时看见句子

接上文（调整加载逻辑）：Tensorflow2.3加载文本数据转为train_data,val_data,test_data,

上一篇文章：https://blog.csdn.net/qq_40974572/article/details/110875780，是参考官网实例，整体写下来还是觉得加载过程比较不清晰，所以有整理了一遍，功能全写为函数里面，看着更加清晰。第一部分是原文中的三个函数，基本不变，参数变量写在前头。 import collections import tensorflow

tensorflow模型部署

TF Serving 工作流程主要分为以下几个步骤： Source会针对需要进行加载的模型创建一个Loader，Loader中会包含要加载模型的全部信息； Source通知Manager有新的模型需要进行加载； Manager通过版本管理策略（Version Policy）来确定哪些模型需要被下架，哪些模型需要被加载； Manger在确认需要加