loss

首页 > TAG信息列表 > loss

cold diffusion的个人理解

背景和介绍最近阅读了 Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise，做了个简短的汇报，写一篇博客记录一下。目前的diffusion model都是基于高斯噪声在进行扩散，其可被理解为使用Langeviin dynamics在数据范围游走。对于反向生成而言，就是从一个噪声，一点

动手实现深度学习(4): 神经网络的backward实现

传送门： https://www.cnblogs.com/greentomlee/p/12314064.html github: https://github.com/Leezhen2014/python_deep_learning 在第二篇中介绍了用数值微分的形式计算神经网络的梯度，数值微分的形式比较简单也容易实现，但是计算上比较耗时。本章会介绍一种能够较为高效的计算

神经网络的学习与泛化能力

一、学习能力，指在训练集上精度。二、泛化能力，指在测试集上精度。对于一个大型神经网络在一个大数据集上跑，LOSS持续不降，第一步先减小数据量，比方说只在单张图片上跑，观察每次LOSS下降情况，此时如果LOSS还是不下降说明网络没有学习能力，应该调整模型，一般是先把网络规模缩小，因为任何一

【MindSpore易点通】如何将PyTorch源码转成MindSpore低阶API,并在Ascend芯片上实现单机单卡训练

1 概述本文将介绍如何将PyTorch源码转换成MindSpore低阶API代码,并在Ascend芯片上实现单机单卡训练。下图展示了MindSpore高阶API、低阶API和PyTorch的训练流程的区别。与MindSpore高阶API相同，低阶API训练也需要进行：配置运行信息、数据读取和预处理、网络定义、定义损

【深度学习】DNN房价预测

前言我们使用深度学习网络实现波士顿房价预测，深度学习的目的就是寻找一个合适的函数输出我们想要的结果。深度学习实际上是机器学习领域中一个研究方向，深度学习的目标是让机器能够像人一样具有分析学习的能力，能够识别文字、图像、声音等数据。我认为深度学习与机器学习最主要的区

4. 基础实战——FashionMNIST时装分类

import os import numpy as np import pandas as pd import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import Dataset, DataLoader # 设置环境和超参数 ## 方案一：使用os.environ # os.environ['CUDA_VISIBLE_DEVICES']='0' #

torch工具箱

Autograde 用户自己创建的叫叶子变量，计算得来的是中间变量；前向传播时，torch自动构建计算图，从input到loss；反向求导时，沿着计算图，从loss到input； inpt = torch.ones(size=(4, )) w = torch.tensor(2.0, requires_grad=True) l = inpt * w loss = l.mean() # 钩子函数，在反向传播

PyTorch 深度学习实践第10讲：卷积神经网络（基础篇）

第10讲：卷积神经网络（基础篇）视频教程 1.卷积神经网络说明：首先明确输入的张量维度多少，输出的张量维度多少，利用各种层（做特征提取），进行这个维度上或者是每个维度上尺寸大小的变化，最终把它映射到想要的输出的这个空间里面 Feature Extraction：特征提取包括卷积、下采样 Classificati

利用图像二维熵实现视频信号丢失检测（Signal Loss Detection）

1 图像二维熵图像二维熵作为一种特征评价尺度能够反映出整个图像所含平均信息量的高低，熵值(H)越大则代表图像所包含的信息越多，反之熵值(H)越小，则图像包含的信息越少。对于图像信息量，可以简单地认为图像的边缘信息越多则图像的信息量越大。二维熵公式如下所示： 2 信号丢失检测 2

基于图像二维熵的视频信号丢失检测(Signal Loss Detection)

1 图像二维熵图像二维熵作为一种特征评价尺度能够反映出整个图像所含平均信息量的高低，熵值(H)越大则代表图像所包含的信息越多，反之熵值(H)越小，则图像包含的信息越少。对于图像信息量，可以简单地认为图像的边缘信息越多则图像的信息量越大。 2 信号丢失检测 2.1 画面对比由

GLIP_Grounded Language-Image Pre-training

一句话概括：多模态目标检测目录1、问题2、介绍和实现2.1 数据统一2.1.1 object detect数据转统一格式,补充prompt2.2.2 grounding数据转统一格式：自动生成box，怎么生成box？2.2 模型结构统一2.2.1 语言感知的融合2.3 loss 统一object detect loss转换3、效果4、分析和结论 1、问题 1、

PyTorch 深度学习实践第4讲：反向传播

反向传播（Back Propagation）：视频教程 1.代码说明： forward 计算loss backward 反向计算梯度由sgd再更新W权重 import torch x_data = [1.0, 2.0, 3.0] y_data = [2.0, 4.0, 6.0] w = torch.tensor([1.0])#选择权重，w=【1.0】 w.requires_grad = True#提醒w需要计算梯度 def for

深度度量学习中的损失函数

1、对比loss/Contrastive Loss 1、经典对比loss 目的：对于positive pair，输出特征向量间距离要尽量小；对于negative pair，输出特征向量间距离要尽量大，但若特征向量距离大于一定值，则不处理这种easy negative pair 经典的Contrastive Loss形式来自于LeCun的文章：Dimensionality Reductio

【机器学习基础】——另一个视角解释SVM

SVM的另一种解释前面已经较为详细地对SVM进行了推导，前面有提到SVM可以利用梯度下降来进行求解，但并未进行详细的解释，本节主要从另一个视角对SVM进行解释，首先先回顾之前有关SVM的有关内容，然后从机器学习的三步走的角度去对SVM进行一个解释。那么对于传统的机器学习，每个方法最大区

[学习笔记]pytorch初体验（搭建自己的神经网络）

好！终于来到正式的深度学习了！经过几天的学习之后，澡盆算是写出了第一个神经网络，虽然对其中的原理，代码还不算完全了解，但是还是决定记录以下此刻的学习心得。这里使用官方的CIFAR10数据集进行训练代码比较长，分为几个大块。库的引入，数据集的导入，网络设计，一些初始化，训练，保存，接下来我

PyTorch入门——异或问题

实验环境 CUDA版本：nvcc --versionnvcc: NVIDIA (R) Cuda compiler driver Copyright (c) 2005-2021 NVIDIA Corporation Built on Sun_Feb_14_21:12:58_PST_2021 Cuda compilation tools, release 11.2, V11.2.152 Build cuda_11.2.r11.2/compiler.29618528_0 Python版本：python

【流行前沿】QSFL: A Two-Level Uplink Communication Optimization Framework for Federated Learning

今天分享一篇研究模型细粒度传输的联邦学习文章，作者Liping Yi来自于南开大学，发表在ICML 2022。 Intro 故事的起源还是来自于深度网络越来越大，导致上行链路达到了TB级别，这对于低带宽的无线上行链路来说太难传输了，因此要对通信过程进行优化。作者总结了现有的communication-effectiv

【YOLO】

数据集代码中文件夹规范：下采样:\(2^^5=32\) YOLOv5网络结构： Loss函数的计算，改进Loss的介绍：

MindSpore报错"RuntimeError: Unexpected error. Inconsistent batch..

1 报错描述 1.1 系统环境 ardware Environment(Ascend/GPU/CPU): CPUSoftware Environment:– MindSpore version (source or binary): 1.6.0– Python version (e.g., Python 3.7.5): 3.7.6– OS platform and distribution (e.g., Linux Ubuntu 16.04): Ubuntu 4.15.0-74-generi

损失函数

在深度学习广为使用的今天，我们可以在脑海里清晰的知道，一个模型想要达到很好的效果需要学习，也就是我们常说的训练。一个好的训练离不开优质的负反馈，这里的损失函数就是模型的负反馈。二分类交叉熵损失函数 torch.nn.BCELoss(weight=None, size_average=None, reduce=None, reducti

【动手学深度学习】51 序列模型

%matplotlib inline import torch from torch import nn from d2l import torch as d2l T = 1000 # 总共产生1000个点 time = torch.arange(1, T + 1, dtype=torch.float32) #生成数据并加入噪音 x = torch.sin(0.01 * time) + torch.normal(0, 0.2, (T,)) d2l.plot(time, [x],

达摩院提出时序预测新模型FEDformer

顶会点赞！达摩院提出时序预测新模型阿里云 2022-07-12 16:05 https://mp.weixin.qq.com/s/9doHueBCbsV7eUH2q3uv0A 代码：https://github.com/DAMO-DI-ML/ICML2022-FEDformer 论文：https://arxiv.org/abs/2201.12740 框架：任务和数据集：数据集下载地址：https://cloud.tsinghua.edu.

15、样本不均衡

1、样本不均衡可能带来的问题模型训练的本质是最小化损失函数，当某个类别的样本数量非常庞大，损失函数的值大部分被样本数量较大的类别所影响，导致的结果就是模型分类会倾向于样本量较大的类别。咱们拿上面文本分类的例子来说明，现在有1W条用户搜索的样本，其中50条和传奇游戏标签有关

risk funtion 以及 loss function

https://zhuanlan.zhihu.com/p/330126934?ivk_sa=1024320u 这个时候还有一个概念叫风险函数(risk function)。风险函数是损失函数的期望，这是由于我们输入输出的(X,Y)遵循一个联合分布，但是这个联合分布是未知的，所以无法计算。但是我们是有历史数据的，就是我们的训练集，f(x) 关于训练

吴恩达Coursera, 机器学习专项课程, Machine Learning：Advanced Learning Algorithms第二周测验

Practice quiz: Neural Network Training 第 1 个问题：Here is some code that you saw in the lecture: model.compile(loss=BinaryCrossentropy()) For which type of task would you use the binary cross entropy loss function? A classification task that has 3 or mor