首页 > TAG信息列表 > 损失
2022秋week1，9月12日
上海—小雨 2022秋week1 9月12日 计算机视觉： why cv matters？ for safety health security comfort fun access and so on. course contects: salieny detection segmentation object detection object recognition image recognition video processing categoriesIncremental Learning Techniques for Semantic Segmentation 论文阅读笔记
Incremental Learning Techniques for Semantic Segmentation 论文阅读笔记 摘要 当需要增量学习新任务时，由于灾难性的遗忘，深度学习架构表现出严重的性能下降。 之前增量学习框架专注于图像分类和对象检测，本文正式提出了语义分割的增量学习任务。作者设计了方法提取先前模型的知识什么是无常损失？
无常损失 Impermanent Loss 无常损失简单来说是由于资金池中的币的价格背离引起的。去中心化交易所的自动做市商模型一般是恒定乘积做市商模型，简称 CPMM（Constant Product Market Maker）。最早在2017年，以太坊的创始人 vitalik 就在 reddit 上提出过 CPMM 模型在去中心化交易所的应用10个常用的损失函数解释以及Python代码实现
什么是损失函数？ 损失函数是一种衡量模型与数据吻合程度的算法。损失函数测量实际测量值和预测值之间差距的一种方式。损失函数的值越高预测就越错误，损失函数值越低则预测越接近真实值。对每个单独的观测(数据点)计算损失函数。将所有损失函数（loss function）的值取平均值的函数称为m10
1、抽取式mrc模型 【Tracing Origins: Coreference-aware Machine Reading Comprehension的三个模型】 【pku博士论文】 整体由 2个模块组成，左边模块用于确定答案的大致位置： 通过bert得到上下文每个单词的开始向量（红色）和结束向量（蓝色），通过bert的cls得到问题向量1（红色）和问题向量损失函数
在深度学习广为使用的今天，我们可以在脑海里清晰的知道，一个模型想要达到很好的效果需要学习，也就是我们常说的训练。一个好的训练离不开优质的负反馈，这里的损失函数就是模型的负反馈。 二分类交叉熵损失函数 torch.nn.BCELoss(weight=None, size_average=None, reduce=None, reducti李宏毅机器学习-回归
task2 回归 找到一个Function，通过这个Function预测出一个数值，如根据股票走势预测明天的股票情况，根据宝可梦的属性预测它的CP值 2.1 线性模型： input x: featrue w: weight b: bias 2.2 损失函数(Loss Function) 损失函数的作用是衡量参数的好坏 线性模型中损失函数用真实的output怎么提出需求别人更容易答应？
世界上有两套规则，第一套规则是公平正义礼仪道德，第二套规则是隐藏在背后的利益。嘴上说的是第一套规则，内心想的是第二套规则。向别人提出需求时，总是站在自己的利益角度去诉说，是无法实现需求的，只有站在别人的利益角度，帮助别人得到更大的利益，戳中对方内心最核心的利益，才能实现risk funtion 以及 loss function
https://zhuanlan.zhihu.com/p/330126934?ivk_sa=1024320u 这个时候还有一个概念叫风险函数(risk function)。风险函数是损失函数的期望，这是由于我们输入输出的(X,Y)遵循一个联合分布，但是这个联合分布是未知的，所以无法计算。但是我们是有历史数据的，就是我们的训练集，f(x) 关于训练5-5损失函数losses——eat_tensorflow2_in_30_days
5-5损失函数losses 一般来说，监督学习的目标函数由损失函数和正则化项组成。（Objective = Loss + Regularization） 对于keras模型，目标函数中的正则化项一般在各层中指定，例如使用Dense的 kernel_regularizer 和 bias_regularizer等参数指定权重使用l1或者l2正则化项，此外还可以用kerne关于CycleGAN损失函数的可视化理解
看了《Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks》这篇论文，大致了解了CycleGAN的工作原理，为了更好的理解他损失函数的设计，结合提供的代码，我绘制了损失函数的流程图，并且用maps跑了代码，图中的图片就是测试集挑选出来的。通过看代码，我发现他GBDT回归算法
文章转载自https://zhuanlan.zhihu.com/p/81016622 1. GBDT简介 Boosting、Bagging和Stacking是集成学习(Ensemble Learning)的三种主要方法。Boosting是一族可将弱学习器提升为强学习器的算法，不同于Bagging、Stacking方法，Boosting训练过程为串联方式，弱学习器的训练是有顺序的，每人脸识别中的损失函数
本文主要是针对人脸识别中的各种loss进行总结。 背景 对于分类问题，我们常用的loss function是softmax，表示为： ,当然有softmax肯定也有hardmax: ，softmax和hardmax相比，优势是更容易收敛，更容易达到one-hot。softmax鼓励特征分开，但是并不鼓励分的很开，对于人脸识别来说我们需要类【论文笔记】Towards Deep Learning Models Resistant to Adversarial Attacks
摘要 作者从鲁棒优化（robust optimization）的角度研究了神经网络的对抗鲁棒性（adversarial robustness）。基于鞍点公式（min-max）本文提出了一种防御任何对抗样本的方法。 1 介绍 本文的主要贡献： 对抗样本的生成、对抗训练（即攻击与防御）是同一的，这是一个鞍点公式（下文的公式(1)）的优化问题什么是损失函数？
损失函数（Loss Function） 机器学习模型关于单个样本的预测值与真实值的差称为损失。损失越小，模型越好，如果预测值与真实值相等，就是没有损失。用于计算损失的函数称为损失函数。模型每一次预测的好坏用损失函数来度量。 损失函数特点 恒非负 误差越小函数值越小 收敛快 常见的损失函什么是梯度下降？
梯度下降就是沿着梯度所指引的方向，一步一步向下走，去寻找损失函数最小值的过程，然后我们就找到了接近正确的模型。 在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法推荐模型之FM模型——隐向量特征交叉【学习笔记】
针对问题： 改进思路： 数学模型： 损失函数： 交叉熵损失【cs231n】损失函数及梯度下降优化
本专栏的文章是我学习斯坦福cs231n课程的笔记和理解, 同时也欢迎大家可以访问我的个人博客，查看本篇文章 目录损失函数支持向量机SVM正则化常用的正则化函数多项逻辑斯蒂回归（softmax）优化梯度下降计算梯度数值梯度解析梯度梯度下降过程小批量随机下降参考资料 损失函数 如何确定W，YOLO-Pose: Enhancing YOLO for Multi Person Pose Estimation Using Object Keypoint Similarity Loss [22
YOLO-Pose: Enhancing YOLO for Multi Person Pose Estimation Using Object Keypoint Similarity Loss [2204.06806] 论文题目：YOLO-Pose: Enhancing YOLO for Multi Person Pose Estimation Using Object Keypoint Similarity Loss 论文地址：http://arxiv.org/abs/2204.06806为什么用交叉熵作为损失函数，这篇文章写得不错
参考这篇文章： https://zhuanlan.zhihu.com/p/70804197 前言 在处理分类问题的神经网络模型中，很多都使用交叉熵 (cross entropy) 做损失函数。这篇文章详细地介绍了交叉熵的由来、为什么使用交叉熵，以及它解决了什么问题，最后介绍了交叉熵损失函数的应用场景。 要讲交叉熵就要论文笔记 -- Contrastive Clustering（对比聚类）
文章目录 Contrastive Clustering文章介绍问题背景拟解决问题联合优化的应用 主要贡献相关工作对比学习深度聚类实例级和聚类级的含义 提出的方法模型结构PCB模块ICH模块CCH模块算法流程损失构建 实验数据集介绍实验结果类簇演化过程数据增强的消融实验两种对比方式的消融机器学习——线性回归基础
线性回归 简单的线性回归概述一元线性回归多元线性回归损失函数平方损失函数绝对损失函数对数损失函数0-1损失函数 方程解评估性能指标（来源：[头歌](https://www.educoder.net/)） 简单的线性回归 概述 在生活中，我们常常能碰到这么一种情况，一个变量会跟着另一个变量的变化【机器学习-逻辑回归】
机器学习笔记（3）-逻辑回归 逻辑回归损失及优化精确率和召回率分类评估报告 逻辑回归 解决二分类问题 什么是逻辑回归：逻辑回归是机器学习中的一种分类模型，逻辑回归是一种分类算法，虽然名字中带有回归。由于算法的简单和高效性，在实际应用中非常广泛。 逻辑回归是一种分类算法CNN1
y=wx+b，w是矩阵，x是矩阵(数据)，b是偏置项(与输出挂钩)，每个w都有自己对应的偏置 [ w w w w w ... w w w w w w w w ... w w w ... w w w w w ... w w w] [ x x x x x .. x x ] [ b b b .. b b ] 损失函数[论文][人脸算法]Boosting Facial Expression Recognition by A Semi-Supervised Progressive Teacher
Motivation 在表情识别中，标注质量高的数据集数据量小，容易造成过拟合；数据量大的数据集标注质量不佳，含噪声，不利于模型的学习。如下图，为表情识别中最大的数据集之一AffectNet中错误标签。我们提出Progressive Teacher 用于同时解决缺少高质量标注数据和大数据集标注含噪声两个问题。