首页 > TAG信息列表 > 集上

神经网络的学习与泛化能力

一、学习能力，指在训练集上精度。 二、泛化能力，指在测试集上精度。 对于一个大型神经网络在一个大数据集上跑，LOSS持续不降，第一步先减小数据量，比方说只在单张图片上跑，观察每次LOSS下降情况，此时如果LOSS还是不下降说明网络没有学习能力，应该调整模型，一般是先把网络规模缩小，因为任何一

机器学习算法在 IRIS 数据集上的可视化与应用

机器学习算法在 IRIS 数据集上的可视化与应用 五 eri 集由 3 种鸢尾花（Iris Setosa、Iris Virginia、Iris Versicolar）组成，每个品种有 50 个样本，共有 150 个数据。该数据集由英国统计学家和生物学家 Ronald Fisher 在其 1936 年的文章“在毒理学问题中使用多重测量”[1] 中介绍。除

1_机器学习基础题(1)

在学习的过程中碰到的机器学习基础题：   第一题： A.增加模型复杂度，模型在测试集上的准确率就能更好（错，会出现过拟合，在训练集上效果更好，在测试集上，效果变差） B.L2正则化的解通常是稀疏的，L1正则化可以使得参数趋向于更平滑（错，说反了，L2正则化平滑，L1稀疏） C.对于PCA，我们应该选择是的模型

虽然不一定最优秀，但一定是最努力的！

大家好，我是对白。 由于今年上半年的工作已经告一段落，H1的任务也顺利完成，没有任何delay，leader通知7月中旬开始述职。因此趁着这个机会，我想对自己这半年来的工作做一个总结，也顺便和大家聊聊我这段时间的感悟。 首先我上半年负责了三个业务，其中有两个业务要求H1必须上线，所以压力还是

(转载)GPT-3阅读笔记：Language Models are Few-Shot Learners

原地址 Abstract 提出问题：最近的许多研究都表明pre-train模型搭配下游任务fine-tune在许多情况下效果显著，但是微调过程需要大量的样本。这一框架不符合人类的习惯，人类只需要少量的示例或说明便能适应一个新的NLP下游任务。 主要贡献：本文证明了通过增大参数量就能让语言模型显著提

深度学习--在小型图像数据集上使用预训练的卷积神经网络

文章目录 前言 一、使用预训练网络 二、将VGG16卷积基实例化 三、使用卷积基进行特征提取 1.不使用数据增强的快速特征提取 2.使用数据增强的特征提取 四、微调模型   前言 想要将深度学习应用于小型图像数据集，一种常用且非常高效的方法是使用预训练网络。 预训练网

深度学习--使用数据增强在小型图像数据集上训练一个卷积神经网络

文章目录 前言 一、数据集 二、训练一个基准模型 二、使用数据增强在小型数据集上训练一个神经网络   前言 深度学习的一个基本特性就是能够独立地在训练数据中找到有趣的特征，无须人为的特征工程，而这只在拥有大量训练样本时才能实现。特别是对于输入样本的维度非常高（

机器学习的基本概念

基本概念： 有监督学习，无监督学习，机器学习的分类，回归，什么情况过拟合，什么情况下欠拟合。 机器学习最常见的算法： K最近邻算法，线性模型，朴素贝叶斯，决策树，随机森林，SVMs，神经网络。 不同的算法在不同的数据集上的表现不同。 主要任务是：建模，模型参数调整 建模的基础：数据进行降维，聚类，算法建模

MLP、CNN在MNIST数据集上性能对比

对MLP、简单CNN和多层CNN区别做简单性能对比 MLP（需将图片宽高数据转换成一维数据形式） from keras.datasets import mnist from matplotlib import pyplot as plt import numpy as np from keras.models import Sequential from keras.layers import Dense from keras.utils impo

文本校对的一点论文

看这个论文只能了解其思路： 1、特征工程方法 2、如何评价一个地方改得对还是不对 3、对与错的边界在什么地方 4、用的什么语言模型 5、各个特征之间是什么关系 其实看了很多文章 都是灌水 都是用各种奇 巧 yin 技来说明自己的方法有用 但是实际实验都是没有用。毕竟实践出真

datawhale李宏毅机器学习——task07总结

在任务01中，对机器学习的定义、结构和功能有了大致了解。 机器学习是为了让机器能够像人一样拥有智慧而设计的一种算法，这种算法最大的特点在于从一堆数据中根据设定的神经网络学习数据中隐含的知识。机器学习的执行步骤，首先，明确要解决的问题类型，是回归还是分类；然后，根据问题类

使用决策树算法进行鸢尾花数据分类

使用决策树算法进行鸢尾花数据分类（学习笔记） 决策树算法介绍 构建树的过程 从根节点开始，计算所有特征值的信息增益（信息增益比、基尼系数），选择计算结果最大的特征作为根节点。（信息熵增益->ID3，信息熵增益率->C4.5，基尼系数->CART）根据算出的特征建立子节点，执行第一步，直到所有特征的信

机器学习分类问题的评价指标

文章目录 前言一、accuracy二、precision三、recall四、f1-score总结 前言 我们知道机器学习分为回归问题和分类问题；同时，评价指标在模型训练和评价中占据着举足轻重的地位；本文主要介绍分类问题常见的四个评价指标，accuracy，precision， recall 和f1-score。在明确以上四个评

Sentence-BERT

来源https://www.cnblogs.com/gczr/p/12874409.html 记录 用以回忆 来源于上述网址 （1）pooling策略 SBERT在BERT/RoBERTa的输出结果上增加了一个pooling操作，从而生成一个固定大小的句子embedding向量。实验中采取了三种pooling策略做对比： 直接采用CLS位置的输出向量代表整个句子的

【机器学习基础】关于深度学习的Tips

继续回到神经网络章节，上次只对模型进行了简要的介绍，以及做了一个Hello World的练习，这节主要是对当我们结果不好时具体该去做些什么呢？本节就总结一些在深度学习中一些基本的解决问题的办法。 为什么说是“基本的办法”？因为这一部分主要是比较基础的内容，是一些常用的，比较容易理解的，

【mmdetection3d】——使用已有模型在标准数据集上进行推理和训练

1: 使用已有模型在标准数据集上进行推理和训练 使用已有模型进行推理 这里我们提供了评测 SUNRGBD、ScanNet、KITTI 等多个数据集的测试脚本。 请参考开始下的验证/样例来获取更容易集成到其它项目和基本样例的高级接口。 在标准数据集上测试已有模型 单显卡单节点多显卡多节

过拟合与梯度消失

过拟合 现象： 在训练集上表现效果非常好，但是在验证集上效果下降。在训练集上的误差越来越小并趋于稳定，在验证集上的误差先减小后增大。 原因： 精确学习到了训练集上的特征，但是实际数据与训练集数据存在差距。 解决方法： 1.添加L1/L2正则化：引入模型的复杂度，模型越复杂，则正则化项越大，误

小样本算法库LibFewShot

小样本学习算法库 LibFewShot包含了 17 个 2017 年到 2020 年具有代表性的小样本学习算法，为小样本学习领域中算法对比采用统一框架、统一设置、实现公平对比等提供便利。 论文链接：https://arxiv.org/abs/2109.04898 Github 链接：https://github.com/RL-VIG/LibFewShot

集成模式学习总结

一、为什么要集成 我们在有限数据上训练模型，再用模型去预测新的数据，并期望在新数据上得到较低的预测损失，这里的预测损失可以指分类问题的错判率或回归问题的均方误差等各类评价指标。 对于实际问题中的数据，我们都可以认为它总是服从某一个分布，预测数据的平均损失主要来自三项：  

Sentence-BERT论文阅读笔记

目录 1. 第一篇论文《Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks》1.1 论文基本信息1.2 动机1.3 模型1.4. 实验1.4.1 训练所用的数据集1.4.2 实验结果1.4.3 消融实验 1.5 小结 2. 第二篇论文2.1 论文基本信息2.2 动机2.3 模型2.3.1 Augmented SBERT2

【机器学习基础】——线性回归

之前看过一些有关机器学习的基础资料和视频，但很多知识点都记不太清了，现在专门开个专题，根据自己的理解将之前学过的进行回顾和整理，可能会引用一些例子和资料，资料主要来源于视频学习和《统计学习方法》一书，可能对于一些不清楚的问题会翻看一些博客等资料。 本节主要针对线性回归的原

机器学习笔记：过拟合与欠拟合

文章目录 前言过拟合与欠拟合参考资料 前言 今天复习机器学习基础知识，关于过拟合和欠拟合有段比喻感觉很不错，让人印象深刻，这里分享给大家。 过拟合与欠拟合 过拟合与欠拟合现象就如同我们在过往经历上花费的精力，如果我们对过往的细节过分追究势必需要花费很大的精力，那

大数据应用与管理3：分类分析

3、分类分析 3.1实验说明 对给定数据集《电信客户流失预测.xlsx》利用SPSS Modeler软件进行数据处理，分别利用决策树与KNN两种方法对数据进行分析.分析不同因素对于分类的重要性，并能对给定的用户A(与2中用户A相同)利用决策树或者KNN判断其是否会流失。 3.2实验步骤  请附SPSS Mode

CTR评估中的穿越问题

什么是评估穿越? 在拿到样本数据之后，做了必要的清洗和采样之后，我们会将样本分为训练集（train）和测试集（test）（有时还会再分一份作为validation），我们会在训练集上训练出模型，然后在测试集上对模型的效果进行评估，具体来说，我们会计算各种指标出来，例如准确率、召回率、AUC，MAP等等。我们之所以

神经网络基础：学习方法与数据处理

神经网络基础：学习方法与数据处理 Author：雾雨霜星 Time:2021-06-26 欢迎来我的网站学习： https://www.shuangxing.top/#/passage?id=28 前言 在把书上的三个例子自己码了一次跑完，对keras的使用稍微有点上手了，在训练模型的过程终究难以跨越的一个坎就是，过拟合。 学习方法 监督学