首页 > TAG信息列表 > 数据量
基于Spring-AOP的自定义分片工具
1 背景随着数据量的增长，发现系统在与其他系统交互时，批量接口会出现超时现象，发现原批量接口在实现时，没有做分片处理，当数据过大时或超过其他系统阈值时，就会出现错误。由于与其他系统交互比较多，一个一个接口做分片优化，改动量较大，所以考虑通过AOP解决此问题。2 Spring-AOPAOP （Aspect OrRedis内核的调用原理
Redis是一个单进程单线程单实例的缓存框架，但是照样做到了大数据量的吞吐，是因为什么呢？ 1、Redis在请求内核的时候，在过路的路上有用到一个叫做epoll的组件 2、epoll实现了线程的多路复用，并且在中间还增加了一个共享位置，这样，当JVM中的数据和内核的数据在做交换数据的时候，还有通过sele计算机网络性能指标之吞吐量（throughput）
计算机网络性能指标速率（或数据率，即 bps）指的是你网络单位时间内最大能传输的数据量，往往受很多外界因素的影响（时延、信道的干扰），实际上并没有速率标识的那么大。所以，速率也只是一个额定速率（或标称速率）。 对实际的速率有专门的名词：吞吐量（throughput），表示在单位时间内通过某个网络（或信道三大范式
三大范式 为什么需要数据规范化 信息重复 更新异常 插入异常 无法正常显示信息 删除异常 丢失有效的信息 三大范式(了解) 第一范式(1NF) 原子性：保证每一列不可再分 第二范式(2NF) 前提：满足第一范式 每张表只描述一件事情 第三范式(3NF) 前提：满足第一范式和第[MySQL]查询所有表数据量
1. 所有表 mysql> SELECT TABLE_NAME,TABLE_ROWS FROM information_schema.`TABLES` -> WHERE TABLE_SCHEMA = (SELECT database()) -> ORDER BY TABLE_ROWS DESC; +------------------------+------------+ | TABLE_NAME | TABLE_ROWS | +--------索引原则
索引原则 索引不是越多越好 不要对经常变动数据加索引 小数据量的表不需要加索引 索引一般加在常用来查询的字段上！ 索引的数据结构 Hash类型的索引 Btree：InnoDB的默认数据结构~ 阅读：http://blog.codinglabs.org/articles/theory-of-mysql-index.html同样的代码逻辑，同样的表结构，由于数据量的不同导致查询没有走索引，而引起请求超时案例分析
问题描述： 预发环境目前加载全部变更会超时，线上正常。需要看一下是什么问题避免预发上的问题带到线上 分析解决过程： EXPLAIN SELECT i.damand_manager_info_id as damand_manager_id, title, i.damand_change_type, i.customer_cloud_name_id, i.damand_chamysql更改执行计划_数据量增加导致MySQL执行计划改变
收到运维同学电话，MySQL服务器连接数满了，登录服务器查看，确实满了，好吧，首先增加连接数到2500，暂时提供对外服务。连接继续升高，又快达到2500。发现有大量的查询时间将近到了1200秒，大量的长连接堆积，导致连接数攀升，看来还是sql的问题。在这些长连接中，发现这样的sql SELECT product_id,gif性能测试通过标准
阿里：https://help.aliyun.com/document_detail/29338.html 一.通用互联网服务端性能 TPS大于期望值错误概率小于0.5%响应时间小于期望值CPU利用率小于75%JVM内存使用率小于80%平均每核CPU的Load小于1FullGC频率大于半小时每次 二.用户感知正常响应时间的标准 一秒为优秀三秒为普通mysql 水平切割和垂直切割
1，水平分割： 例：QQ的登录表。假设QQ的用户有100亿，如果只有一张表，每个用户登录的时候数据库都要从这100亿中查找，会很慢很慢。如果将这一张表分成100份，每张表有1亿条，就小了很多，比如qq0,qq1,qq1...qq99表。 用户登录的时候，可以将用户的id0，那么会得到0-99的数，查询表的时候，将表名qq跟取模httpd--status页面
LoadModule status_module modules/mod_status.so <Location "/status"> SetHandler server-status #限制谁可以访问 <requireany> require all denied require ip 192.168.37.0/24 </requireany> </Location> #ExtendedStatu使用缓存的原则
原则：没事不要用缓存 引入缓存后的不良后果： 缓存和数据库双写不一致 缓存雪崩、缓存穿透、缓存击穿 缓存并发竞争 适用场景： 读密集型 存在热数据 对响应时间要求高 对一致性要求不严格 需要实现分布式锁 不适用场景： 更新频繁 对一致性要求严格 读少 数据量很小性能测试如何准备测试数据
读者提问： 『性能测试准备测试数据，我是从数据库中把数据提取出来，放在 TXT 中，是否需要直接从数据库中访问数据，这两者得到的性能测试结果差异大吗，应该以哪个为准呢 ？』 阿常回答： 数据量较小的情况，数据放在 TXT 中或是从数据库中读取，区别不大。 数据量较大的情况，从 TXT 读1017 斐波那契 打表推结论
分析 打表 发现n 为奇数的时候，结果是-1，n 为偶数的时候结果是1,。由于数据量太大，所以用string存n #include<bits/stdc++.h> using namespace std; const int N = 20; int f[N]; int main() { f[0] = 0,f[1] = 1,f[2] = 1; for(int i = 3;i<N;i++) { f[i] = f[幕布 和 xmind 的大纲模式 都很不错
幕布 和 xmind 的大纲模式 都很不错 xmind 思维导图 ctrl+a 折叠所有子分支 然后就能一级一级展开 最后选择用 xmind的大纲模式，因为免费。 幕布收费，限300个节点，小数据量的还行。SpringCloudAlibaba落地电商项目（二）：复杂度分析
一、订单业务复杂度分析 对于订单系统来说，业务复杂度主要体现在流程复杂、状态多、状态转换复杂等问题。 1、流程设计 从流程上说，订单系统有下单流程、退款流程、退货流程、换货流程、业务对账、业务订正等场景，场景复杂。 2、状态设计后端思维之数据库性能优化方案
前言 毫不夸张的说咱们后端工程师，无论在哪家公司，呆在哪个团队，做哪个系统，遇到的第一个让人头疼的问题绝对是数据库性能问题。如果我们有一套成熟的方法论，能让大家快速、准确的去选择出合适的优化方案，我相信能够快速准备解决咱么日常遇到的80%甚至90%的性能问题。 从解决问关系查询处理和查询优化
1. 查询优化 超过500条创建索引,在索引字段上查询 使用连接代替子查询 尽用IN代替0R, OR的效率是n级别，IN 的效率是log(n)级别，IN 的个数建议控制在200以内 能用BETWEEN不用IN,B+树的特性这种取范围值是比较快的 尽用LIMIT,同时尽量不用count *,inndo是不维护数量的会扫描表数量 切基于EasyExcel的大数据量导入并去重
源码：https://gitee.com/antia11/excel-data-import-demo 背景：客户需要每周会将上传一个 Excel 数据文件，数据量单次为 20W 以上，作为其他模块和报表的基础数据。 客户需求分析： 数据量为 20W 条左右。 数据需要去重。 等待时间不能太长。 文件中会有错误数据存在，错误数据跳过不进入数据库性能优化八大方案，你知道几个
前言 毫不夸张的说咱们后端工程师，无论在哪家公司，呆在哪个团队，做哪个系统，遇到的第一个让人头疼的问题绝对是数据库性能问题。如果我们有一套成熟的方法论，能让大家快速、准确的去选择出合适的优化方案，我相信能够快速准备解决咱么日常遇到的80%甚至90%的性能问题。 从解决问对称业务和不对称业务
首先举例介绍上行业务和下行业务： 上行业务：用户设备（如手机）到基站的传输 下行业务：基站到用户设备（如手机）的传输 对称业务：上行数据量和下行数据量相当，如电话服务，对称业务需要上下行用一样多的频谱资源 不对称业务：上行数据量和下行数据量不相当，比如上网，有时上行数据量大（如微博服机器学习 图神经网络 名词解释
卷积神经网络CNN-Convolutional Neural Networks 卷积层：识别特定线条，卷积核与图像特定部分卷积，识别出横线、竖线、斜线。 卷积核在图像矩阵上进行运算，每次移动的距离称为步长。得到的新矩阵反应了图像的部分特征（横线、竖线） 称为特征图feature快速排序和归并排序的C语言实现和两者排序在各个量级的数据量下效率对比
1 #include<stdio.h> 2 #include<stdlib.h> 3 #include<unistd.h> 4 #include<string.h> 5 #include<errno.h> 6 7 #include"fastsort.h" 8 9 #if 0 10 #define DEBUG(...) printf(__VA_ARGS__) 11 #else 12 #define DEBU对分库分表的认知
以前对分库分表的认知是狭隘的， 分库分表都可以在垂直方向和水平方向进行思考； 垂直方向是指业务层面的切分： 分库：可以分为用户库，帖子库等等 分表：将业务进行细分，防止某个表的字段数量过多，比如用户表可以分为用户基本信息表和用户扩展信息表 水平方向： 分库有两个目的：1、处理连接紧张的Leetcode 1169. 查询无效交易（如果数据量不大,这种题还是得暴力枚举解决）
如果出现下述两种情况，交易 可能无效： 交易金额超过 $1000 或者，它和 另一个城市 中 同名 的另一笔交易相隔不超过 60 分钟（包含 60 分钟整） 给定字符串数组交易清单 transaction 。每个交易字符串 transactions[i] 由一些用逗号分隔的值组成，这些值分别表示交易的名称，时间（以分钟计），金