首页 > TAG信息列表 > 调优
使用阈值调优改进分类模型性能
阈值调优是数据科学中一个重要且必要的步骤。它与应用程序领域密切相关，并且需要一些领域内的知识作为参考。在本文中将演示如何通过阈值调优来提高模型的性能。 用于分类的常用指标 一般情况下我们都会使用准确率accuracy来评价分类的性能，但是有很多情况下accuracy 不足以报告分spark参数调优
spark参数调优 目录spark参数调优 1.num-executors2.executor-memory3.executor-cores4.driver-memory5.spark.default.parallelism6.spark.storage.memoryFraction7.spark.shuffle.memoryFraction8.total-executor-cores9.资源参数参考示例后续 1.num-executors 参数说明：该参数这一次，我们把AI自治数据库带到了世界人工智能大会上
9月3日，2022世界人工智能大会（WAIC）在上海圆满落幕。WAIC2022 秉持“智联世界”理念，通过线上线下联动的会展形式，汇聚顶级科学家、企业家、政府官员、专家学者、国际组织、投资人、创新团队一同探讨科技前沿话题，推动全球“共创、共建、共融、共治、共享、共赢”。 WAIC 是经国务院批如何进行性能调优-golang
目录前言内存cpu占用docker镜像占用 前言 内存 cpu占用 docker镜像占用 docker load -I xx.tar.gz dive xxxzabbix_server优化
造成zabbix性能下降的因素如表所示zabbix性能低下的表现1. zabbix队列有太多被延迟的item，可以通过administration-queue查看2. zabbix绘图中经常出现断图，一些item没有数据3. 带有nodata()函数的触发器出现flase4. 前端页面无响应，或者响应慢解决办法如下：1.一次较波折的MySQL调优
春节长假某日，阳光明媚，春暖花开，恰逢冬奥会开幕，想着一定是一个黄道吉日，必能顺风顺水。没想到却遇到一个有点小波折 的客户报障。 01故障起因 故障起因是客户前一天从自建MySQL迁移到云上RDS，在执行某个并发较高的业务时出现了大量锁等待，客户当时升级了实例到最高规格，但故障依旧。客户Linux到底要做什么？
从上一回分析了Linux到底是什么之后。 我觉得得具体地思考一下我们到底在实际应用中会拿Linux做什么？ 从产品应用上来说：如手机、智能电视、智能音箱、车载中控 1.手机性能调优 2. 从芯片原厂上来说： 我们需要分哪几个模块去具体学习？MySQL IO线程及相关参数调优 update (进行大量数据更新引起的性能低)
日志内容 I/O thread 0 state: waiting for completed aio requests (insert buffer thread) I/O thread 1 state: waiting for completed aio requests (log thread) I/O thread 2 state: waiting for completed aio requests (read thread) I/O thread 3 state: waiting for com2022-08-16面试
1. springboot 和tomcat 2. springcloud的请求如何通过网关鉴权？3. springmvc 启动时组件的加载顺序？4. mybatis如何同时更新三条记录5. hibernate实现级联更新6.一个web程序应用程序启动时的加载流程7.如何向www.baidu.com地址发出请求时，并获取相应？8.？？？9.谈谈你对tcp/ip telnet udp协SpringBoot内置tomcat参数调优
1. 默认配置 可通过org.springframework.boot.autoconfigure.web.ServerProperties查看，其中包括属性tomcat、jetty、undertow三种服务器的设置，默认启用tomcat。 # tomcat 8 server: tomcat: max-connections: 10000 #最大连接数，默认为10000 accept-count: 100 # 最大连性能测试步骤
1.确认需求(指标)。最简单也是最难的部分，因为很多时候都是为了做而做，不去思考为什么要做，要得到什么结果。 2.方案设计(分析)。做之前要了解系统架构、业务逻辑、接口等相关知识，用什么工具、怎样做等。 3.测试执行。 4.瓶颈分析。 5.性能调优。 6.报告输出。阿里P8架构师总结的互联网Java架构系统化学习路线
可以说，Java的是现阶段中国互联网公司中，覆盖度最广的研发语言，掌握了Java的技术体系，不管在成熟的大公司，快速发展的公司，还是创业阶段的公司，都能有立足之地。 有不少朋友问，除了掌握Java的语法，还要系统学习哪些的Java相关的技术，今天分享一个，互联网的Java技术学习路线图。 一：常见模Tomcat性能调优和JVM性能调优
摘要: 原创出处 cloud.tencent.com/developer/article/1346964 「Java架构师历程」欢迎转载，保留摘要，谢谢！ Tomcat性能调优 JVM性能调优 一、内存调优 二、垃圾回收策略调优 Tomcat性能调优 找到Tomcat根目录下的conf目录，修改server.xml文件的内容。对于这部分的调优，我所了解jvm调优经验？调优⽅案有哪些？
1. 调优时机：a. heap 内存（⽼年代）持续上涨达到设置的最⼤内存值；b. Full GC 次数频繁；c. GC 停顿时间过⻓（超过1秒）；d. 应⽤出现OutOfMemory 等内存异常；e. 应⽤中有使⽤本地缓存且占⽤⼤量内存空间；f. 系统吞吐量与响应性能不⾼或下降。 2. 调优原则：a. 多数的Java应⽤不mysql 调优集锦
这篇文章收集了常见的mysql调优知识 1.字段层面 •尽量使用TINYINT、SMALLINT、MEDIUM_INT作为整数类型而非INT，如果非负则加上UNSIGNED •VARCHAR的长度只分配真正需要的空间，如果长度固定则用CHAR长度 •使用枚举或整数代替字符串类型 •尽量使用TIMESTAMP而非DATETIME，在表数浅谈jvm调优
如何排查jvm cpu飙升问题？ 1.如果系统是运行的，可以通过命令观察一下cpu高的进程 2.通过jmap -histo pid 查看当前进程里面 按照占用内存的排序的对象实例个数以及其大小，以及其class文件。 3.jastack pid 然后直接拿到线程id，去分析具体代码 可以先设置好dump文件是否需要生成以及日常系统压测性能调优
前端 cdn nginx 设置缓存时效，让浏览器和cdn都产生缓存 后端 接口加缓存，防击穿的话，加redis锁，只让一个请求产生缓存。 阿里云压测 需要注意服务端有防火墙或者waf安全策略，可以用压测的多ip选项Mysql调优之使用mysql慢查询日志优化sql语句及表索引
Mysql调优之使用mysql慢查询日志优化sql语句及表索引 一，用慢查询日志找出耗时语句，并优化 # 查看mysql系统慢查询变量配置（能看到慢查询日志是否开启，日志路径等） SHOW VARIABLES LIKE '%slow%'; SHOW VARIABLES LIKE '%slow%'; 查询结果示例： Variable_name Value log_slow_adminspark-调优（配置层面）
spark-调优（配置层面） 1.executor的配置（重点） --num-executors executor的数量 --executor-memory 每一个executor的内存 --executor-cores 每一个executor的核心数 --driver-memory Driver的内存1G-2G(保存广播变量) --spark.storage.memoryFraction 用于缓存的内存占比默认时0.6,spark-调优（代码层面）
spark-调优（代码） 在编写代码时可以进行优化 避免创建重复的RDD 尽可能复用同一个RDD 对多次使用的RDD进行持久化 尽量避免使用shuffle类算子 使用map-side预聚合的shuffle操作 使用高性能的算子 广播大变量 使用Kryo优化序列化性能 优化数据结构 使用高性能的库fastutil 1.对多SQL常见调优
查询SQL尽量不要使用* 而是select 具体字段 统计行数时,count(1)优于count(*) 尽量避免在where子句中使用or来进行条件连接.or会使索引失效,导致全表扫描 查询id为1 或者deptno为30的员工 要么分两句 要么用UNION. select * from emp where empno = 1 or deptno=30 like语句优ES 常见问题
参考： https://developer.aliyun.com/article/879525 ES调优手段 设计调优 a. 根据业务增量需求，采取基于日期模板创建索引，通过 rollover API 滚动索引；(rollover API我会单独写一个代码案例做讲解，公众号：JavaPub) b. 使用别名进行索引管理；（es的索引名不能改变，提供的别名机制使用非常C#多线程下的调优
目录 一、原子操作 1.基于Lock实现 2.基于CAS实现 3.自旋锁SpinLock 4.读写锁ReaderWriterLockSlim 二、线程安全 1.线程安全集合 2.线程安全字典 三、线程池 1.通过QueueUserWorkItem启动工作者线程 2.线程池等待（信号量） 3.Task 4.线程池调度原理 四、并行 五【PostgreSQL】PostgreSQL的vacuum调优和客户化调度vacuum任务
PostgreSQL内嵌的autovacuum一直在改进，但是在很多客户环境下，仍然有很多不满足的地方。 常见的问题和限制 1.在系统高峰时期，表成了autovacuum的候选对象 autovacuum的设置是基于一些扩展因子和阈值的。在高峰期，如果表上有大量的事务，就很容易超过这些设置。实际上是在错误的时间Hbase调优
一、HBase索引案例（使用redis存储索引） 在这里是简单模拟将索引存到redis中，再通过先查询索引再将Hbase中的数据查询出来。 需要考虑的问题： 1、建立redis的连接，建立Hbase的连接 2、如何创建索引，即创建索引的key和value的设计 3、如何通过将查到的索引，去查询到对应H