TIDB

首页 > TAG信息列表 > TIDB

tidb 数据误删除恢复

select * from mysql.tidb where variable_name in ('tikv_gc_safe_point','tikv_gc_life_time'); tikv_gc_life_time 10m0s select * from sbtest1 where id=202418;delete from sbtest1 where id=202418; set tidb_snapshot='2022-08-24 16:06:00&

tidb 调整索引创建速度

调整索引创建的速度 #生成测试数据sysbench --config-file=./config_new ./oltp_common.lua --table-size=200000 prepare set global tidb_ddl_reorg_worker_cnt=2;set global tidb_ddl_reorg_batch_size=2;create index idx_1 on sbtest1(c);需要100sset global tidb_ddl_reorg_

tidb 空region合并

1.检查schedul-limit参数 show config where type='pd' and name like '%schedule-limit';schedule.hot-region-schedule-limit 4schedule.leader-schedule-limit 4schedule.merge-schedule-limit 8schedule.region-schedule-limit 2048schedule.replica-sche

tidb 驱逐节点leader

tidb自动处理僵尸进程脚本

[root@host-2 wj]# vi kill_tidb_zombie.sh #!/bin/bash source /etc/profile cat /dev/null > /tmp/sql_tmp_kill_zombie.sql kill_tidb_zom(){ #查询僵尸进程 mysql -h 192.168.1.$1 -P 4000 -u root -p'passwd' -e "select concat('kill tidb ',id

倒计时2日！基于 Apache DolphinScheduler&TiDB 的交叉开发实践，从编写到调度让你大幅提升效率

当大数据挖掘成为企业赖以生存、发展乃至转型的生命，如何找到一款好软件帮助企业满足需求，成为了许多大数据工程师困扰的问题。但在当下高速发展的大数据领域，光是一款好软件似乎都不足以满足所有场景业务需求，许多企业逐渐将目光转向了技术生态的“外延”——即结合各种场景打造企业

TiDB 系统优化

1、将集群中所有服务器进行如下优化操作 yum install -y numactl vi /etc/rc.d/rc.local if test -f /sys/kernel/mm/transparent_hugepage/enabled; then echo never > /sys/kernel/mm/transparent_hugepage/enabled fi if test -f /sys/kernel/mm/transparent_hugepage/def

TIDB 运维

对集群的管理登录中台192.168.1.50 必须切换到tidb账号 su tidb password:tidb cd /home/tidb/.tiup/bin 中台可以管理多个集群,查看集群列表 ./tiup cluster list 查看集群运行状态 ./tiup cluster display cdjs-tidb 停止集群 ./tiup cluster stop cdjs-tidb 启动

用一个性能提升了666倍的小案例说明在TiDB中正确使用索引的重要性

背景最近在给一个物流系统做TiDB POC测试，这个系统是基于MySQL开发的，本次投入测试的业务数据大概10个库约900张表，最大单表6千多万行。这个规模不算大，测试数据以及库表结构是用Dumpling从MySQL导出，再用Lightning导入到TiDB中，整个过程非常顺利。系统在TiDB上跑起来后，通过Dashboard

2022年6月中国数据库排行榜：TiDB卷土重来摘桂冠，达梦蛰伏五月夺探花

安装部署TiCDC

环境:TIDB:V6.0.0Mysql:5.7OS:Centos 7 192.168.1.118 pd,tidb,tikv,tiflash,monitoring,grafana,alertmanager,pump,drainer192.168.1.85 pd,tidb,tikv,tiflash,pump,ticdc192.168.1.134 pd,tidb,tikv,pump 如果要添加 TiCDC 节点,IP地址为192.168.1.85 可以按照如下步骤进行

大数据利器分享--clickhouse

之前使用数据库较多的是mysql，其次是redis和mongo。应对数据量较大的情况时：对mysql做了分区存储。mysql在常规情况下的存储量级是：2000万。但是当数据量越来越大的情况下，效率也会相应降低。场景：从es获取了应用日志，入库后分析。首先用开源框架“达芬奇”将入库后的数据进行展示，默认

（转）使用 docker compose 安装 tidb

原文：https://www.cnblogs.com/liuys635/p/15077965.html 目标：单机上通过 Docker Compose 快速一键部署一套 TiDB 测试集群前提条件： 1.centos版本在7.3 以上 2.安装git 3.安装docker Docker version 18.06.1-ce, build e68fc7a 4.安装docker-compose docker-compose version

tidb 分布式数据库介绍

1.tidb 介绍：是开源的，java开发，大公司和tidb公司合作，有问题及时得到处理2.tidb 特别底层架构3.tidb和mysql压力测试4.tidb+spark 大数据处理5.tidb高效原理 mysql：关系型数据库能联查，大数据查询慢，并发差，redis,es,hbase：非关系型数据库，不能联查，并发性能高，支持在线扩容缩容newsql：tidb

多种方式告诉你如何计算DM同步数据到TiDB的延时时间

背景用户在做技术选型的过程中，总是会对一些数据指标比较关心，特别是在和竞品相比较的时候，更加需要一些有说服力的数据。基于MySQL开发的项目在迁移到TiDB的时候，使用DM同步数据是必不可少的一个环节，我在最近的一次POC中就碰到了这样一个需求，需要评估一个具体的延时时间参考值，因为用

关于TiDB数据脱敏的一些想法

数据库安全一直都是用户十分关注的点，尤其在一些核心系统与特殊领域之中，当掌握了一定规模的敏感数据后，就需要时刻避免数据的泄露和丢失，所以对于数据库的管理和使用都有着杂繁琐的流程和复杂的权限，这其中就有一个重要的安全技术 — 数据脱敏。数据脱敏数据脱敏是指对于数据库

2022年1月国产数据库排行榜：TiDB霸榜两年势头不减，openGauss与OceanBase分数大涨

奎钩粲粲光华动，群玉森森气象新。国产数据库行业在经历了2021年的躬行实践之后，产品、服务、生态等取得了蓬勃发展。从2022年1月份的国产数据库流行度排行榜上，我们可以看到，相较于去年12月份，榜单上又增加了新成员。目前，共有194家数据库参与排名。排行榜前十五名的数据库中，80%的产品流

ansble通过脚本定时清理k8s日志

环境：环境k8s1.17，ansble通过脚本定时清理k8s日志 [root@tidb-21 delete-k8s-logs]# lsansib-delete.sh delete-logs.sh [root@tidb-21 delete-k8s-logs]# more delete-logs.sh #删除日志脚本#!/bin/bashfor i in `find /var/docker/lib/containers -name *-json.log`;do cat /de

TiDB统计信息

SQL执行的时候，SQL经过编译、预处理、逻辑解析和物理解析最终生成执行计划；TiDB的物理解析的时候，会根据统计信息来决定如何进行扫描，采用全表扫描还是走索引，走哪个索引等等方式； EXPLAIN查看执行计划的时候，返回的行数也是根据统计信息进行统计的；统计信息的基本组成表级别统计信息

tidb执行计划--三

TiDB中有两种方法管理执行计划，Hunt和SPM 表结构如下 CREATE TABLE `t1` ( `a` int(11) DEFAULT NULL, `b` int(11) DEFAULT NULL, KEY `idx_a` (`a`), KEY `idx_ab` (`a`,`b`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin; mysql> select * from t1 l

TiDB自增ID

自增ID实现原理：每个自增列使用一个全局可见的键值对用于记录当前已分配的最大ID；为了降低分布式分配自增ID的网络开销，每个TiDB节点会缓存一个不重复的ID段；当前预分配的ID段使用完毕，或者TIDB重启的时候就会重新申请新的ID段；自增ID使用限制必须在主键或者唯一索引列上只能定义在

TiDB分区表

分区表类型 Range分区：时间范围类List分区：数值类的确值，例如status in (0,1,2)每个值是一个分区；List Columns: 类型不限int的确值，如date='2022-01'Hash分区：目的为了打散分区，防止写热点注：分区表的每个唯一键或者主键必须包含分区表达式中的所有列；有效分区表 mysql> show create

TiDB:Raft与Multi Raft

Leader：集群的管理者所有读写流量都是走LeaderLeader会周期性向follower发出心跳信息；并且会将写的数据以日志的方式传递给其他follower；当写入的数据成员过半，就认为写入成功； Follower：被管理者对其他的服务作出响应接受leader的日志；如果长时间没收到leader的通知信息，就会将自己

TiDB整体架构详解、TiDB核心特性——水平扩展、高可用

TiDB 集群主要包括三个核心组件：TiDB Server，PD Server 和 TiKV Server。此外，还有用于解决用户复杂 OLAP 需求的 TiSpark 组件和简化云上部署管理的 TiDB Operator 组件。架构图解 TiDB Server TiDB Server 负责接收 SQL 请求，处理 SQL 相关的逻辑，并通过 PD 找到存储计算所

TiFlash在线扩缩容

Tiflash扩缩容方式和TiDB/TiKV/PD不一样；首先确认版本，TiFlash在线扩容，必须是V4.0以上版本；如果是v4.0需要开启PD参数 enable-placement-rules ；如果是v5.0，该菜蔬默认开启；一、编辑配置文件 tiflash_servers: - host: x.x.x.x ssh_port: 22 tcp_port: 9000 http_port: 812