首页 > TAG信息列表 > Doris

如何高效解决 C++内存问题，Apache Doris 实践之路｜技术解析

Apache Doris 是一款高性能 MPP 分析型数据库，出于性能的考虑，Apache Doris 使用了 C++ 语言实现了执行引擎。在 C++ 开发过程中，影响开发效率的一个重要因素是指针的使用，包括非法访问、泄露、强制类型转换等。Google Sanitizer 是由 Google 设计的用于动态代码分析的工具，在 Apache Do

如何高效解决 C++内存问题，Apache Doris 实践之路｜技术解析

导读：Apache Doris 使用 C++ 语言实现了执行引擎，C++ 开发过程中，影响开发效率的一个重要因素是指针的使用，包括非法访问、泄露、强制类型转换等。本文将会通过对 Sanitizer 和 Core Dump 分析工具的介绍来为大家分享：如何快速定位 Apache Doris 中的 C++ 问题，帮助开发者提升开发效率

Tapdata 与 Apache Doris 完成兼容性互认证，共建新一代数据架构

2022年4月，Tapdata 启动 PDK 插件生态共建计划，致力于全面连接数据孤岛，加速构建更加开放的数据生态，旨在充分激发实时数据流动的价值，助力各行各业完成从传统数据架构平滑过渡到新一代数据库架构，为用户提供更好的数据服务体验。作为参与该计划的首批生态共建伙伴，Apache Doris 与 Tapd

单机部署 Doris

官网链接：http://doris.incubator.apache.org/ 环境准备 CPU：2C（最低）8C（推荐） 内存：4G（最低）48G（推荐） 硬盘：100G（最低）400G（推荐） 平台：MacOS（Intel）、LinuxOS、Windows虚拟机 系统：CentOS（7.1及以上）、Ubuntu（16.04 及以上） 软件：JDK（1.8及以上）、GCC（4.8.2 及以上） 单机部署 设置系统最大打开文件句柄

新型MPP的Doris数据库：数据模型和数据分区使用详解

Apache Doris是一个现代化的MPP分析性数据库产品。是一个由百度开源，在2018年贡献给Apache基金会，成为有顶级开源项目。仅需要亚秒级响应时间即可获得查询结果，可以有效地支持实时数据分析。Apache Doris可以满足多种数据分析需求，如数仓T+1模式固定历史报表，实时数据分析等。 数据模型

doris 修改最大连接数

  本文档主要介绍了 User 级别的相关配置项。User 级别的配置生效范围为单个用户。每个用户都可以设置自己的 User property。相互不影响。 查看配置项 FE 启动后，在 MySQL 客户端，通过下面命令查看 User 的配置项：SHOW PROPERTY [FOR user] [LIKE key pattern]；具体语法可通过命令：he

flink-doris-connector flink1.13.1

 doris 官文: https://doris.apache.org/ecosystem/flink-doris-connector.html#how-to-use  　依赖 <!--flink-doris-connector--> <dependency> <groupId>org.apache.doris</groupId> <!--<artifactId>f

Doris记录服务接口调用情况

背景 公司的一个项目，需要记录某个接口的访问pv、uv，并且不能丢失明细数据，需要记录【用户，调用接口，调用详情，调用时间，调用次数】 之前使用MySQL记录，每来一条记录一条，例如: insert into log (id, user_id, resource_id, stat_date, view_count) values (default, user_id, view_id, '2

Doris之S3 Load

S3 Load 从0.14 版本开始，Doris 支持通过S3协议直接从支持S3协议的在线存储系统导入数据。 本文档主要介绍如何导入 AWS S3 中存储的数据。也支持导入其他支持S3协议的对象存储系统导入，如果百度云的BOS，阿里云的OSS和腾讯云的COS等、 适用场景 源数据在 支持S3协议的存储系统中

Doris之Stream load

Stream load Stream load 是一个同步的导入方式，用户通过发送 HTTP 协议发送请求将本地文件或数据流导入到 Doris 中。Stream load 同步执行导入并返回导入结果。用户可直接通过请求的返回体判断本次导入是否成功。 Stream load 主要适用于导入本地文件，或通过程序导入数据流中

Doris之导出查询结果集

导出查询结果集 语法 SELECT INTO OUTFILE 语句可以将查询结果导出到文件中。目前支持通过 Broker 进程, 通过 S3 协议, 或直接通过 HDFS 协议，导出到远端存储，如 HDFS，S3，BOS，COS（腾讯云）上。 语法如下 query_stmt INTO OUTFILE "file_path" [format_as] [properties] file_path f

Doris之数据导出

数据导出 数据导出（Export）是 Doris 提供的一种将数据导出的功能。 该功能可以将用户指定的表或分区的数据，以文本的格式，通过 Broker 进程导出到远端存储上，如 HDFS/BOS 等。 FE：Frontend，Doris 的前端节点。负责元数据管理和请求接入。 BE：Backend，Doris 的后端节点。负责查询执行和

Doris存储文件格式优化

Doris存储文件格式优化 #文件格式 文件包括： 文件开始是8个字节的magic code，用于识别文件格式和版本 Data Region：用于存储各个列的数据信息，这里的数据是按需分page加载的 Index Region: doris中将各个列的index数据统一存储在Index Region，这里的数据会按照列粒度进行加载，所以

Doris之动态分区

动态分区 动态分区是在 Doris 0.12 版本中引入的新功能。旨在对表级别的分区实现生命周期管理(TTL)，减少用户的使用负担。 目前实现了动态添加分区及动态删除分区的功能。 动态分区只支持 Range 分区。 原理 在某些使用场景下，用户会将表按照天进行分区划分，每天定时执行例行任

Doris Rollup物化视图及应用实践

详情观看官网: Roll up与查询 && 物化视图 Rollup 与查询 在 Doris 里 Rollup 作为一份聚合物化视图，其在查询中可以起到两个作用： 索引聚合数据（仅用于聚合模型，即aggregate key） 但是为了命中 Rollup 需要满足一定的条件，并且可以通过执行计划中 ScanNdoe 节点的 PreAggregation

doris 注意事项

CREATE TABLE IF NOT EXISTS example_db.expamle_tbl2 ( `user_id` LARGEINT NOT NULL COMMENT "用户id", `username` VARCHAR(50) REPLACE COMMENT "用户昵称", `city` VARCHAR(20) REPLACE COMMENT "用户所在城市", `age` SMALLINT REPLA

doris stream load 导入

官网地址：https://doris.apache.org/zh-CN/administrator-guide/load-data/stream-load-manual.html#基本原理 doris 可以通过insert into 语句插入单条，或者批量插入，但是正式环境不推荐。 通过http client 进行数据导入 1.curl 格式 ,这个格式也是尝试了好多次 8030 是FE的http端口

doris 部署centos

  官网地址：https://doris.apache.org/master/zh-CN/downloads/downloads.html 1.利用了百度的doris 版本 版本号大小下载链接更新时间 0.12.21 447MB Link 2020-08-11 0.13.15 554MB Link 2021-01-05 0.14.7 611MB Link 2021-04-06 0.14.12.4 783MB Link 2021-06-22

Doris与mysql语法对照，差异篇

## SQL语法差异：### doris中不支持分组列再使用distinctMSYQL:```SQLselect DISTINCT mid from order_card_detail GROUP BY mid```DORIS：```SQLselect mid from order_card_detail GROUP BY mid```doris执行异常：[Err] 1064 - errCode = 2, detailMessage = cannot combine SELECT D

不写代码轻松实现数据可视化，这款基于SpringBoot的神器，简直绝了

之前有读者问我有没有什么好用的BI（Business Intelligence）工具？BI工具简单来说就是一种数据可视化工具。今天给大家推荐一款开源的数据可视化工具DataEase，基于SpringBoot实现，集成 Apache Doris + Kettle，可支持超大数据量秒级查询，希望对大家有所帮助！ SpringBoot实战电商项目mall

Doris系列6-Doris之rollup

文章目录 一. 基本概念二. Aggregate 和 Uniq 模型中的 ROLLUP2.1 测试数据准备2.2 获取每一天的销售额2.2.1 直接写sql2.2.2 先使用rollup聚合再查询 三. ROLLUP 的几点说明参考: 一. 基本概念 在 Doris 中，我们将用户通过建表语句创建出来的表称为 Base 表（Base Table）。

数据有了，如何构建数据资产?

本次分享从以下四个环节展开： 场景介绍 架构设计 数据开发 应用开发 01场景介绍 为了让大家更好的了解这些产品的应用，首先模拟一个企业应用场景demo： 有一家中型的零售商，客户和销售数据分散在不同系统中。希望通过一个项目打通并实现标准化、集中化的管理。管理好了之后同

Doris-bitmap的应用场景

Doris count 的精确去重 去重的常规的方法 堆机器Cache优化 CPU 执行引擎 (向量化，SIMD，查询编译等)支持 GPU 执行引擎预计算  聚合指标必须支持上卷，去重指标要支持上卷聚合，就必须保留明细，不能只保存一个最终的去重值，所以考虑引入bitmap 优点： 1，查询时io，cpu，内存，网络资源显著减少

Apache Doris - 架构

一、架构 FE（Frontend） 和 BE（Backend）节点 FE 为Doris 的前端节点。主要负责接收和返回客户端请求、元数据以及集群管理、查询计划生成等工作； BE 为Doris 的后端节点。主要负责数据存储与管理、查询计划执行等工作； FE 节点分为 follower 和 observer 两类。各个 FE 之间，通过 bdbj

mongoDB CDC to Doris

MongoDB CDC to Doris 目标： mongodb --flink cdc--> kafka --> doris 一、环境准备 1. 版本 ubuntu 20.04 mongodb 4.2 doris 0.14 flink 1.13.3 kafka 2.4.1 flink-sql-connector-mongodb-cdc-2.1.0.jar 2. 把 mongodb-cdc和 kafka 的 connector 包放入flink lib 目录 ll ./l