首页 > TAG信息列表 > starrocks

CloudCanal x StarRocks 在医疗大健康实时数仓领域的落地与实践

- # 简述 本案例为国内某大健康领域头部公司真实案例(因用户保密要求,暂不透露用户相关信息)。希望文章内容对各位读者使用 CloudCanal 构建实时数仓带来一些帮助。   # 业务背景 大健康背景下,用户对报表和数据大屏的实时性能要求越来越高。以核酸检测为例,检测结果需要实时统计

大数据Hadoop之——DorisDB介绍与环境部署(StarRocks)

目录一、Apache Doris 和 DorisDB、StarRocks之间的关系二、StarRocks概述1)特征2)适用场景1、OLAP 多维分析2、实时数据仓库3、高并发查询4、统一分析三、StarRocks架构1)FE(Frontend)2)BE(Backend)四、数据管理五、StarRocks环境部署1)前期准备1、机器与角色信息2、关闭交换区swap3、修改

如何将 starrocks 的 be 的多个存储目录剔除一个?

说明 starrocks集群的be节点的多个存储目录,有一个磁盘空间过小,搭建时误配置上,如下所示: $ df -lh Filesystem Size Used Avail Use% Mounted on devtmpfs 94G 0 94G 0% /dev tmpfs 94G 0 94G 0% /de

StarRocks X Flink CDC,打造端到端实时链路

简介: 作为一款全平台极速 MPP 架构,StarRocks 提供了多种性能优化手段与灵活的建模方式,在预聚合、宽表和星型/雪花等多种模型上,都可以获得极致的性能体验。通过 StarRocks 结合 Flink 构建开源实时数仓的方案,可以同时提供秒级数据同步和极速分析查询的能力。同时,通过 StarRocks 主

国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器(下)

数据导入 总览 概述 数据导入功能是将原始数据按照相应的模型进行清洗转换并加载到StarRocks中,方便查询使用。StarRocks提供了多种导入方式,用户可以根据数据量大小、导入频率等要求选择最适合自己业务需求的导入方式。 离线数据导入,如果数据源是Hive/HDFS,推荐采用Broker Load导入

国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器(中)

概述 背景 Apache Doris官方地址 https://doris.apache.org/ Apache Doris GitHub源码地址 https://github.com/apache/incubator-doris Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。Apache Doris的分布式架构

国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器(上)

概述 背景 Apache Doris官方地址 https://doris.apache.org/ Apache Doris GitHub源码地址 https://github.com/apache/incubator-doris Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。Apache Doris的分布式架构

第4.2章:StarRocks数据导出--Export

Export是StarRocks提供的将数据导出至HDFS、OSS、COS或S3等对象存储上的导出方式(当前仅支持导出为CSV文件),使用Export需要在集群中提前部署Broker组件。 Export通常用于数据备份或数据迁移,支持导出表级或者分区级的数据,目前支持导出StarRocks内部表(不会一同导出物化视图表中的数

StarRocks关键字

A: ADD , ADMIN , AFTER , AGGREGATE , ALL , ALTER , AND , ANALYZE , ANTI, ARRAY , AS , ASC , AUTHORS B: BACKEND, BACKUP , BETWEEN , BEGIN, BIGINT, BITMAP, BITMAP_UNION , BOOLEAN , BOTH, BROKER , BACKENDS , BY , BUILTIN, 

【笔记】Apache Iceberg 原理介绍 | 阿里云 x StarRocks社区联合Meetup

Iceberg是为了解决Hive上云诞生的一个工具 强烈推荐看下这篇学习日志,看下iceberg如何读写,实际如何使用?同时,了解下Hive的架构 Apache Iceberg 学习日志 https://xie.infoq.cn/article/61a82b983ef97c3e05a6e7d82 Hive架构,Metadata-store是什么? 存储了哪些信息? 有什么优化

dremio 链接starrocks 的方法

dremio 默认官方使用的是maridb 的jdbc 驱动,在链接doris 以及starrocks 的时候是会有问题的当然链接singlestore也是有问题的 ,解决方法使用mysql 驱动进行替换,我已经开发了相关的arp目前也已经支持了20版本的,而且经过测试是可行,没有问题的(同时也合并可20 版本mysql 驱动的一些修

StarRocks 部署 (一)

前提条件 三台服务器 jdk 查看CPU是否支持,有打印信息则支持,反之不支持。 cat /proc/cpuinfo |grep avx2 关闭防火墙,或者开放出StarRocks所需所有端口。 下载StarRocks包 https://www.starrocks.com/zh-CN/download/request-download/11 安装mysql客户端 部署FE 修改配置

第2.5章:StarRocks表设计--数据类型

定义恰当数据字段类型对StarRocks查询的优化是非常重要的,从查询效率的角度考虑,我们可以遵循两条原则: 如果数据没有Null,可以指定Not Null属性;尽量使用数字列代替字符串列。 StarRocks支持多种类型,大致可以分为:数值、时间、字符以和其他类型。 1数值类型 1.1严格数值整型 类型

用StarRocks玩转用户画像-1-概述

概述 演进背景 谈用户画像的发展,其实跟用户运营息息相关。用户运营由粗放式的泛运营渐渐发展到精细化运营,到今天有些企业甚至已经迈进单对单运营的阶段。 用户运营1.0时代 早期网站充当的角色和传统报纸类似,流量变现方式较为单一,主要依靠网页边栏广告进行盈利,运营重心偏重于商业

ClickHouse vs StarRocks 选型对比

ClickHouse vs StarRocks 选型对比 面向列存的 DBMS 新的选择 Hadoop 从诞生已经十三年了,Hadoop 的供应商争先恐后的为 Hadoop 贡献各种开源插件,发明各种的解决方案技术栈,一方面确实帮助很多用户解决了问题,但另一方面因为繁杂的技术栈与高昂的维护成本,Hadoop 也渐渐地失去了

Apache hue && StarRocks

背景 本文主要展示apache hue和starrocks结合 HUE=Hadoop User Experience Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。 通过使用Hue我们可以在浏览器端的Web控制台

StarRocks配置

1. 设置用户名和密码 1.1) 修改root密码 登陆 mysql -h FE_HOST -P9030 -uroot fe_host 是任一 FE 节点的 ip 地址。9030 是 fe.conf 中的 query_port 配置。 设置密码: SET PASSWORD FOR 'root' = PASSWORD('root'); 1.2) 创建新用户 CREATE USER 'test' IDENTIFIED BY 't

StarRocks外部表使用注意事项

1.源表新增字段 新增字段无法自动映射,查不到 2.源表删除字段 报错:> 1064 - mysql query failed. Err: Unknown column 'age' in 'field list' 3.源表修改字段类型 无法查到修改字段数据 注:int类型修改成varchar类型,数字还是可以查到,但是字符串数据查不到 4.删除源表 报错:> 1064 -

StarRocks存活监控实现

1、前言 任何 数据库的引入,监控都是很重要的部分。本篇文章分享下StarRocks的数据库的存活监控相关的实现 2、思考 StarRocks的监控分为: 存活监控 、性能监控 。因为之前的TiDB的经验,建设分为: 存活监控: 存活检查工具 方便日常的状态检查 存活监控 任务式采集,报警 性能监控:

StarRocks报错close index channel failed/too many tablet versions

问题描述:导入频率太快,compaction没能及时合并导致版本数过多,默认版本数1000 解决方案: 1.增大单次导入数据量,降低频率2.调整compaction策略,加快合并(调整完需要观察内存和io)be.confcumulative_compaction_num_threads_per_disk = 4base_compaction_num_threads_per_disk = 2cumulati

flink-connector-starrocks sql写入 starrocks

一,代码开发 1.写入doris的案例代码 public class DorisSqlTest2 { private static final String DORIS_SQL = "CREATE TABLE doris_test (\n"+ " order_number STRING,\n" + " order_key STRING,\n" + &quo

你们想知道的一切,都在这里了。

相信这两天很多社区小伙伴都看到 StarRocks 所谓”开源“的动态了,开源用户群里有很多小伙伴在讨论,也有很多关心 Apache Doris 的朋友来问我们,诸如“如何看待 StarRocks ‘开源' ”、” Apache Doris 跟 StarRocks 是什么关系“、”社区分化的原因是什么“、“为什么 StarRock