其他分享
首页 > 其他分享> > 【案例】星环科技原厂数据备份恢复软件,让大数据与AI应用有备无患

【案例】星环科技原厂数据备份恢复软件,让大数据与AI应用有备无患

作者:互联网

云与大数据时代,数据呈爆炸趋势增长,各行各业均在使用大数据技术挖掘数据价值并从中获益。随着AI、大数据和容器云技术的完善,越来越多的客户将关键甚至核心的业务与数据放在AI、大数据平台和容器云平台上。与此同时企业对数据可靠性和业务连续性保证的诉求也与日俱增,灾备刻不容缓。

 

在信息化系统中,灾备是指在灾难未发生前,利用IT技术对信息系统的数据和应用进行保护,包括本地及异地的数据备份、应用和场所的接管等,以确保系统在遭受灾难时数据的安全,以及业务的快速恢复,为企业的正常运行提供服务。

 

云数据管理备份解决方案提供商Veeam Software对全球企业3000多名IT决策者进行调研后于4月15日发布的报告显示,全球14%的数据没有进行任何备份,58%的数据恢复失败,95%的组织在过去的12个月遇到过意外停机;2020年有1/4的服务器至少出现过一次意外停机,停机和数据丢失的影响频繁上演。这一现状将企业的数据置于险地,当网络***导致系统停机时,数据将难以保护和恢复。超过一半的高管表示这可能导致客户、员工和利益相关者对组织失去信心。


01灾备的需求与痛点


尽管数字化变革已经深入企业管理者的人心,数据备份与恢复在现代数据保护中扮演着不可或缺的角色,但是到2021年仍然有16%的中国组织的数据没有进行备份,低于全球平均水平。

图片


在星环科技服务的大数据与AI 应用项目中我们发现,用户对数据备份恢复需求普遍存在,期望用原厂数据备份恢复软件,构建容灾方案,让大数据与AI数据与应用有备无患。

 

1)灾备的目标和重要性

 

星环科技技术专家徐杰介绍,在大数据与AI 应用项目中,灾备的目标和重要性体现在两个方面:

 

一是保护用户的核心数据安全。企业用户越来越多的核心数据存储在星环科技大数据平台TDH中,也存在数据丢失的风险。假如数据一旦丢失,恢复成本会很高甚至无法恢复,给用户造成的损失可能是无法挽回的。

 

二是保障用户的核心应用安全。用户越来越多的核心应用运行在星环大数据、AI平台上,有内部核心系统,有对客应用,这些应用一旦因为故障无法提供服务,损失也是不可估量的。

 

从目前来看,很多行业,尤其金融、政务、交通、制造等行业监管机构都明文要求行业企业系统具备容灾能力,这也体现了灾备的重要性。

 

2)大数据和AI平台灾备的现状和痛点

 

传统的IT系统数据备份技术通常自上而下分为四个层级:


-应用层:应用开发商定制编写代码或者脚本完成数据备份。

-数据库层:数据库厂商专供的数据备份恢复技术。

-操作系统层:特有的系统内核字节级数据备份技术。

-存储层:磁盘阵列厂商提供的数据块级别备份功能。

 

相较而言,存储层和操作系统层备份技术成熟,但是无法满足分布式系统数据一致性要求;在数据库厂商提供专供数据备份技术和产品之前,应用层定制是实现大数据平台灾备的唯一选择,但是定制开发实施和运维成本巨大,且随着平台应用数增加而线性增加,并且数据库上层数据备份通常需要通过数据抽取-数据传输-数据装载来实现,代价高,效率低,还会较大程度上影响系统性能和稳定性。

 

因此,用户期望大数据平台或数据库厂商可提供专有复制技术,降本增效,易用且不占或很少占用系统I/O,用户无需大量定制业务应用,无需大量编写代码脚本,无需学习掌握各种数据存储路径存储原理,无需考虑平台版本兼容性。


02星环大数据平台数据备份恢复软件TBAK
1、产品定位

星环科技的大数据平台数据备份恢复软件TBAK属于原厂数据备份恢复软件产品,帮助客户在灾难发生前,利用IT 技术对信息系统的数据和应用程序进行预先复制备份,以便可在一定时限内(RTO),完成特定时效(RPO)要求前的数据恢复,进而保证业务的正常开展

 图片

星环大数据平台数据备份恢复软件TBAK,可在配置完主备集群信息后,通过勾选需要同步的组件的表或目录信息后,即可按周期策略进行同步,用户不用再关注具体的应用、业务表类型和存储原理。

2、灾备产品的客户群

星环科技的大数据平台数据备份恢复软件TBAK的目标客户包括星环科技大数据平台、数据云平台、数据库产品、人工智能平台等的新老客户。


其中包括业务刚需客户:核心业务,尤其是对客提供服务,业务连续性要求高,需要有备份数据中心,以便故障切换。


数据刚需客户:核心数据,尤其是数据在集群中独一份,一旦丢失不可以恢复,或者恢复成本高。


政策刚需客户:政策要求做数据容灾,且要求每年必须做容灾演练。


另外,外部系统数据迁移、数据共享交换(跨集群数据复制)、集群升级改造、机房搬迁、大数据上云等需求,也是TBAK的目标客户。


3、应用场景

TBAK的典型应用场景包括:

 

一是数据热备,对于在线数据库Hyperbase,建设同等规模备份集群,保持备集群与当前应用系统数据的同步。一旦主集群出现故障,在规定的RTO时间内迅速切换业务。

 

二是数据温备,对于离线数据库Inceptor和ArgoDB,建设同等或较小规模集群,主集群数据定期同步至备集群。当主集群出现故障时,使用定期备份数据,在规定的RTO时间以内恢复数据和业务。

 

三是数据冷备,不建设备份集群,以低成本方式将数据以文件形式备份到文件系统、文件服务器等,集群故障后,修复或新建集群,在规定的RTO时间恢复数据和业务。

 

四是数据迁移,数据备份能力的另一种用途,快速实现跨CDH与TDH产品、跨TDH版本、跨TDH与TDC平台数据迁移,用于机房搬迁、集群升级、数据云化、数据实验、数据交换等应用。


图片

4、相对于竞品,星环产品的优势

目前为了满足客户日益增长的大数据和AI平台灾备需求,在市场上也有一些为星环大数据和AI 应用提供灾备的软件产品,通过HDFS原生的数据跨集群复制命令Distcp和星环大数据平台提供的标准JDBC接口,用数据导出和导入方式做数据跨集群备份,本质上还是应用层定制,只不过提供运维界面,一定程度上提升了易用性。


相对于星环科技的TBAK,这类产品和方案存在不少弊端:


-作用有限,无法实现全产品组件支持,如Sophon、Workflow、Transporter、Guardian等很多数据和元数据无法备份,故障后无法切换应用保障业务连续性,也就无法真正实现容灾。


-高本低效,有限的灾备作用下,将Inceptor、Hyperbase、Search、ArgoDB等表数据先复制一份到HDFS,然后备份HDFS文件,代价极高,效率低,同时占用大量对主集群计算资源,造成性能下降甚至影响稳定性。


-除此之外,平台兼容性不能保证,没有原厂服务支持等弊端也客观存在。


Transwarp Backup(TBAK)产品的优势明显:


-原厂备份恢复软件,全组件支持,与平台高度兼容;


-底层数据复制技术,文件块级别数据增量复制,代价小且效率高;


-支持数据热备、温备、冷备多种备份需求,支持实时同步、周期调度、立即执行多种备份模式,支持全量备份、增量备份,满足所有大数据和AI平台备份需求;


-低实施成本,界面配置同步模式,勾选需要同步的对象(文件、表、组件等)即可完成数据备份,开发负杂度非常低,上线周期非常短。


-高可维护性,一站式可视化运维管理界面,提供告警、监控、日志运维、自动重试等功能的,运维成本非常低。


 

03典型应用案例与效果


案例1:影像平台实时同步


某银行主集群包含18个节点,部署了星环极速大数据平台TDH,使用星环科技的Transwarp Hyperbase在线数据库搭建了一个影像平台。用户希望星环科技提供Hyperbase影像平台容灾方案,要求RPO和RTO都在15分钟以内。在备份上,要求按“存量数据,每日增量”的方式进行。

 

星环科技基于TranswarpBackup(TBAK)提供建设方案,如下图,

图片

按2:1部署灾备集群,部署Transwarp Backup,创建Hyperbase准实时同步方案,开启同步:

图片

该项目属于用户核心应用备份项目,用户RTO和RPO要求非常高。项目投入应用后,效果显著,RTO小于5分钟,RPO小于5分钟,方案落地周期小于1人月,创造了良好的经济和社会效益。

 

案例二:数仓双活

某客户希望提供跨数据中心的星环科技分布式闪存数据库ArgoDB数仓双活方案。两个数据中心资源配置存在差异,有主副之分,对数据、模型、用户权限等一致性有要求,对数据时效性(RPO)和运维难度等都有明确的要求。

 

在星环科技提供的灾备建设方案中,Transwarp Backup(TBAK)和ArgoDB产品内置数据同步组件ArgoDBBAR(简称ABAR)配合实现:ABAR可以给待同步表的schema信息与表的物理数据文件和文件的元信息创建底层快照。ABAR会在ArgoDB集群每个tablet-server节点上启动一个executor,进行数据同步,并保证数据一致性。这个过程高效和快速。


图片

ABAR的优势是,数据同步操作都是并行的,每个executor节点同时在执行数据的传输同步。因此,BAR的同步速度是线性可扩展的。ABAR作为大集群的数据同步工具,完全可以实现上百TB甚至更大的集群数据同步。

 

TBAK提供可视化界面,非常方便配置同步周期和需要同步的表,然后TBAK按照配置调度ABAR完成ArgoDB数据同步,TBAK也支持将数据同步任务发布成API,以便外部调度工具调用。

 

数仓双活是大数据应用中典型应用场景,非常具有代表性。从用户应用效果来看,RPO受同步调度周期影响,调度策略可配置,满足用户的时效性要求;ABAR与TBAK保证了数据的一致性;TABK提供可视化界面,流程化任务进度,可视化日志分析,很大程度减少运维成本。

 

案例三:生产集群-实验集群T+1同步


某客户希望实现集群与生产集群的T+1的同步,以方便在实验集群进行业务探索实验。生产集群部署了星环科技的TDH5.2.2,10个节点;实验集群部署TDH5.2.4,4个节点。

 

TDH数据存储的方式包括HDFS、Text、ORC事务表、Holodesk表、ORC表、Hyperbase、Searh共7种类型。星环科技提供的建设方案如下图。


图片


实施过程同样简单快速,创建HDFS和Inceptor两个存量数据备份方案,分别选择对应HDFS目录和Inceptor表,完成历史数据全量备份。配置增量数据同步策略,创建HDFS和Inceptor两个增量数据备份方案,分别选择对应HDFS目录和Inceptor表,完成增量数据T+1备份。

 

方案落地周期不到1人月。投入使用后,实现了全自动数据同步。


星环大数据平台数据备份恢复软件TBAK与方案还能根据客户的需求,提供了众多新的应用场景,如针对某大学上云需求提供的数据一键上云,针对某银行的数据中心搬迁、升级的机房搬迁改造等,可以为用户提供更好的体验,满足用户更多的需求。





点击“阅读原文”

详细了解星环科技大数据平台数据备份恢复软件




标签:同步,AI,备份,数据备份,星环,集群,数据
来源: https://blog.51cto.com/u_15127640/2773039