首页 > TAG信息列表 > livy
开源数据质量解决方案——Apache Griffin入门宝典
提到格里芬—Griffin，大家想到更多的是篮球明星或者战队名，但在大数据领域Apache Griffin（以下简称Griffin）可是数据质量领域响当当的一哥。先说一句：Griffin是大数据质量监控领域唯一的Apache项目，懂了吧。 在不重视数据质量的大数据发展时期，Griffin并不能引起重视，但是随着数据治如何基于Jupyter notebook搭建Spark集群开发环境
摘要：本文介绍如何基于Jupyter notebook搭建Spark集群开发环境。 本文分享自华为云社区《基于Jupyter Notebook 搭建Spark集群开发环境》，作者：apr鹏鹏。 一、概念介绍： 1、Sparkmagic：它是一个在Jupyter Notebook中的通过Livy服务器 Spark REST与远程Spark群集交互工作工具。SparkmagiCentOs7下Apache Griffin0.5.0的安装部署
一、Apache Griffin介绍 大数据模块是大数据平台中数据方案的一个功能组件，Griffin（以下简称Griffin）是一个开源的大数据数据解决质量模式，它支持批数据和流数据方式检测质量模式，可以从不同维度（不同标准执行完毕后检查源端和目标端的数据数量是否一致、源表的数据空值数量等）收集数据资基于CentOS7的hue部署
准备工作1、 安装python2、 安装maven3、应用类服务一般用专有账号启动，我们建立一个hue用户和用户组 groupadd hadoopuseradd -g hadoop hue 安装hue依赖的第三方软件包yum -y install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libtidy libxml2-