个人学习总结
作者：互联网
1、数据资源管理平台，使用sqoop
从源端数据源中抽取数据到中心数据源，开发有做扩展，支持mysql数据库到mysql数据库的整库迁移
2、数据资源管理平台，使用apache nifi
nifi，用于探索数据源的库表结构和数据信息，支持跨内部网络，早期的nifi，在数据探索时，需要频繁的切换数据源的连接配置信息，在nifi1.7版本后，支持数据源连接池，不需要频繁的切换数据源，使用nifi的好处是它支持外部网络访问局域网(开发说的)
3、数据资源管理平台，使用Hive(数据仓库)-数据来源外部，提供给外部系统使用
存储数据中心的数据，
4、数据资源管理平台，提交调度(质量，宽表)任务。使用spark、yarn
使用yarn调度进行资源分配，使用spark，进行计算。
5、智能检索平台，elasticsearch
通过es实现数据资源的快速查询
6、分析挖掘，
7、多维分析
8、智能问答
9、SQL工具，HUE
提供对Hive，mysql，oracle等数据库的查询界面，有做封装(汉化)
10、可视化
11、网络爬虫
使用python，进行数据的爬取
标签：总结,nifi,个人,数据源,mysql,学习,使用,数据,资源管理 来源： https://blog.csdn.net/lu1171901273/article/details/99304987