大数据Spark实时处理--数据采集（构建日志服务器）
作者：互联网
- 数据产生和上报流程
- 1）客户端定时采集----->数据加密----->数据传至日志服务器上----->数据解密----->日志落地磁盘
- 2）可以考虑数据压缩
- 基于IDEA+Maven构建多Module本地开发环境
- 1）多Module带来的好处：GitHub - apache/spark: Apache Spark - A unified analytics engine for large-scale data processing
- 发现每个子工程下面都有一个pom.xml
- 单独将一个完整的项目，拆成不同的模块，这样在开发的过程中可以各司其职
- 比如说，A是开发某一个子模块的，A只用开发自己的部分，B只要将A的依赖加进去，就可以协作开发了。
- 2）多Module项目构建
- 打开IDEA
- 选择Maven
- Project SDK：1.8 version 1.8.0_152
- 不选 Create from archetype
- 点击next
- Groupid：com.imooc,bigdata
- Artifactld：spark
- Version：1.0
- 点击next
- project name：spark
- project location：C:\Users\jieqiong\IdeaProjects\spark-train-v1
- module name：spark
- project format：.idea(directory based)
- 点击 finish
- Spring Boot快速入门
- 基于Spring Boot构建日志服务
- 日志上报功能开发
- 日志上报全流程本地测试
- 日志上报全流程服务器测试
标签：实时处理,--,Module,project,开发,-----,Spark,spark,日志 来源： https://www.cnblogs.com/jieqiong1755/p/15411525.html