在大数据时代，我们缺乏的到底是思维还是能力？

大学最重要的事情应该是锻炼自学的能力、培养自律的心性。

工作后，最重要的事情应该是执行力MAX的可靠性以及严谨处事的态度。

似乎每件事都会有专门的目标性。

然而，工作久了，难免会“学会偷懒”，不再像从前哐哧哐哧就开始无想法的行动。

1.按部就班固化思维

• 在遇到采集数据异常排查问题时，W总是习惯于从文件系统拉取log日志进行查询，然而采集机器数少则十几台，多则成百上千

  • 不是吧不是吧，这种耗时费力的事情，不会真的有人这么干吧？
  • 想必除了想要摸鱼的人，不会有人傻到大批量拉取日志进行分析。

正解：可以借助于Hive or Flink集群建表SQL分析，效率更高。（ 当然，有更方便快捷的方式欢迎推荐。）

2.从零造轮子为哪般

• 有工具可以辅助快速解决问题，然而经常习惯于自己从零造轮子？

  • 没错，说的就是你，有极速模式，为何要采用常规流程模式呢？难道是不想有自己的空闲时间充电学习？
  • 难道说你是在故意放松，给你拖延工作量，从而有时间跳槽走位？？？
    
    

正解：我们可以学习架构原理，运用思维，发散学习。（比如二叉树的中序遍历可以运用到自助式ETL中的表达式聚合计算中）

3.架构缺陷补丁不断

• 小文件合并功能，采用单纯的JAVA服务自己实现，每天平均有80W+的小文件合并任务量？？？

  • 如果数据都是存储在HDFS上的，那么你的NameNode压力是要多大啊？
  • 大量小文件问题根本原因还是架构设计有问题，如果日志切分合理，小文件量是极其少的。
  • 所以，你的工作量就是自己造就了架构问题，然后在此基础之上再开发一套服务来做小日志文件归并？别人从复杂入简，而你是从简单到复杂。（莫非你是安琪拉？要“缝缝补补又是一年？”）
  • 那么，你的思维是什么？是为了彰显你的研发能力以及代码量而生的吗？
    
    

正解：敢于推倒架构设计，架构师不是神人，也会有架构漏洞以及不足点，要以发展眼光看待问题，而不是尊崇。（毕竟活在前人阴影下很累。）

4.人云亦云普度众生

• 人云亦云，技术选型从来都是拍脑袋 or 看了几篇博客？？？

  • 不经大脑思考或者浅尝辄止就自认为了如指掌某门技术？是骡子是马敢拉出来溜溜吗？走两步？
  • 人云亦云？如果没有自己想法就坦言，慢慢培养自己的意识，而不是随声附和。（要有对外我是“辅助位”，对内深藏不露。）
  • 张口就来？这个用Flink？这个用Clickhouse？这个用RabbitMQ？你调研了吗？有数据依据吗？请发出来你的测试报告以及数据凭证。
    
    

正解：往往最站不住脚的是空口无凭。聪明的人，会直接发出上帝之手（有数据+测试报告），让你无力反驳。

5.如法炮制乐此不疲

• 经常会遇到一类人，总喜欢如法炮制，一个方案解万千难题。

  • 你可否考虑过在同一套架构模式下，前后二者数据量级 or 数据埋点相关的差距？
  • 你可否考虑过在同一套代码逻辑下，前后二者producer-consumer部署方案不同会有所差别？
  • 你可否考虑过在用一个HQL ETL问题时，前后时间跨度已经截然不同（一年前和一年后数据量差距有多大？dt范围有多大？）？
    
    

正解：世间没有银弹。我们总是习惯于如法炮制，一套方法冠以多用，但是往往得不偿失。

说了这么多，其实只是想表达一个点：多思考，多复盘，多反思，跳出极限。

标签：思维,缺乏,架构,到底,文件,如法炮制,人云亦云,日志,数据
来源： https://blog.csdn.net/qq_17776287/article/details/110876852