大数据"已死"

　　   最近还是看到很多人在学习大数据，培训大数据。但是我想说大数据”已死“不是瞎说。

　　自己之前没有时间写博客想写一些东西给后来要从事软件开发一些发展参考。毕业普通学院。到后来求职转大数据，开始学习在服务器搭建大数据集群.搭建的软件都是开源的且都是当时最火的大数据软件。软件例如:CDH,hadoop,spark,hbase,zookeeper,kafka,flume等。

　　现在还在从事大数据工作。但是现在的大数据工作不像之前工作那样。现在做大数据基本不需要你搭建集群(现在公司都不自己建集群)，都是买云，使用云来做业务开发。所以云导致大数据已死。　　

　　现在我来说下为什么大数据被各种厂商云替换"已死"的原因：

　　　　1).云产品更稳定可靠

　　　　对于公司稍微重要的业务。经常出现数据库坏了，出现报错或程序崩了等一时半会修不好。领导是决定不容许的。但是云就是特别稳定，云监控报警做的做的那时一个牛逼，云产品监控报警生态特别强大。对于普通的小公司，你让大数据开发人员再去搞监控和报警，那开发人员都废了。

　　　　2).成本低

　　　　对于中小公司买云，使用云。成本会更低。原因是:1).人的成本越来原来高。2).公司招的开发人员流动大，交接成本高，会有交接不到的。3).社会上正真可以优化修改源码的大牛特别少。但云厂商公司会有专门的人需改源码，优化源码，使程序更稳定。4).各种杂七杂八的应用服务例如:专线，域名，网络安全(这几个之前在公司没有买云的东西，被政府扫描扫到，直接关停好多天)等。

　　　　3).全天侯的技术支持

　　　　之前大数据刚活时自己加了很多hbase，spark开源社区群(微信群，相信有很多人加过 哈哈哈)。1).群那是一个热闹，天天讨论技术，提问问题，解决bug,分享技术。现在大部分开源社区群基本没有人提问题分享技术，群给死了一样。2).真人真事:之前在一个hbase中国社区群看到一个人问hbase的问题，大意是说他那边使用自己搭建hbase崩了，一直在多个群求助发红包解决。有1-2个人回复了一下，还是没有解决问题，那个人通宵没有睡觉，因为明天公司要查数据，到第二天早上我再看群时，有人问他解决没，他说还没有解决。。。如果是在大的云厂商，我自己知道一个数据，光开发维护就有80多人(就一个数据)。。。

　　　　4).大数据现在基本就是在写sql      

　　　　实时离线基本靠sql就能解决，例如实时业务:像我工作使用flink sql +自定义UDX 基本可以解决95%的业务场景(spark 也可以纯写sql，sql封装成脚本发生到spark中)。这样成本更低。公司招人不是研究什么框架源码，公司是希望开发人员实现更多的业务赚更多的钱。现在工作发现大数据真的就是在天天写sql，个人理解的原因:1).数据中的价值更多更大，需要sql清洗计算挖掘。如果对于开发人员热衷于技术，建议还是远离大数据。2).写sql成本更低要求更低，对开发人员要求降低。3).sql开发业务相比代码开发要快的多，公司一定是希望员工多实现业务为最大化。

　　　　5).工作细节

　　　　下面晒一张关于银行(什么保险金融等行业等都类似)的的招聘信息:进去就是写sql。不是说写sql不好，但对很多软件开发人员来说都不希望工作中绝大部分时间用来写sql，不然就废了，因为对对个人技术成长，技术拓广，已学技术忘记等都是不利的(ps:写sql对数据是最恶心的,能恶心毁)。当然如果有人喜欢写sql就可以忽略这些。

离线数仓+实时数仓+数据中台+数据湖+数据海等一些高端名称=SQL

                                                                           

 

　　　　总之：为啥我说大数据已经”死“了吧。但是对于大厂或大大公司例如美团，京东等他们也在做自己的云产品，但是像这些大公司很少有人进去，如果进去研发源码大数据，那可是能力特别强，因为毕竟研发源码网上资料很少.现在使用云已经是一个趋势，很多公司招大数据基本去了就是纯写sql，要么就是80%在写sql要么20%在使用维护云产品等。

　　　　困难:1).最近看新闻发现互联网属于夕阳产业，还有很多人转互联网，程序员越来越难。2).现在很多公司也开始挑学历。自己现在在南方城市打工。总的来说还是比较看重学历的(大城市不缺缺学历)。学历那是各种歧视。最终让我总结一句话:技术在学历面前不值得一提。因为学历可以跟人一生，技术天天变化。3).因为大数据云平台已经成为必然趋势，导致大数据岗位要求极大降低(会sql就行)，公司人员数量也大幅度锐减等，所以这就是为什么我工作这么久体会下来才说大数据已死的原因！

　　　　(例如下面的截图随便找的:如果学历好，技术可以差点。当然靠技术能力强也有去大厂的，但毕竟是极少数)

                                                                             

 　　　　出路:1).在内陆城市中还是有些公司使用自建的大数据集群，但都是小打小闹。2).如果学历不高例如像我本科或大专。可以做java web(例如:spring全家桶，说到这我不得不夸spring牛B,自从我上学到现在还是这么多公司用,go等)做功能等开发，或java web与大数据结合(例如:某些小云厂商要与大数据普通结合。某些公司将hbase，ES等划归java web等)。学历高的建议搞机器学习人工智能啥的，工资高，有钱景。

　　　　写这么多希望要转大数据或想从事大数据工作的人一些个人参考，如果有点用希望点赞或评论。

 

　　　　ps:目前使用比较好用坑少的大厂云:ax云(为避免有做广告嫌疑).

标签：开发人员,已死,源码,学历,sql,hbase,数据
来源： https://www.cnblogs.com/kaiwen1/p/15366920.html