它不只是“大”!浅析大数据背后技术细节

我们都知道，现在谈论的大数据，其最显著的特征之一就是“大”，这简单一个“大”字，就使得企业在面对大数据的时候开始不得不采用分布式的计算方式，还有一系列化繁为简的计算方法。

 

它不只是“大”!浅析大数据背后技术细节

在处理大规模信息的时候，大数据的很多应用程序出于对于弹性应用的考虑，需要将数据复制到很多个不同的位置当中，从而信息量开始变得越来越大，甚至是呈指数倍的增长。

 

大数据的最重要属性并不在于它的规模，而在于它将大作业分割成许多小作业的能力，它能够将处理一个任务的资源分散到多个位置变为并行处理。当我们面对大数据应用以及分布式架构应用的时候，需要注意哪些问题呢？本期我们就来说说。>>

 

我们知道，如果一组分布式计算资源需要通过互联网进行串通和协调时，其应用的可用性就变得非常重要了，一旦其中的网络通讯环节出现问题，那么对于数据计算结果将会导致难以想象的灾难。

 

其实对于现在的很多大数据应用来说，大部分的网络架构安全性和稳定性还是很高的，当然，网络和数据资源当中的故障是不可避免的，虽然网络的高度可用性也很重要，但是想要设计完美可用性是不可能的。

 

对于企业的架构师们来说，弹性网络的解决方案是非常有效的解决方式之一，网络的弹性取决于路径多样性和故障转移两大类。除了传统的平均故障时间间隔方法，大数据网络的真正设计标准一定要包含这些特性。

大数据的“拥堵”问题

众所周知，之所以称之为大数据技术，数据量的庞大是一定的，然而，对于大数据应用程序来说，不仅仅是规模大，对于数据的突发情况也是让现在很多企业很头疼的。

 

在高流量时间段里，拥塞是一个严重的问题。然而，拥塞可能引起更多的队列延迟时间和丢包率。此外，拥塞还可能触发重转，这可能让本身负载繁重的网络无法承受。

 

网络架构设计时应该尽可能减少拥塞点。按照可用性的设计标准，减少拥塞要求网络具有较高的路径多样性，这样才能允许网络将流量分散到大量不同的路径上。>>

这是一位业内资深专家的看法，他指出，对于大部分大数据的应用程序来说，网络延迟其实并不算什么大事，如果计算时间的数量级为几秒钟或几分钟，那么即使网络上出现较大延迟也是无所谓的。

 

但是，大数据应用一般都需要有较高的数据同步性，这种特性对于大数据服务的体验来说是非常重要的，因为它意味着作业是并行执行的，而各个作业之间较大的性能差异可能会引发应用程序的故障。

未雨绸缪，数据未来的伸缩性

我们先来看一组数字，许多人都知道雅虎在其大数据环境中运行着超过42000个节点，但是根据Hadoop Wizard的数据，2013年大数据集群的平均节点数量只有100个。

 

也就是说，其中的每一台服务器即使配置了双重冗余的话，那么支持整个集群也只需要4个接入交换机，可伸缩性并不在于现在集群现在有多大规模，而是说如何平衡地扩展支持未来的部署规模。

 

如果基础架构设计现在只适合小规模部署，那么这个架构将如何随着节点数量的增加而不断进化，可伸缩性并不在于绝对规模，而是更关注于实现足够规模解决方案的路径。>>

网络分割技术是构成大数据环境的重要组成部分，简单来说，网络分割技术可能意味着用户需要将大量的数据和网络流量进行分离，这样做的好处就是可以避免因为突发而产生的流量影响一些关键业务的正常运行。

 

此外，用户还需要处理运行多个作业的多个租户，以满足性能、合规性或审计的要求。这些工作要求在一些场合中实现网络负载的逻辑分离，一些场合则还要实现它们的物理分离。想系统学习大数据的话，可以加入大数据技术学习扣扣君羊：522189307

一切都离不开应用感知能力

大数据现在已经成为了集群环境的标志性词语之一，通过不同应用的不同需求，很多数据对于应用的敏感性方面要求开始不断提升，说白了就是一个网络要支持多应用程序和多租户，它就必须要能够区分自己的工作负载，并且要能够正确处理各个工作负载，这点其实是很困难的。

 

应用程序的良好体验是由多方面因素组成的，网络阻塞情况、网络可扩展性、大数据应用技巧等等很多方面，用户对于这些应用和技巧的需求和前瞻选择也是提升大数据体验的重要指标之

标签：技术细节,背后,对于,网络,应用程序,拥塞,应用,数据,浅析
来源： https://blog.csdn.net/mnbvxiaoxin/article/details/104909273