首页 > TAG信息列表 > Locality
浅谈spark的数据本地性（data locality）
spark的数据本地性（data locality） Spark其中一个特性就是数据本地性，简单的说就是“移动数据不如移动计算”。 因为数据在网络传输中会有不小的I/O消耗，并且传输距离越长消耗越大。 所以，数据本地性可以理解为数据传输距离，而我们的目的就是避免数据在网络中传输或尽量减少传输的距离。System 13-2: Locality
记一次--------sparkSQL程序local模式运行不起来，增加参数配置spark.locality.wait
问题： 跑本地模式 一直卡在下图最下面日志部分30分钟不动 查看运行日志一直卡在 箭头处不动，没有任何报错。 因为处理逻辑只是简单的sparksql两个表left join， union， having等简单的函数操作。 测试环境 数据仅有3w条。 虽然将程序打包到集群，但还是跑的local模式， 下面论文笔记·流形学习：Locality Preserving Projections
Abstract • LPP算法找流形Laplacian Beltrami算子的特征函数的最优线性近似； • LPP不仅能用在训练集上。 1 Introduction • LPP的局部保留能力使之在信息检索上有着很好的应用； • LPP的线性特性使算法快速，适合于实际应用； • LPP可以处理新的数据点； • LPP可以在数据点的再