共计 2085 个字符，预计需要花费 6 分钟才能阅读完成。
本篇内容介绍了“spark 数据本地性实例分析”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让丸趣 TV 小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！
场景：
Spark 在 Driver 上，对 Application 的每一个 stage 的 task，进行分配之前，都会计算出每个 task 要计算的是哪个分片数据，RDD 的某个 partition；Spark 的 task 分配算法，优先，会希望每个 task 正好分配到它要计算的数据所在的节点，这样的话，就不用在网络间传输数据；但是呢，通常来说，有时，事与愿违，可能 task 没有机会分配到它的数据所在的节点，为什么呢，可能那个节点的计算资源和计算能力都满了；所以呢，这种时候，通常来说，Spark 会等待一段时间，默认情况下是 3s 钟（不是绝对的，还有很多种情况，对不同的本地化级别，可以设置不同的等待时长）, 默认重试 5 次，到最后，实在是等待不了了，就会选择一个比较差的本地化级别，比如说，将 task 分配到靠它要计算的数据所在节点，比较近的一个节点，然后进行计算。
但是对于第二种情况，通常来说，肯定是要发生数据传输，task 会通过其所在节点的 BlockManager 来获取数据，BlockManager 发现自己本地没有数据，会通过一个 getRemote() 方法，通过 TransferService（网络数据传输组件）从数据所在节点的 BlockManager 中，获取数据，通过网络传输回 task 所在节点。
对于我们来说，当然不希望是类似于第二种情况的了。最好的，当然是 task 和数据在一个节点上，直接从本地 executor 的 BlockManager 中获取数据，纯内存，或者带一点磁盘 IO；如果要通过网络传输数据的话，那么实在是，性能肯定会下降的，大量网络传输，以及磁盘 IO，都是性能的杀手。
如果可以从数据所在的位置拿到数据，那就是最佳情况，直接在一个 executor 进程内，走内存速度最佳如果数据所在的机器资源被占用，超过 3 秒，就会放到离数据近的其他机器上面去，那样 Task 任务会找它自己本地的 BlockManager 要数据，没有就会通过 BlockManager 来管附近的 BlockManager 就是数据所在机器的要数据，可能不在一个节点，要走网络传输，当然你要是说俩个 executor 都在一个节点里面，那这种情况，也还算不错，就在一个节点，走进程间数据传输即可
还有一种情况，最差的就是这种跨机架拉取数据的方式了。速度非常慢，对性能的影响，相当大。
spark 里面数据本地化级别都有哪几种？
PROCESS_LOCAL：进程本地化，代码和数据在同一个进程中，也就是在同一个 executor 中；计算数据的 task 由 executor 执行，数据在 executor 的 BlockManager 中，性能最好。
NODE_LOCAL：节点本地化，代码和数据在同一个节点中；比如说，数据作为一个 HDFS block 块，就在节点上，而 task 在节点上某个 executor 中运行；或者是，数据和 task 在一个节点上的不同 executor 中，数据需要在进程间进行传输
NO_PREF：对于 task 来说，数据从哪里获取都一样，没有好坏之分, 比如从数据库中获取数据
RACK_LOCAL：机架本地化，数据和 task 在一个机架的两个节点上，数据需要通过网络在节点之间进行传输；
ANY：数据和 task 可能在集群中的任何地方，而且不在一个机架中，性能最差。
spark.locality.wait，默认是 3s我们什么时候要调节这个参数？
观察日志，spark 作业的运行日志，推荐大家在测试的时候，先用 client 模式，在本地就直接可以看到比较全的日志。日志里面会显示，starting task。。。，PROCESS LOCAL、NODE LOCAL 观察大部分 task 的数据本地化级别。
如果大多都是 PROCESS_LOCAL，那就不用调节了；如果是发现，好多的级别都是 RACK_LOCAL、ANY，那么最好就去调节一下数据本地化的等待时长调节完，应该是要反复调节，每次调节完以后，再来运行，观察日志看看大部分的 task 的本地化级别有没有提升；看看，整个 spark 作业的运行时间有没有缩短，你别本末倒置，本地化级别倒是提升了，但是因为大量的等待时长，spark 作业的运行时间反而增加了，那就还是不要调节了
怎么调节？
spark.locality.wait，默认是 3s；6s，10s
默认情况下，下面 3 个的等待时长，都是跟上面那个是一样的，都是 3s
spark.locality.wait.process
spark.locality.wait.node
spark.locality.wait.rack
new SparkConf().set( spark.locality.wait , 10)“spark 数据本地性实例分析”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注丸趣 TV 网站，丸趣 TV 小编将为大家输出更多高质量的实用文章！
