Spark调优应该怎么做

共计 1341 个字符，预计需要花费 4 分钟才能阅读完成。

今天就跟大家聊聊有关 Spark 调优应该怎么做，可能很多人都不太了解，为了让大家更加了解，丸趣 TV 小编给大家总结了以下内容，希望大家根据这篇文章可以有所收获。

死锁的问题通过分析死锁日志文件解决了，由于上面一块错误的认识。一直认为两个非唯一索引可以命中单条记录，其实 mysql 为了性能命中了多条。

一个简单的 update 语句，update？whereid1=1andid2=2id1 和 id2 都是非唯一索引，这时有的语句会对因为优化导致上锁其他索引周边的数据条目，这时他会等待内建唯一索引的锁，而同样的语句会对内建唯一索引加锁，等待 id1 或者 id2 的锁，出现同一条语句回环等待锁的释放，导致死锁发生。

以后还是需要多看一些数据库方面的书籍，对原理性知识了解的更多一些。

Spark 中主要进程的作用？

Driver 进程：负责任务的分发和结果的回收。

Executor 进程：负责具体任务的执行。

Master 进程：Spark 资源管理的主进程，负责资源调度。

Worker 进程：Spark 资源管理的从进程，woker 节点主要运行 Executor

如何选择一种最合适的持久化策略？

默认情况下，性能最高的当然是 MEMORY_ONLY，但前提是你的内存必须足够足够大，可以绰绰有余地存放下整个 RDD 的所有数据。因为不进行序列化与反序列化操作，就避免了这部分的性能开销；对这个 RDD 的后续算子操作，都是基于纯内存中的数据的操作，不需要从磁盘文件中读取数据，性能也很高；而且不需要复制一份数据副本，并远程传送到其他节点上。但是这里必须要注意的是，在实际的生产环境中，恐怕能够直接用这种策略的场景还是有限的，如果 RDD 中数据比较多时（比如几十亿），直接用这种持久化级别，会导致 JVM 的 OOM 内存溢出异常。

如果使用 MEMORY_ONLY 级别时发生了内存溢出，那么建议尝试使用 MEMORY_ONLY_SER 级别。该级别会将 RDD 数据序列化后再保存在内存中，此时每个 partition 仅仅是一个字节数组而已，大大减少了对象数量，并降低了内存占用。这种级别比 MEMORY_ONLY 多出来的性能开销，主要就是序列化与反序列化的开销。但是后续算子可以基于纯内存进行操作，因此性能总体还是比较高的。此外，可能发生的问题同上，如果 RDD 中的数据量过多的话，还是可能会导致 OOM 内存溢出的异常。

如果纯内存的级别都无法使用，那么建议使用 MEMORY_AND_DISK_SER 策略，而不是 MEMORY_AND_DISK 策略。因为既然到了这一步，就说明 RDD 的数据量很大，内存无法完全放下。序列化后的数据比较少，可以节省内存和磁盘的空间开销。同时该策略会优先尽量尝试将数据缓存在内存中，内存缓存不下才会写入磁盘。

通常不建议使用 DISK_ONLY 和后缀为_2 的级别：因为完全基于磁盘文件进行数据的读写，会导致性能急剧降低，有时还不如重新计算一次所有 RDD。后缀为_2 的级别，必须将所有数据都复制一份副本，并发送到其他节点上，数据复制以及网络传输会导致较大的性能开销，除非是要求作业的高可用性，否则不建议使用。

看完上述内容，你们对 Spark 调优应该怎么做有进一步的了解吗？如果还想了解更多知识或者相关内容，请关注丸趣 TV 行业资讯频道，感谢大家的支持。