共计 1107 个字符，预计需要花费 3 分钟才能阅读完成。
本篇文章给大家分享的是有关如何进行 JobScheduler 内幕实现，丸趣 TV 小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着丸趣 TV 小编一起来看看吧。
在 spark stream 程序中的一条关键的语句就是：ssc.start()
1，跟踪进入 StreamingContext 的 start 方法，有一句非常关键的语句 scheduler.start()，是个 JobScheduler(spark stream 用来 job 调度的)
进行 job 调度的入口！
2，计入 JobScheduler 的 start 方法。
在这个方法中几个关键的点是：
eventLoop.start() 一个事件循环器，用于响应其它组件发来的事件 ( 包括 job 的启动，完成，以及错误报告)。
receiverTracker.start() 控制了整个 receiver 的生成，与数据的接受
jobGenerator.start() 真正开始进行 job 的生成
在这个方法中也维护了一个事件处理的循环器 eventLoop，用于处理各种事件
其中最为关键的事件是 GenerateJobs(time)，这个事件是进行生成 job 的事件！！
跟踪计入 generateJobs(time)
jobScheduler.receiverTracker.allocateBlocksToBatch(time) 为当前的 bath 分发收到的数据 Blocks。
graph.generateJobs(time)：根据当前编写的程序的 output 动作生成相应的 job 并封装进入集合中。
最终通过
提交作业到 executor
在回去看看 jobGenerator.start() 中的 startFirstTime()
private def startFirstTime() { val startTime = new Time(timer.getStartTime())
graph.start(startTime - graph.batchDuration)
timer.start(startTime.milliseconds)
logInfo(Started JobGenerator at + startTime)
}第一次启动会启动一个定时器，该定时器会根基 duration bath 不断的的给 jobGenerator 中的消息循环体！
在 jobGenerator 中的消息循环体就会不断的去除消息进行处理
以上就是如何进行 JobScheduler 内幕实现，丸趣 TV 小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注丸趣 TV 行业资讯频道。
