大发时时彩玩法—大发快3彩票平台

Spark修炼之道(高级篇)——Spark源码阅读:第八节 Task执行

时间:2020-01-24 16:53:04 出处:大发时时彩玩法—大发快3彩票平台

总结一下Task的执行过程:

1 调用Driver端org.apache.spark.scheduler.cluster.CoarseGrainedSchedulerBackend中的launchTasks

2 调用Worker端的org.apache.spark.executor.CoarseGrainedExecutorBackend.launchTask

3 执行org.apache.spark.executor.TaskRunner进程中的run法律土办法

4 调用org.apache.spark.scheduler.Task.run法律土办法

5 调用org.apache.spark.scheduler.ResultTask.runTask法律土办法

6 调用org.apache.spark.rdd.RDD.iterator法律土办法

都要能都看它继承ThreadSafeRpcEndpoint,它ThreadSafeRpcEndpoint中的receive法律土办法进行了实现,具体源代码如下:

有一个多多多多面的代码都要能都看,通过 executor.launchTask法律土办法启动Worker节点上Task的运行,其源码如下:

以ResultTask为例,其runTask法律土办法源码如下:

Task run法律土办法负责Task的执行,其源码如下:

在上一节中,大家提到在Driver端CoarseGrainedSchedulerBackend中的launchTasks法律土办法向Worker节点中的Executor发送启动任务命令,该命令的接收者是CoarseGrainedExecutorBackend(Standalone模式),类定义源码如下:

TaskRunner是有一个多多多进程,它是有一个多多多内部内部结构类,被定义在org.apache.spark.executor.Executor类当中,具体源码如下:

热门

热门标签