| title | date | tags | hidden | ||
|---|---|---|---|---|---|
Spark 调度系统 |
2019-10-13 04:55:34 -0700 |
|
true |
SparkContext在一开始就会初始化 _schedulerBackend、_taskScheduler、_dagScheduler这三个实例(SparkContext.createTaskScheduler)
用户提交的Job首先会被转换为一系列RDD，然后才交给DAGScheduler.runJob进行处理. 这些 RDD 会被划分成为多个 stage, stage 之间存在着依赖关系. Job中所有Stage的提交过程包括反向驱动与正向提交。
注: 第一幅图片来自于博客