Spark集群启动流程和任务提交流程、案例练习—spark集群启动流程_电子发烧友学院

首页>课程 > 大数据 > Spark基础及源码分析视频 > Spark集群启动流程和任务提交流程、案例练习—spark集群启动流程

加入发烧友学院让学习更简单

200W+小伙伴在线陪你一起学习，让你的职业生涯更精彩

登录免费注册

扫一扫，手机上观看333

Spark基础及源码分析视频

讲师：扣丁学堂共103个课时5.0

￥49.00购买专栏

课程目录老师答疑区相关课程

第1讲—Scala语言环境安装、Scala的基本语法—认识scala免费00:09:06
第2讲—Scala语言环境安装、Scala的基本语法—安装开发环境免费00:05:41
第3讲—Scala语言环境安装、Scala的基本语法—scala Shell、用idea创建maven项目免费00:14:46
第4讲—Scala语言环境安装、Scala的基本语法—配置maven本地仓库、导入切换项目等其它配置免费00:07:26
第5讲—Scala语言环境安装、Scala的基本语法—变量的声明免费00:06:19
第6讲—Scala语言环境安装、Scala的基本语法—scala的7种值类型和条件表达式00:08:07
第7讲—Scala语言环境安装、Scala的基本语法—for循环00:12:50
第8讲—Scala语言环境安装、Scala的基本语法—方法和函数的声明以及方法转换成函数00:17:36
第9讲—Scala语言环境安装、Scala的基本语法—数组00:20:10
第10讲—Scala语言环境安装、Scala的基本语法—映射00:08:37
第11讲—Scala语言环境安装、Scala的基本语法—元组00:12:15
第12讲—Scala语言环境安装、Scala的基本语法—集合之seq00:18:09
第13讲—Scala语言环境安装、Scala的基本语法—集合之set00:07:31
第14讲—Scala语言环境安装、Scala的基本语法—集合之map00:05:27
第15讲—常用方法练习—lazy关键字00:10:39
第16讲—常用方法练习—函数式编程练习之常用方法00:25:51
第17讲—常用方法练习—函数式编程之reduce00:14:06
第18讲—常用方法练习—函数式编程之fold00:08:16
第19讲—常用方法练习—函数式编程之aggregate00:06:54
第20讲—常用方法练习—函数式编程之交并差集00:02:54
第21讲—常用方法练习—scala实现wordcount00:18:58
第22讲—面向对象、模式匹配—创建类、属性00:20:16
第23讲—面向对象、模式匹配—构造器、辅助构造器00:20:14
第24讲—面向对象、模式匹配—单例对象00:14:46
第25讲—面向对象、模式匹配—伴生对象00:10:05
第26讲—面向对象、模式匹配—apply和unapply方法00:22:40
第27讲—面向对象、模式匹配—private关键字00:14:16
第28讲—面向对象、模式匹配—特质、抽象类、继承、重写、实现等00:19:37
第29讲—面向对象、模式匹配—模式匹配之匹配字符串00:09:01
第30讲—面向对象、模式匹配—模式匹配之匹配类型00:06:49
第31讲—面向对象、模式匹配—模式匹配之匹配数组、元组、集合00:18:19
第32讲—面向对象、模式匹配—模式匹配之样例类00:08:50
第33讲—面向对象、模式匹配—模式匹配之偏函数00:08:17
第34讲—Actor、柯里化、隐式转换—作为值的函数00:07:41
第35讲—Actor、柯里化、隐式转换—柯里化概念及声明方式00:17:08
第36讲—Actor、柯里化、隐式转换—柯里化练习00:10:19
第37讲—Actor、柯里化、隐式转换—隐式转换和隐式参数00:10:54
第38讲—Actor、柯里化、隐式转换—隐式转换练习1-100:14:11
第39讲—Actor、柯里化、隐式转换—隐式转换练习2-100:17:56
第40讲—Actor、柯里化、隐式转换—泛型00:11:35
第41讲—Actor、柯里化、隐式转换—upperbound00:12:20
第42讲—Actor、柯里化、隐式转换—viewbound00:15:48
第43讲—Actor、柯里化、隐式转换—contextbound00:10:12
第44讲—泛型、Akka—actor概念00:10:07
第45讲—泛型、Akka—actor实例之创建actor00:07:21
第46讲—泛型、Akka—actor实例之消息的接收与发送（异步没有返回值）00:19:27
第47讲—泛型、Akka—actor实例之消息的接收与发送（同步有返回值）00:04:29
第48讲—泛型、Akka—actor实例之消息的接收与发送（异步有返回值）00:08:11
第49讲—泛型、Akka—actor实例之并行编程思想实现单词计数00:30:00
第50讲—泛型、Akka—akka简介00:09:50
第51讲—泛型、Akka—akka案例需求分析00:07:41
第52讲—泛型、Akka—akka案例代码分析00:20:35
第53讲—Spark集群安装、Spark任务提交、Spark实现WordCount并上传任务—Spark简介00:11:13
第54讲—Spark集群安装、Spark任务提交、Spark实现WordCount并上传任务—Spark集群搭建、启动00:06:20
第55讲—Spark集群安装、Spark任务提交、Spark实现WordCount并上传任务—Spark Shell.启动和提交任务00:11:46
第56讲—Spark集群安装、Spark任务提交、Spark实现WordCount并上传任务—Spark WordCount00:18:55
第57讲—Spark集群安装、Spark任务提交、Spark实现WordCount并上传任务—上传并执行任务00:12:28
第58讲—RDD的基本概念、常用算子练习—rdd的概念00:12:50
第59讲—RDD的基本概念、常用算子练习—生成rdd的两种方式00:05:11
第60讲—RDD的基本概念、常用算子练习—两种类型的算子：transformation和action00:18:17
第61讲—RDD的基本概念、常用算子练习—常用算子练习1-100:24:05
第62讲—RDD的基本概念、常用算子练习—常用算子练习2-100:16:33
第63讲— 案例练习—案例需求-求用户在某基站停留的时间00:12:32
第64讲— 案例练习—案例实现-求用户在某基站停留的时间00:21:12
第65讲— 案例练习—案例实现-求用户访问学科的子网页top00:08:09
第66讲— 案例练习—案例实现-求用户访问学科的子网页top3-chache、自定义分区器00:18:53
第67讲—Spark集群启动流程和任务提交流程、案例练习—spark集群启动流程00:00:01
第68讲—Spark集群启动流程和任务提交流程、案例练习—spark任务提交流程00:05:25
第69讲—Spark集群启动流程和任务提交流程、案例练习—wordcount中创建了那些rdd00:12:40
第70讲—Spark集群启动流程和任务提交流程、案例练习—案例分析实现-按照ip统计区域访问量00:21:33
第71讲—RDD的依赖关系、Stage划分、任务的生成、自定义排序—rdd之间的依赖关系00:10:48
第72讲—RDD的依赖关系、Stage划分、任务的生成、自定义排序—dag的生成和stage的划分00:11:07
第73讲—RDD的依赖关系、Stage划分、任务的生成、自定义排序—webui观察stage划分和任务的生成00:11:39
第74讲—RDD的依赖关系、Stage划分、任务的生成、自定义排序—自定义二次排序00:22:46
第75讲—Checkpoint、SparkSQL、Hive-On-Spark—checkpoint00:15:39
第76讲—Checkpoint、SparkSQL、Hive-On-Spark—sparksql介绍00:08:00
第77讲—Checkpoint、SparkSQL、Hive-On-Spark—创建dataframe00:08:56
第78讲—Checkpoint、SparkSQL、Hive-On-Spark—dataframe常用操作-dsl风格语法00:09:49
第79讲—Checkpoint、SparkSQL、Hive-On-Spark—dataframe常用操作-sql风格语法00:03:10
第80讲—Checkpoint、SparkSQL、Hive-On-Spark—通过反射推断schema00:17:39
第81讲—Checkpoint、SparkSQL、Hive-On-Spark—通过structtype直接指定schema00:11:45
第82讲—Checkpoint、SparkSQL、Hive-On-Spark—hive-on-spark00:21:14
第83讲—SparkStreaming、窗口操作、Spark-On-Yarn—sparkstreaming简介00:08:43
第84讲—SparkStreaming、窗口操作、Spark-On-Yarn—实例分析：sparkstreaming获取netcat产生的数据进行实时分析00:06:24
第85讲—SparkStreaming、窗口操作、Spark-On-Yarn—sparkstreaming实现按批次累加00:23:56
第86讲—SparkStreaming、窗口操作、Spark-On-Yarn—窗口函数概念及使用场景00:17:04
第87讲—SparkStreaming、窗口操作、Spark-On-Yarn—窗口函数实现wordcount00:08:10
第88讲—SparkStreaming、窗口操作、Spark-On-Yarn—spark-on-yarn00:25:37
第89讲—SparkStreaming、窗口操作、Spark-On-Yarn—补充：sparkstreaming依赖00:00:33
第90讲—源码分析：Spark启动流程、Stage划分、任务生成、任务提交流程—关于查看源码的一些介绍00:08:40
第91讲—源码分析：Spark启动流程、Stage划分、任务生成、任务提交流程—导入源码00:04:57
第92讲—源码分析：Spark启动流程、Stage划分、任务生成、任务提交流程—集群启动流程-master类00:22:52
第93讲—源码分析：Spark启动流程、Stage划分、任务生成、任务提交流程—集群启动流程-worker类00:12:22
第94讲—源码分析：Spark启动流程、Stage划分、任务生成、任务提交流程—sparksubmit提交任务00:08:37
第95讲—源码分析：Spark启动流程、Stage划分、任务生成、任务提交流程—sparkcontext00:16:45
第96讲—源码分析：Spark启动流程、Stage划分、任务生成、任务提交流程—创建driveractor和clientactor的过程00:13:11
第97讲—源码分析：Spark启动流程、Stage划分、任务生成、任务提交流程—clientactor向master注册任务信息过程00:07:07
第98讲—源码分析：Spark启动流程、Stage划分、任务生成、任务提交流程—任务调度的两种方式及master通知worker启动executor的过程00:10:34
第99讲—源码分析：Spark启动流程、Stage划分、任务生成、任务提交流程—executor向driveractor反向注册的过程00:05:57
第100讲—源码分析：Spark启动流程、Stage划分、任务生成、任务提交流程—rdd生成和stage划分00:20:20
第101讲—源码分析：Spark启动流程、Stage划分、任务生成、任务提交流程—生成任务并提交00:05:57
第102讲—源码分析：Spark启动流程、Stage划分、任务生成、任务提交流程—task任务执行流程00:10:32
第103讲—源码分析：Spark启动流程、Stage划分、任务生成、任务提交流程—总结-任务生成及提交流程00:14:57

大家的提问

Machine Learning机器学习
￥18.00共10个课时5.0
深度学习和神经网络
￥18.00共9个课时5.0
如何通过自学编程拿到谷歌offer
￥98.00共7个课时5.0
Hadoop生态圈
￥99.00共95个课时5.0

加入发烧友VIP会员，畅学精品课程

Spark基础及源码分析视频

Machine Learning机器学习

深度学习和神经网络

如何通过自学编程拿到谷歌offer

Hadoop生态圈