scala系列(十一)Case Class与模式匹配 有更新!
scala系列(十一)Case Class与模式匹配
scala系列(十一)Case Class与模式匹配
(一)模型简介
1. 术语定义
2. 模型组成
1) Driver部分
2) Executor-原生数据
3) Executor-RDD
4) Executor-共享变量
(二)RDD理论
1. 术语定义
2. RDD概念
1) RDD的特点
2) RDD基础数据类型
3) 例子:控制台日志挖掘
3. 转换与操作
1) 操作函数
2) 转换函数
4. 依赖类型
5. RDD缓存
(三)RDD实践
1. 启动Spark Shell
2. 转换与操作
1) 并行化集合例子演示
2) Shuffle操作例子演示
3) 文件例子读取
4) 搜狗日志查询例子演示
(四)eclipse-scala-maven-spark搭建
1. 搭建eclipse+scala
2. 搭建maven-scala
3. spark开发环境
4. 任务编写打包
5. 上传并执行任务
(一)zookeeper工作原理(集群)
1. 基本概念
1) 角色
2) 设计目的
2. 工作原理
1) 选主流程
2) 同步流程
3. 工作流程
1) Leader工作流程
2) Follower工作流程
(二)ZK应用原理
1. 数据模型
2. 通知机制
(三)ZK应用场景
1. 名字服务(NameService)
2. 配置管理(Configuration Management)
3. 组员管理(Group Membership)
4. 简单互斥锁(Simple Lock)
5. 互斥锁(Simple Lock without Herd Effect)
6. 读写锁(Read/Write Lock)
7. 屏障(Barrier)
8. 双屏障(Double Barrier)
9. 负载均衡(软负载)
10. 分布式队列
(四)ZkClient
1. ZkClient的设计
2. ZkClient的组件说明
3. 重要处理流程说明
1) 启动ZKClient
2) 为节点注册Watcher
3) ZKClient提供了订阅功能(注册监听)
4. ZooKeeper的变更操作
5. 客户端处理变更
6. 序列化处理
(五)zookeeper应用场景实现
1. Demo-Znode操作监控
1) pom.xml
2) 操作类
3) 监听类
4) 开启一个监听线程