S4分布式流计算引擎
背景
最近花了点时间研究了下分布式计算这一块的内容。领导给的第一个任务，就是学习下S4和GridGain。花了几天的时间把s4的源码看了下，把自己的理解和学习的内容做一个记录。 下一篇会是GridGain的分享
学习
- s4的论文：
- s4的官网： s4是什么？ 1. s4的全称 ： Simple Scalable Streaming System (简单的描述：分布式流计算系统) 2. 特点：
- distributed(分布式)
- scalable(扩展性)
- partially fault-toleran(部分容错性)
- pluggable (可插拔) 3. 产生的原因：
- Yahoo发起，主要用于解决"cost-per-click“广告，通过实时计算预测用户对广告的可能的点击行为。
- 不用hadoop的原因： hadoop主要解决batch处理，基于mapReduce对可控的数据的进行处理。而流计算是针对不可控的点击事件，对实时性有严格要求。 4. 适用的场景：
- 业务允许部分容错性。 (s4没有严格的failover机制，运行节点突然crash时，会导致当前节点中的数据丢失。后续的请求会failover到其他的节点上)
S4的设计：
容器概念()
- PE : Processing Elements (处理节点)
* emit one or more events which may be consumed by other PEs,
* publish results, possibly to an external data store or consumer. - Events : message (消息)
* arbitrary Java Objects
* passed between PEs. (send and receive) - PEC : processing element container (处理节点容器)
* invokes the appropriate PEs in the appropriate order - node : a Processing Endpoint (机器节点)
* a jvm instance
* contains a PEC - cluster: a group nodes (节点集群)
说明：
- 一个cluster包含多个node
- 每个node包含一个PE Container
- 每个PE Container 包含多个PE
- 每个PE消费Events，生成新的Events并传递给下一个PE
总体结构图：
- PE Container/PE
- EventListenter
- Dispatcher, EventEmitter
- Communcation
PE内部概念：(4个部分组成)
- its functionality as defined by a PE class and associated configuration,
- the named stream that it consumes,
- the keyed attribute in those events, and
- the value of the keyed attribute in events which it consumers
PE类关系图：
说明：
- Persister ： 每个PE对应一个Persister，s4中每个PE对应于一个key的value结果。每个value结构都将作为PE的一个instance
- FrequenceType : 每个PE会定期进行flush output输出，可选择的策略(定时，数量阀值)
- Clock ： 每个PE的时间控制单元，有几种时间。(WallClock:基于系统时间处理 , EventClock：基于event事件时间控制)
重点理解一下: Keyless PE概念和PE Prototype
- PE在底层实现了会以多实例存在。存储的key即为其keyed对应的value值，内部有个lookupTable概念。
- 针对Keyless PE，其对应的存储key即为"*"，所以每次通过lookupTable.get(value)返回的即为同一个节点，单例化
- 针对prototype，其对应的存储就为其value，所以每次会根据当前keyed attribute确定返回的PE节点，基于这点可以实现PE节点数据的Join处理
EventListener/EventEmitter：
说明：
- 每个PE Container是一个EventProducer，使用CommLayerListener做为其事件处理器，处理EventWrapper反序列化。
- 每个PE包含一个Dispatcher，Dispatcher里包含了一个EventEmitter处理对应的EventWrapper对象的发送
- 底层实际通讯的类： SenderProcess/ListenerProcess
Dispatcher类关系图：
说明：
- Partitioner， 每个dispatcher针对发送的目标cluster，会根据对应的key进行分区处理，路由到其中的node节点。(node节点的信息可以通过zookeeper进行动态管理)
考虑集群node节点的管理(node的新增 or 修改)
说明：
- ProcessMonitor 监控当前运行node节点的状态，有static/dymaic两种维护状态
- TaskManager 创建node节点，主要是设置lock文件，有static/dymaic两种维护状态
运行(PE状态变化)
S4缺点：
S4产品还是一个半成品，整体代码结构组织和风格上还是比较乱的，选择使用时需谨慎。存在的一些问题：
- failover (运行node节点出现crash，当前node上的PE数据将无法实施failover)
- persist (目前支持方式过于简单，需要考虑网络持久化，类似于nfs，分布式文件系统等，配合failover机制)
- communication (只支持udp协议，数据传输可靠性上)
- load balancer (根据系统负载进行智能LB，目前暂时未看到相关实现。系统运行分为两种模式static or dymaic模式, static不存在智能调节LB处理)
- deploy (手工方式介入deploy，无法支持apps的zero deploy模式。系统分为cluster/node两概念，node对应于一计算节点实例,cluster为一组处理相同业务的计算节点)
