-
Notifications
You must be signed in to change notification settings - Fork 4
leadDirec/disOC
Folders and files
Name | Name | Last commit message | Last commit date | |
---|---|---|---|---|
Repository files navigation
分布式强有序实时计算 -- 第一版(一个master节点 多个slave节点,轻量级storm golang版本) 应用场景:大数据(行情数据)处理/定时任务调度等 功能: 1:选举出master节点/slave节点 2:master节点指派slave节点处理某一分区数据 3:由master节点从数据源接收数据,分发给slave节点 4: slave节点处理数据 5: 数据源-master节点-slave节点之间采用nsq进行数据交互 6: master/slave众节点可相互故障转移以及slave节点可动态扩展 问题:单一master节点会有性能瓶颈,slave节点中已参与计算的数据需要可以rollback,避免突发节点故障数据丢失,有一定的事务保证场景 TODO 1:多master节点管理,随着数据量的增长,可以实现无限的横向扩展 TODO 2:数据事务保证,有ACK消息确认机制 TODO 3:中间件模块化可插拔 数据结构为了速度设计的比较混乱-- 请略过 启动步骤(本地模式): 1:etcd 2:nsqlookupd nsqd --lookupd-tcp-address=127.0.0.1:4160 nsqadmin --lookupd-http-address=127.0.0.1:4161 3:开启5个终端 分别go run main.go
About
大数据分布式有序计算(例如行情数据处理/定时任务调度等)
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published