Skip to content

大数据分布式有序计算(例如行情数据处理/定时任务调度等)

Notifications You must be signed in to change notification settings

leadDirec/disOC

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

7 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

分布式强有序实时计算  --  第一版(一个master节点 多个slave节点,轻量级storm golang版本)

应用场景:大数据(行情数据)处理/定时任务调度等

功能:
1:选举出master节点/slave节点
2:master节点指派slave节点处理某一分区数据
3:由master节点从数据源接收数据,分发给slave节点
4: slave节点处理数据
5: 数据源-master节点-slave节点之间采用nsq进行数据交互
6: master/slave众节点可相互故障转移以及slave节点可动态扩展

问题:单一master节点会有性能瓶颈,slave节点中已参与计算的数据需要可以rollback,避免突发节点故障数据丢失,有一定的事务保证场景

TODO 1:多master节点管理,随着数据量的增长,可以实现无限的横向扩展
TODO 2:数据事务保证,有ACK消息确认机制
TODO 3:中间件模块化可插拔

数据结构为了速度设计的比较混乱-- 请略过

启动步骤(本地模式):
1:etcd
2:nsqlookupd    nsqd --lookupd-tcp-address=127.0.0.1:4160   nsqadmin --lookupd-http-address=127.0.0.1:4161
3:开启5个终端 分别go run main.go

About

大数据分布式有序计算(例如行情数据处理/定时任务调度等)

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages