Skip to content
This repository has been archived by the owner on Jun 16, 2023. It is now read-only.

运维经验总结

Zehao Jin edited this page Jan 4, 2014 · 9 revisions
  • Jvm GC 需要使用CMS GC 方式, JStorm默认已经设置, 使用Storm的朋友需要类似的设置,
worker.childopts: "-Xms1g -Xmx1g -Xmn378m -XX:SurvivorRatio=2 -XX:+UseConcMarkSweepGC -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=65"
  • 对于一些重要的应用,可以对大集群进行分组, 修改配置文件的 “storm.zookeeper.root” 和 “nimbus.host”
  • Zeromq推荐2.1.7
    • 64位java 就需要使用64位zeromq
    • 在64位OS上使用32位java, 编译zeromq 增加flag –m32
  • 对于应用使用ZK较频繁的,需要将JStorm的ZK 和应用的ZK 隔离起来,不混在一起使用
  • nimbus节点上不允许supervisor, 并建议把nimbus放置到ZK 所在的机器上运行
  • 推荐slot数为 ”CPU 核 - 1“, 假设24核CPU, 则slot为23
  • 配置cronjob,定时检查nimbus和supervisor,一旦进程死去,自动重启
  • ZK 的maxClientCnxns=500
  • Linux对外连接端口数限制,TCP client对外发起连接数达到28000左右时,就开始大量抛异常,需要
 # echo "10000 65535" > /proc/sys/net/ipv4/ip_local_port_range
Clone this wiki locally