原创

Storm 常见问题及解决方案总结

        Storm 是一个开源的、大数据处理系统,与其他大数据解决方案的不同之处在于它的处理方式。Hadoop 在本质上是一个批处理系统。数据被引入 Hadoop 文件系统 (HDFS) 并分发到各个节点进行处理。当处理完成时,结果数据返回到 HDFS 供始发者使用。Storm 支持创建拓扑结构来转换没有终点的数据流。不同于 Hadoop 作业,这些转换从不停止,它们会持续处理到达的数据。


1、storm集群配置JDK环境变量问题

问题分析:在linux系统下配置JDK后一般修改/etc/profile值进行环境变量配置,但是安装storm集群时会出现问题

问题解决:需要在/etc/.bashrc文件中也加入环境变量不然安装的JDK无法使用。


2、supervisor相关问题

1)安装后supervisor名称相同并且启动报错问题

问题分析:supervisor.cji中有行代码如下:

bin/storm supervisor >/dev/null 2>&1

此代码是在启动supervisor时会找本机的hostname。

问题解决:修改每天机器的hostname与其相对应即可。


2)启动Supervisor 时,出现java.lang.UnsatisfiedLinkError异常

具体错误信息如下:

启动Supervisor 时,出现java.lang.UnsatisfiedLinkError:
/usr/local/lib/libjzmq.so.0.0.0: libzmq.so.1: cannot open shared object
file: No such file or directory 异常。

问题分析:未找到zmq 动态链接库。

问题解决1:配置环境变量 export LD_LIBRARY_PATH=/usr/local/lib

问题解决2:编辑/etc/ld.so.conf 文件,增加一行:/usr/local/lib,再次执行即可

使用sudo ldconfig 命令,重启Supervisor


3、发布topologies时,序列化log4j.Logger异常

问题分析:日志系统无法正确正确处理序列化操作

问题解决:使用slf4j替换log4j日志jar包处理


4、提交topology时出现如下异常:

Exception in thread "main" java.lang.IllegalArgumentException: xxx host is not set 
        at backtype.storm.utils.NimbusClient.<init>(NimbusClient.java:30) 
        at backtype.storm.utils.NimbusClient.getConfiguredClient(NimbusClient.java:17) 
        at backtype.storm.StormSubmitter.submitJar(StormSubmitter.java:78) 
        at backtype.storm.StormSubmitter.submitJar(StormSubmitter.java:71) 
        at backtype.storm.StormSubmitter.submitTopology(StormSubmitter.java:50)

问题分析:启动nimbus没有问题,异常原因是conf_dir路径设置错误

问题解决:修改bin/storm脚本,增加如下代码:

CONF_DIR = STORM_DIR + "/conf"


5、在使用storm0.7一下版本时,时间长会出现outofmenmory

问题分析:低于storm0.7版本的没触发一个tuple会创建一个hashmap存储该tuple所在的消息树结构,长时间会给gc造成巨大的压力导致出现outofmemory

问题解决:升级storm版本即可解决问题。


6、storm连接mysql数据库报异常

连接远程mysql数据库时报如下错误:

message from server:"Host FILTER" is not allowed to connect to this MySQL server

问题分析:可能是没有给其IP访问Mysql数据库权限导致

问题解决:登录mysql数据库,执行如下命令:

grant all on *.* to root@'%' identified by "123456";

此操作是给任意IP地址赋予访问权限(命令中*.*是通配任何IP,可指定IP 用户名:root 密码:123456)

关注下方微信公众号“Java精选”(w_z90110),回复关键字领取资料:如HadoopDubboCAS源码等等,免费领取资料视频和项目。 

涵盖:程序人生、搞笑视频、算法与数据结构、黑客技术与网络安全、前端开发、Java、Python、Redis缓存、Spring源码、各大主流框架、Web开发、大数据技术、Storm、Hadoop、MapReduce、Spark、elasticsearch、单点登录统一认证、分布式框架、集群、安卓开发、iOS开发、C/C++、.NET、Linux、Mysql、Oracle、NoSQL非关系型数据库、运维等。

相关推荐

评论

分享:

支付宝

微信