1. 在GraphJobRunner中的loadVertices函数中,增加打印读取的顶点,就可以避免如下问题:
owest notify.
16/03/26 20:57:27 DEBUG sync.ZooKeeperSyncClientImpl: leaveBarrier() at superstep: 3 taskid:attempt_201603262059_0001_000004_0 lowest notify other nodes.
16/03/26 20:57:27 DEBUG sync.ZooKeeperSyncClientImpl: leaveBarrier() !!! checking znodes contnains /ready node or not: at superstep:3 znode:[ready]
16/03/26 20:57:27 DEBUG sync.ZooKeeperSyncClientImpl: leaveBarrier() at superstep:3 znode size: (0) znodes:[]
16/03/26 20:57:27 DEBUG ipc.Client: IPC Client (591203588) connection to localhost/127.0.0.1:50001 from liuqiang2 sending #67
16/03/26 20:57:27 DEBUG ipc.Client: IPC Client (591203588) connection to localhost/127.0.0.1:50001 from liuqiang2 got value #67
16/03/26 20:57:27 DEBUG ipc.RPC: Call: statusUpdate 2
16/03/26 20:57:27 INFO graph.GraphJobRunner: Total time spent for broadcasting aggregation values: 118 ms
16/03/26 20:57:27 ERROR bsp.BSPTask: Error running bsp setup and bsp function.
java.lang.NullPointerException
at org.apache.hama.util.UnsafeByteArrayInputStream.<init>(UnsafeByteArrayInputStream.java:63)
at org.apache.hama.util.WritableUtils.unsafeDeserialize(WritableUtils.java:63)
at org.apache.hama.graph.MapVerticesInfo.get(MapVerticesInfo.java:101)
at org.apache.hama.graph.GraphJobRunner$ComputeRunnable.<init>(GraphJobRunner.java:368)
at org.apache.hama.graph.GraphJobRunner.doSuperstep(GraphJobRunner.java:278)
at org.apache.hama.graph.GraphJobRunner.bsp(GraphJobRunner.java:188)
at org.apache.hama.bsp.BSPTask.runBSP(BSPTask.java:171)
at org.apache.hama.bsp.BSPTask.run(BSPTask.java:144)
at org.apache.hama.bsp.GroomServer$BSPPeerChild.main(GroomServer.java:1255)
16/03/26 20:57:27 DEBUG bsp.Counters: Adding TASK_OUTPUT_RECORDS
原因我也不知道,但是就是可以! 怀疑是concurrencyHashMap的并发问题,真TM神奇。。。
我打印了消息值后发现被发送过来的消息ID在原task的MapVertices中确实没有,因此处理消息时取值为空报错,怀疑一种可能是读的时候没有读进来,另外的一种可能是并发重分区的时候数据没有同步好,导致该点未被读入。
检查应该是并发重分区时的问题,可能没有同步好。。。。
2. zookeeper的同步问题,记得随时:
bin/zookeepers.sh ~/zookeeper-3.4.5/bin/zkCli.sh -server 127.0.0.1:21810
删除/bsp下面的所有数据,否则会有稀奇古怪的问题。。。。
分享到:
相关推荐
refined.zip,scala的简单求精类型scala的简单求精类型
赠送jar包:hppc-0.7.1.jar; 赠送原API文档:hppc-0.7.1-javadoc.jar; 赠送源代码:hppc-0.7.1-sources.jar; 赠送Maven依赖信息文件:hppc-0.7.1.pom; 包含翻译后的API文档:hppc-0.7.1-javadoc-API文档-中文...
分布式模式的Hama安装笔记,内容如下: 1.参考“hadoop安装.txt”,完成hadoop的安装。节点信息如下: 192.168.1.160 hadoop-1 192.168.1.161 hadoop-2 192.168.1.162 hadoop-3 2.添加环境变量 在/etc/profile...
汉密顿焦虑量表(HAMA) 填表注意事项:在最适合病人情况中划一个钩“√”,所有项目采用0~4分的5级评分法,各级的标准为:(0)为无症状;(1)轻;(2)中等;(3)重;(4)极重。 无症状 轻 中等 重 极重 1、...
1.Hama-0.6.0,里面含有安装版和源码两部分,与hadoop-1.0.3 结合使用,已在Linux(RHEL和Ubuntu)平台测试通过。 2. Hama是基于HDFS上的BSP模型实现。
基于Hama并行计算框架的多层级作业调度算法的研究及实现 胡月胜
HAMA焦虑量表.doc
HAMA抑郁量表.pdf
2021年HAMA焦虑量表
汉密尔顿焦虑量表HAMA项打印版.pdf
汉密顿焦虑量表(HAMA)(Hamilton Anxiety Scale.doc
汉密尔顿焦虑量表HAMA(14项打印版)-2页.pdf
基于Hama并行计算框架的多层级作业调度算法的研究及实现.pdf
综合护理干预对无肝素血液透析患者HAMA凝血程度及不良反应率的影响分析
哈马珠 Hama Beads 编辑器
Arduino库,用于从Ventus W174 / W132(已测试),Auriol H13726,Hama EWS 1500,Meteoscan W155 / W160读取天气数据 此处描述了气象站的传输协议: : 可以通过接收器模块RXB6 / MX-RM-5V进行通信,也可以直接...
2008年5月Hama被视为Apache众多项目中一个被孵化的项目,目前(2010年12月)在Hama的项目网站上还没有正式的release版本,作为Hadoop项目中的一个子项目,BSP模型是Hama计算的核心,并且实现了分布式的计算框架,采用...