cloudeagle_bupt
- 浏览: 538975 次
-
最新评论
文章列表
读Hama代码发现的同步问题,
实际使用IncomingVertexMessageManager类作为消息管理类,
开始我看到AbstractMessageManager中init函数
this.localQueueForNextIteration = getSynchronizedReceiverQueue();
还以为加了同步，后来发现真没有。。。。
这样会存在IncomingVertexMessageManager中的
public void add(GraphJobMessage item) {
if (item.isVertexMessage()) ...
- 2016-05-22 17:42
- 浏览 144
- 评论(0)
package concurrentMap;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.RandomAccessFile;
import java.util.Map;
import java.util.concurrent.ConcurrentHashMap;
public class ConcurrencyHashMapTest3 {
// static Object[] mutex = new Object[2] ;
public ConcurrentHashM ...
- 2016-05-22 17:12
- 浏览 283
- 评论(0)
while (it.hasNext()) {
Entry<InetSocketAddress, BSPMessageBundle<M>> entry = it.next();
final InetSocketAddress addr = entry.getKey();
final BSPMessageBundle<M> bundle = entry.getValue();
// remove this message during runtime to save a bit of memory
...
- 2016-05-22 15:25
- 浏览 202
- 评论(0)
package concurrentMap;
import java.util.HashMap;
import java.util.concurrent.ConcurrentHashMap;
public class ConcurrencyHashMapTest {
public ConcurrentHashMap<Integer, HashMap<Integer, Integer>> pMsgs = new ConcurrentHashMap<Integer, HashMap<Integer, Integer>>();
public ...
- 2016-05-19 10:07
- 浏览 213
- 评论(0)
1. 在GraphJobRunner中的loadVertices函数中，增加打印读取的顶点，就可以避免如下问题:
owest notify.
16/03/26 20:57:27 DEBUG sync.ZooKeeperSyncClientImpl: leaveBarrier() at superstep: 3 taskid:attempt_201603262059_0001_000004_0 lowest notify other nodes.
16/03/26 20:57:27 D ...
- 2016-03-26 20:51
- 浏览 169
- 评论(0)
hama jar hama-examples-0.7.1.jar pagerank -i /test/youTube.txt -f text -o /output
hama-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
/**
* Copyright 2007 The Apache Software Foundation
*
* Licensed ...
- 2016-03-22 21:05
- 浏览 236
- 评论(0)
[liuqiang2@mu02 bin]$ giraph ../giraph-core-1.1.0.jar org.apache.giraph.benchmark.PageRankComputation -vif org.apache.giraph.io.formats.IntFloatNullTextInputFormat -vip /test/youTube.txt -vof org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /output -w 15
16/03/18 17:32:05 INFO uti ...
- 2016-03-18 17:17
- 浏览 289
- 评论(0)
1. 最简单的方式是所有东西全放到一个大的jar包中，但是比较麻烦。
2. 使用hadoop jar的-libjars参数来设置第三方依赖的jar
hadoopjarmy-example.jarcom.example.MyTool-libjarsmysql-connector-java.jar,abc.jar
多个jar包间使用逗号分隔。
但是这个我试了没有成功，不知道问题在哪。
- 2016-03-17 20:18
- 浏览 282
- 评论(0)
1. 最简单的方式是所有东西全放到一个大的jar包中，但是比较麻烦。
2. 使用hadoop jar的-libjars参数来设置第三方依赖的jar
hadoopjarmy-example.jarcom.example.MyTool-libjarsmysql-connector-java.jar,abc.jar
多个jar包间使用逗号分隔。
但是这个我试了没有成功，不知道问题在哪。
- 2016-03-17 20:18
- 浏览 468
- 评论(0)
方法1： 看日志。
方法2：
<property>
<name>mapred.child.java.opts</name>
<value>-Xmx1024m -Xdebug -Xrunjdwp:transport=dt_socket,address=8792,server=y,suspend=y</value>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name ...
- 2016-03-17 15:11
- 浏览 226
- 评论(0)
方法1： 看日志。
方法2：
<property>
<name>mapred.child.java.opts</name>
<value>-Xmx1024m -Xdebug -Xrunjdwp:transport=dt_socket,address=8792,server=y,suspend=y</value>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name ...
- 2016-03-17 15:11
- 浏览 580
- 评论(0)
http://qq85609655.iteye.com/blog/2193931
了解程序运行过程，除了一行行代码的扫射源代码。更快捷的方式是运行调试源码，通过F6/F7来一步步的带领我们熟悉程序。针对特定细节具体数据，打个断点调试则是水到渠成的方式。
Java远程调试
Java代码
*JDK1.3orearlier-Xnoagent-Djava.c
- 2016-03-17 11:20
- 浏览 197
- 评论(0)
http://qq85609655.iteye.com/blog/2193931
了解程序运行过程，除了一行行代码的扫射源代码。更快捷的方式是运行调试源码，通过F6/F7来一步步的带领我们熟悉程序。针对特定细节具体数据，打个断点调试则是水到渠成的方式。
Java远程调试
Java代码
*JDK1.3orearlier-Xnoagent-Djava.c
- 2016-03-17 11:20
- 浏览 331
- 评论(0)
http://www.cnblogs.com/lailailai/p/4560399.html
写服务端程序，在开发环境下打开远程调试还是非常有用的，还原现场非常容易，让请求方再发个请求即可。如果下来本地调试的话很多环境与管理服务的地址配置什么的都可能不一样，增加了可变因素。
在需要启动服务调试的jvm启动参数中加入（注意：参数要排在启动类名的前面）
- 2016-03-17 11:15
- 浏览 439
- 评论(0)