转自:http://dikar.iteye.com/blog/976901
今天开始分析datanode,首先看看datanode开启了哪些任务线程
第一类:
org.apache.hadoop.hdfs.server.datanode.DataBlockScanner
TIMED_WAITING for java.lang.Thread.sleep
第二类:
org.apache.hadoop.hdfs.server.datanode.DataXceiverServer
RUNNABLE for sun.nio.ch.ServerSocketChannelImpl.accept
第三类
IPC Server Responder
IPC Server listener on 50020
IPC Server handler 0 on 50020
IPC Server handler 1 on 50020
IPC Server handler 2 on 50020
IPC Client (47) connection to /10.0.18.105:54310 from dikar
第四类
DataNode: [/home/dikar/hadoop/tmp/dfs/data]
run ----> offerService -----> TIMED_WAITING 在 java.util.LinkedList
第五类
refreshUsed-/home/dikar/hadoop/tmp/dfs/data
org.apache.hadoop.fs.DU$DURefreshThread
第六类
Acceptor0 SelectChannelConnector@0.0.0.0:50075
org.mortbay.thread.QueuedThreadPool$PoolThread
分享到:
相关推荐
Hadoop datanode启动失败:Hadoop安装目录权限的问题
Hadoop datanode重新加载失败无法启动解决.docx
DataNode职责
启动Hadoop后 没有DataNode进程 的解决方法。 一篇文章带你快速了解!
本地数据存储和管理,DataNode的实现包括两部分,一部分是对本地数据块的管理,另一部分,就是和其他的实体打交道。
1. Hadoop 2.0 2. 部署在2个Ubuntu上 3. 2个namenode 2个datanode
hadoop 源码解析-DataNode
daemons.sh start namenode 单独启动NameNode守护进程 hadoop-daemons.sh stop namenode 单独停⽌NameNode守护进程 hadoop-daemons.sh start datanode 单独启动DataNode守护进程 hadoop-daemons.sh stop datanode ...
第6章 DataNode(面试开发重点) 6.1 DataNode工作机制 DataNode工作机制,如图3-15所示。 1)一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块...
HDFS DataNode定义的存储目录不正确或HDFS的存储规划变化时,需要修改DataNode的存储目录,以保障HDFS的正常工作,假定我们现在对应的HDFS数据盘位置为:/hadoop/hdfs/data; 预将数据目录迁移至/data/hadoop/hdfs/...
go语言编写的万能采集DataNode jmx指标二进制文件 所有CDH 版本 有DataNode实例机器均可执行。 没有不会报错,会一分钟重试。 采集了以下三类指标 Hadoop:service=DataNode,name=DataNodeActivity Hadoop:service=...
因业务需要搭建一个新hadoop集群,并将老的hadoop集群中的数据迁移至新的hadoop集群,而且datanode节点不能全部上线,其中还可能会出现节点上线或下线的情况,这个时候就很容易出现机器与机器之间磁盘的均衡的情况,...
HDFS体系结构(NameNode、DataNode详解)
TCP 50010 dfs.datanode.address 数据传输端口 TCP 50020 dfs.datanode.ipc.address ipc 服务器 TCP 50075 dfs.datanode.http.address http 服务器 TCP 50475 dfs.datanode.https.address https 服务器 例子 docker ...
HDFS的概念-namenode和datanode.pdf 学习资料 复习资料 教学资源
本文主要分析了hadoop客户端read和write block的流程. 以及client和datanode通信的协议, 数据流格式等
IBM大数据解决方案Enterprise DataNode Using X3690X5 and EXP2512
单项选择题 1. 下面哪个程序负责 HDFS 数据存储... 每个 map 槽就是一个线程。( ) 30. Mapreduce 的 input split 就是一个 block。( ) 31. NameNode 的 Web UI 端口是 50030,它通过 jetty 启动的 Web 服务。( ) 32. Ha