hadoop hbase metric名全解释

转自: http://blog.csdn.net/mrtitan/article/details/8984980

和同事花了1天时间把hadoop和hbase的所有metric全部解释了一遍，记录一下：

系统参数监控metrics

load_one 每分钟的系统平均负载

load_fifteen 每15分钟的系统平均负载

load_five 每5分钟的系统平均负载

boottime 系统启动时间，精确到秒

bytes_in 网络接收速度，单位bytes/sec

bytes_out 网络发送速度，单位bytes/sec

cpu_aidle 启动的空闲CPU百分比

cpu_idle 空闲CPU百分比

cpu_nice 用户进程空间内改变过优先级的进程占用CPU百分比

cpu_num CPU线程总数

cpu_report CPU使用情况汇总报告

cpu_speed CPU速度（MHz）

cpu_system 内核空间占用CPU百分比

cpu_user 用户空间占用CPU百分比

cpu_wio CPU空闲时的最大I/O请求

proc_total 进程总数

swap_free 空闲交换分区空闲大小

swap_total 空闲交换分区大小（KBs显示）

disk_free 剩余磁盘空间

disk_total 磁盘总大小

ip_address ip地址列表

last_reported 最后一次报告时间

load_report 系统负载汇总报告

location 定位信息（经纬度）

machine_type 系统版本（X86或64）

mem_buffers 内核缓存的内存总量

mem_cached 缓存内存大小

mem_free 空闲内存大小

mem_report 内存汇总报告

mem_shared 共享内存大小

mem_total 物理内存总量（KBs显示）

os_name 操作系统名称

os_release 操作系统版本

pkts_in 每秒进来的包数

pkts_out 每秒出去的包数

proc_run 运行的进程总数

packet_report 包汇总报告

network_report 网络汇总报告

namenode监控metrics

dfs.namenode.SafeModeTime safemode时间

dfs.namenode.AddBlockOps 写入block次数

dfs.namenode.BlockReportAvgTime block report的平均时间次数

dfs.namenode.BlockReportNumOps block report的次数

dfs.namenode.CreateFileOps 创建文件次数

dfs.namenode.DeleteFileOps 删除文件次数

dfs.namenode.FileInfoOps 查看文件info次数

dfs.namenode.FilesCreated 已创建的文件个数

dfs.namenode.FilesDeleted 已删除的文件个数

dfs.namenode.FilesInGetListingOps getlist操作次数

dfs.namenode.FilesRenamed 重命名文件个数

dfs.namenode.FsImageLoadTime fsimage加载时间

dfs.namenode.GetAdditionalDatanodeOps GetAdditionalDatanode操作次数

dfs.namenode.GetBlockLocations 获取block位置操作次数

dfs.namenode.GetListingOps getListing操作次数

dfs.namenode.SyncsAvgTime 将操作同步为editlog的平均时间

dfs.namenode.SyncsNumOps 将操作同步为editlog的次数

dfs.namenode.TransactionsAvgTime transcation的平均时间

dfs.namenode.TransactionsBatchedInSync transcation在flush时发现已经被sync的情况的次数

dfs.namenode.TransactionsNumOps transcation的个数

datanode参数监控metrics

dfs.datanode.BlockReportsAvgTime 向namenode汇报block的平均时间

dfs.datanode.BlockReportsNumOps 向namenode汇报block的次数

dfs.datanode.BlocksRead 从硬盘读块的次数

dfs.datanode.BlocksRemoved 删除块的个数

dfs.datanode.BlocksReplicated 备份块操作的个数

dfs.datanode.BlocksVerified 验证块的次数

dfs.datanode.BlocksWritten 写入块的个数

dfs.datanode.BytesRead 读出总字节

dfs.datanode.BytesWritten 写入总字节

dfs.datanode.CopyBlockOpAvgTime 复制块的平均时间

dfs.datanode.CopyBlockOpNumOps 复制块的次数

dfs.datanode.HeartbeatsAvgTime 向namenode汇报的平均时间

dfs.datanode.HeartbeatsNumOps 向namenode汇报的次数

dfs.datanode.ReadBlockOpAvgTime 读数据块的平均时间

dfs.datanode.ReadBlockOpNumOps 读数据块的次数

dfs.datanode.ReadsFromLocalClient 本地读取的次数

dfs.datanode.ReadsFromRemoteClient 远程读取的次数

dfs.datanode.WriteBlockOpAvgTime 写数据块的平均时间

dfs.datanode.WriteBlockOpNumOps 写数据块的次数

dfs.datanode.WritesFromLocalClient 写本地的次数

dfs.datanode.WritesFromRemoteClient 写远程的次数

dfs.datanode.PacketAckRoundTripTimeNanosAvgTime 包确认平均时间

dfs.datanode.PacketAckRoundTripTimeNanosNumOps 包确认次数

dfs.datanode.FlushNanosAvgTime 文件系统flush平均时间

dfs.datanode.FlushNanosNumOps 文件系统flush次数

dfs.datanode.ReplaceBlockOpAvgTime 块替换平均时间

dfs.datanode.ReplaceBlockOpNumOps 块替换次数

dfs.datanode.SendDataPacketBlockedOnNetworkNanosAvgTime 网络上发送块平均时间

dfs.datanode.SendDataPacketBlockedOnNetworkNanosNumOps 网络上发生块次数

dfs.datanode.SendDataPacketTransferNanosAvgTime 网络上发送包平均时间

dfs.datanode.SendDataPacketTransferNanosNumOps 网络上发送包个数

HDFS文件系统metric

dfs.FSNamesystem.BlockCapacity block的总容量

dfs.FSNamesystem.BlocksTotal block的当前容量

dfs.FSNamesystem.CapacityRemainingGB HDFS文件系统剩余的容量

dfs.FSNamesystem.CapacityTotalGB HDFS文件系统总体容量

dfs.FSNamesystem.CapacityUsedGB HDFS文件系统已使用的容量

dfs.FSNamesystem.CorruptBlocks 已损坏的block数量

dfs.FSNamesystem.ExcessBlocks 多余的block

dfs.FSNamesystem.ExpiredHeartbeats 超时的心跳

dfs.FSNamesystem.FilesTotal 文件总数

dfs.FSNamesystem.LastCheckpointTime 最近一次做checkpoint的时间

dfs.FSNamesystem.LastWrittenTransactionId 最近一次写入的transactionid

dfs.FSNamesystem.MillisSinceLastLoadedEdits 距离上一次加载edit的时间

dfs.FSNamesystem.MissingBlocks 丢失的block数量

dfs.FSNamesystem.TotalFiles 文件总个数

dfs.FSNamesystem.UnderReplicatedBlocks 副本个数不够的block

dfs.FSNamesystem.PendingDataNodeMessageCount datanode的请求被queue在standby namenode的个数

dfs.FSNamesystem.PendingDeletionBlocks 未被验证的block个数

dfs.FSNamesystem.PendingReplicationBlocks 等待被备份的block个数

dfs.FSNamesystem.PostponedMisreplicatedBlocks 被推迟处理的错误备份的block个数

dfs.FSNamesystem.ScheduledReplicationBlocks 排定要备份的block个数

dfs.FSNamesystem.TotalLoad namenode的Xceiver个数

dfs.FSNamesystem.TransactionsSinceLastCheckpoint 从上次checkpoint起到现在新的transcation的个数

dfs.FSNamesystem.TransactionsSinceLastLogRoll 从上次roll editlog起到现在新的transcation的个数

hbase.master metrics

hbase.master.cluster_requests 当前机器整体request的个数

hbase.master.splitSize_avg_time splitlog的大小

hbase.master.splitSize_num_ops splitlog次数

hbase.master.splitTime_avg_time splitlog的时间

hbase.master.splitTime_num_ops splitlog的次数

hbase参数监控metrics

hbase.regionserver.blockCacheCount RegionServer中缓存到blockcache中block的个数。

hbase.regionserver.blockCacheEvictedCount BlockCache中被换出的Block的个数。

hbase.regionserver.blockCacheFree 返回block cache中空闲的内存大小。

hbase.regionserver.blockCacheHitCachingRatio HitCache表示因为读取不到而cacheblock的行为，blockCacheHitCachingRatio表示发生该行为的比率

hbase.regionserver.blockCacheHitCount blockCache命中次数

hbase.regionserver.blockCacheHitRatio blockCache命中比例

hbase.regionserver.blockCacheMissCount blockCache非命中比例

hbase.regionserver.blockCacheSize blockCache大小

hbase.regionserver.compactionQueueSize compaction Queue的大小

hbase.regionserver.compactionSize_avg_time 平均执行一次Compaction的数据大小

hbase.regionserver.compactionSize_num_ops 执行compaction的次数

hbase.regionserver.compactionTime_avg_time 平均执行一次Compaction的时间

hbase.regionserver.compactionTime_num_ops 执行compaction的次数

hbase.regionserver.deleteRequestLatency_75th_percentile 75%的删除请求延时的概率统计

hbase.regionserver.deleteRequestLatency_95th_percentile 95%的删除请求延时的概率统计

hbase.regionserver.deleteRequestLatency_99th_percentile 99%的删除请求延时的概率统计

hbase.regionserver.deleteRequestLatency_max 删除请求的最大值

hbase.regionserver.deleteRequestLatency_mean 删除请求的平均值

hbase.regionserver.deleteRequestLatency_median 删除请求的中位值

hbase.regionserver.deleteRequestLatency_min 删除请求的最小值

hbase.regionserver.deleteRequestLatency_num_ops 删除请求的个数

hbase.regionserver.deleteRequestLatency_std_dev 删除请求的标准差

hbase.regionserver.flushQueueSize flush Queue的大小

hbase.regionserver.flushSize_avg_time 平均执行一次flush的数据大小

hbase.regionserver.flushSize_num_ops 执行flush的次数

hbase.regionserver.flushTime_avg_time 平均执行一次flush的时间

hbase.regionserver.flushTime_num_ops 执行flush的次数

hbase.regionserver.fsReadLatencyHistogram_75th_percentile 75%的读HLog时间的概率统计

hbase.regionserver.fsReadLatencyHistogram_95th_percentile 95%的读HLog时间的概率统计

hbase.regionserver.fsReadLatencyHistogram_99th_percentile 99%的读HLog时间的概率统计

hbase.regionserver.fsReadLatencyHistogram_max 读HLog时间的最大值

hbase.regionserver.fsReadLatencyHistogram_mean 读HLog时间的平均值

hbase.regionserver.fsReadLatencyHistogram_median 读HLog时间的中位值

hbase.regionserver.fsReadLatencyHistogram_min 读HLog时间的最小值

hbase.regionserver.fsReadLatencyHistogram_num_ops 读HLog的次数

hbase.regionserver.fsReadLatencyHistogram_std_dev 读HLog时间的标准差

hbase.regionserver.fsReadLatency_avg_time 读HLog时间的平均时间

hbase.regionserver.fsReadLatency_num_ops 读HLog时间的次数

hbase.regionserver.fsSyncLatency_avg_time sync HLog的平均时间

hbase.regionserver.fsSyncLatency_num_ops sync HLog的次数

hbase.regionserver.fsWriteLatencyHistogram_75th_percentile 75%的写HLog的概率统计

hbase.regionserver.fsWriteLatencyHistogram_95th_percentile 95%的写HLog的概率统计

hbase.regionserver.fsWriteLatencyHistogram_99th_percentile 99%的写HLog的概率统计

hbase.regionserver.fsWriteLatencyHistogram_max 写HLog时间的最大值

hbase.regionserver.fsWriteLatencyHistogram_mean 写HLog时间的最大值

hbase.regionserver.fsWriteLatencyHistogram_median 写HLog时间的最大值

hbase.regionserver.fsWriteLatencyHistogram_min 写HLog时间的最大值

hbase.regionserver.fsWriteLatencyHistogram_num_ops 写HLog的次数

hbase.regionserver.fsWriteLatencyHistogram_std_dev 写HLog时间的标准差

hbase.regionserver.fsWriteLatency_avg_time 写HLog操作的平均Latency

hbase.regionserver.fsWriteLatency_num_ops 写HLog操作的次数

hbase.regionserver.getRequestLatency_75th_percentile 75%的get请求时间的概率统计

hbase.regionserver.getRequestLatency_95th_percentile 95%的get请求时间的概率统计

hbase.regionserver.getRequestLatency_99th_percentile 99%的get请求时间的概率统计

hbase.regionserver.getRequestLatency_max get请求时间的最大值

hbase.regionserver.getRequestLatency_mean get请求时间的平均值

hbase.regionserver.getRequestLatency_median get请求时间的中位值

hbase.regionserver.getRequestLatency_min get请求时间的最小值

hbase.regionserver.getRequestLatency_num_ops get请求的次数

hbase.regionserver.getRequestLatency_std_dev get请求时间的标准差

hbase.regionserver.hdfsBlocksLocalityIndex 统计RegionServer所在机器的数据本地化的概率

hbase.regionserver.hlogFileCount hlog file的个数

hbase.regionserver.mbInMemoryWithoutWAL RegionServer中不写WAL的Put操作的数据在Memstore占用的空间

hbase.regionserver.memstoreSizeMB RegionServer中所有HRegion中的memstore大小的总和

hbase.regionserver.numPutsWithoutWAL RegionServer中不写WAL(Write-Ahead-Log)的Put操作的个数

hbase.regionserver.putRequestLatency_75th_percentile 75%的put请求时间的概率统计

hbase.regionserver.putRequestLatency_95th_percentile 95%的put请求时间的概率统计

hbase.regionserver.putRequestLatency_99th_percentile 99%的put请求时间的概率统计

hbase.regionserver.putRequestLatency_max put请求时间的最大值

hbase.regionserver.putRequestLatency_mean put请求时间的平均值

hbase.regionserver.putRequestLatency_median put请求时间的中位值

hbase.regionserver.putRequestLatency_min put请求时间的最小值

hbase.regionserver.putRequestLatency_num_ops put请求的次数

hbase.regionserver.putRequestLatency_std_dev put请求时间的标准差

hbase.regionserver.readRequestsCount 读请求的数量：readRequestCount与客户端读取数据的个数不等价，而且大部分情况下readRequestCount 远小于客户端读取数据个数，因为next(1000)只算一次请求

hbase.regionserver.regionSplitFailureCount region split失败的次数

hbase.regionserver.regionSplitSuccessCount region split成功的次数

hbase.regionserver.regions region的个数

hbase.regionserver.requests 请求的数量

hbase.regionserver.rootIndexSizeKB storefileIndex的大小，和storefileIndexSizeMB相同

hbase.regionserver.storefileIndexSizeMB storefileIndex的大小

hbase.regionserver.storefiles RegionServer中所有的Storefiles的个数

hbase.regionserver.stores RegionServer包含的Store的个数

hbase.regionserver.totalStaticBloomSizeKB 所有Store上的Bloom Filter大小的总和。

hbase.regionserver.totalStaticIndexSizeKB HRegionServer上每个HFile文件的IndexSize的大小，这是指未压缩的，不带有其它信息的所有HFileBlockIndex信息的总和 。

hbase.regionserver.writeRequestsCount 写请求的数量：writeRequestCount与客户端写操作个数不完全等价，批量写只记做一次请求，大部分情况下writeRequestCount远小于客户端写操作的个数(尤其批量写频繁的情况下)。

map/reduce参数监控metrics

mapred.ShuffleMetrics.ShuffleConnections shuffle的连接数

mapred.ShuffleMetrics.ShuffleOutputBytes shuffle输出数据大小

mapred.ShuffleMetrics.ShuffleOutputsFailed shuffle失败的次数

mapred.ShuffleMetrics.ShuffleOutputsOK shuffle成功的次数

yarn（map/reduce v2）参数监控metrics

yarn.NodeManagerMetrics.AllocatedContainers 当前分配的container个数

yarn.NodeManagerMetrics.AllocatedGB 当前分配的container内存

yarn.NodeManagerMetrics.AvailableGB 当前free的内存

yarn.NodeManagerMetrics.ContainersCompleted 完成状态的container个数

yarn.NodeManagerMetrics.ContainersIniting 初始化状态的container个数

yarn.NodeManagerMetrics.ContainersKilled killed状态的container个数

yarn.NodeManagerMetrics.ContainersLaunched 启动态的container个数

yarn.NodeManagerMetrics.ContainersRunning 运行态的container的个数

yarn 集群metrics

yarn.ClusterMetrics.NumActiveNMs 活的nodemanager个数

yarn.ClusterMetrics.NumLostNMs 不健康的nodemanager个数

yarn 任务队列metrics

yarn.QueueMetrics.ActiveApplications 活跃的task的个数

yarn.QueueMetrics.ActiveUsers 活跃的用户个数

yarn.QueueMetrics.AggregateContainersAllocated 总共分配的container个数

yarn.QueueMetrics.AggregateContainersReleased 总共释放的container个数

yarn.QueueMetrics.AllocatedContainers 已经分配的container个数

yarn.QueueMetrics.AllocatedMB 已经分配的内存

yarn.QueueMetrics.AppsCompleted 已完成的task数

yarn.QueueMetrics.AppsPending 挂起的task数

yarn.QueueMetrics.AppsRunning 运行的task数

yarn.QueueMetrics.AppsSubmitted 已经提交的task数

yarn.QueueMetrics.AvailableMB 可用的内存

yarn.QueueMetrics.PendingContainers 挂起的container数

yarn.QueueMetrics.PendingMB 挂起的内存

yarn.QueueMetrics.running_0 运行时间在0-60分钟内的task个数

yarn.QueueMetrics.running_1440 运行时间在1440分钟以上的task个数

yarn.QueueMetrics.running_300 运行时间在300-1440分钟内的task个数

yarn.QueueMetrics.running_60 运行时间在60-300分钟内的task个数

hadoop rpc参数监控metrics

rpc.metrics.NumOpenConnections number of open connections rpc连接打开的数目

rpc.metrics.ReceivedBytes number of bytes received rpc收到的字节数

rpc.metrics.RpcProcessingTime_avg_time Average time for RPC Operations in last interval rpc在最近的交互中平均操作时间

rpc.metrics.RpcProcessingTime_num_ops rpc在最近的交互中连接数目

rpc.metrics.RpcQueueTime_avg_time rpc在交互中平均等待时间

rpc.metrics.RpcQueueTime_num_ops rpc queue中完成的rpc操作数目

rpc.metrics.SentBytes number of bytes sent rpc发送的数据字节

rpc.metrics.callQueueLen length of the rpc queue rpc 队列长度

rpc.metrics.rpcAuthenticationFailures number of failed authentications rpc 验证失败次数

rpc.metrics.rpcAuthenticationSuccesses number of successful authentications 验证成功数

rpc.metrics.rpcAuthorizationFailures number of failed authorizations 授权失败次数

rpc.metrics.rpcAuthorizationSuccesses number of successful authorizations 成功次数

rpc.detailed-metrics.canCommit_avg_time rpc询问是否提交任务平均时间

rpc.detailed-metrics.canCommit_num_ops rpc询问是否提交任务次数

rpc.detailed-metrics.commitPending_avg_time rpc报告任务提交完成，但是该提交仍然处于pending状态的平均时间

rpc.detailed-metrics.commitPending_num_ops rpc报告任务提交完成，但是该提交仍然处于pending状态的次数

rpc.detailed-metrics.done_avg_time rpc报告任务成功完成的平均时间

rpc.detailed-metrics.done_num_ops rpc报告任务成功完成的次数

rpc.detailed-metrics.fatalError_avg_time rpc报告任务出现fatalerror的平均时间

rpc.detailed-metrics.fatalError_num_ops rpc报告任务出现fatalerror的次数

rpc.detailed-metrics.getBlockInfo_avg_time 从指定datanode获取block的平均时间

rpc.detailed-metrics.getBlockInfo_num_ops 从指定datanode获取block的次数

rpc.detailed-metrics.getMapCompletionEvents_avg_time reduce获取已经完成的map输出地址事件的平均时间

rpc.detailed-metrics.getMapCompletionEvents_num_ops reduce获取已经完成的map输出地址事件的次数

rpc.detailed-metrics.getProtocolVersion_avg_time 获取rpc协议版本信息的平均时间

rpc.detailed-metrics.getProtocolVersion_num_ops 获取rpc协议版本信息的次数

rpc.detailed-metrics.getTask_avg_time 当子进程启动后，获取jvmtask的平均时间

rpc.detailed-metrics.getTask_num_ops 当子进程启动后，获取jvmtask的次数

rpc.detailed-metrics.ping_avg_time 子进程周期性的检测父进程是否还存活的平均时间

rpc.detailed-metrics.ping_num_ops 子进程周期性的检测父进程是否还存活的次数

rpc.detailed-metrics.recoverBlock_avg_time 为指定的block开始恢复标记生成的平均时间

rpc.detailed-metrics.recoverBlock_num_ops 为指定的block开始恢复标记生成的次数

rpc.detailed-metrics.reportDiagnosticInfo_avg_time 向父进程报告任务错误消息的平均时间，该操作应尽可能少，这些消息会在jobtracker中保存

rpc.detailed-metrics.reportDiagnosticInfo_num_ops 向父进程报告任务错误消息的次数

rpc.detailed-metrics.startBlockRecovery_avg_time 开始恢复block的平均时间

rpc.detailed-metrics.startBlockRecovery_num_ops 开始恢复block的次数

rpc.detailed-metrics.statusUpdate_avg_time 汇报子进程进度给父进程的平均时间

rpc.detailed-metrics.statusUpdate_num_ops 汇报子进程进度给父进程的次数

rpc.detailed-metrics.updateBlock_avg_time 更新block到新的标记及长度的平均操作时间

rpc.detailed-metrics.updateBlock_num_ops 更新block到新的标记及长度的次数

jvm参数监控metrics

jvm.JvmMetrics.GcCount JVM进行GC的次数

jvm.JvmMetrics.GcTimeMillis GC花费的时间，单位为微妙

jvm.JvmMetrics.LogError Log中输出ERROR的次数

jvm.JvmMetrics.LogFatal Log中输出FATAL的次数

jvm.JvmMetrics.LogInfo Log中输出INFO的次数

jvm.JvmMetrics.LogWarn Log中输出WARN的次数

jvm.JvmMetrics.MemHeapCommittedM JVM分配的堆大小（单位MB）

jvm.JvmMetrics.MemHeapUsedM JVM已经使用的堆大小（单位MB）

jvm.JvmMetrics.MemNonHeapCommittedM JVM分配给非堆的大小（单位M）

jvm.JvmMetrics.MemNonHeapUsedM JVM已使用的非堆的大小（单位M）

jvm.JvmMetrics.ThreadsBlocked 处于BLOCKED状态线程数量

jvm.JvmMetrics.ThreadsNew 处于NEW状态线程数量

jvm.JvmMetrics.ThreadsRunnable 处于RUNNABLE状态线程数量

jvm.JvmMetrics.ThreadsTerminated 处于TERMINATED状态线程数量

jvm.JvmMetrics.ThreadsTimedWaiting 处于TIMED_WAITING状态线程数量

jvm.JvmMetrics.ThreadsWaiting 处于WAITING状态线程数量