原创

hadoop metrics

Metrics的英文含义是“度量”,这里可以理解为“监控指标”。关于Hadoop的Metrics,官网直接给出了总结,初学者很难理解,以下以HDFS为例来说明。

转至元数据起始

度量名称

度量含义

阀值

hadoop.dfs.namenode.SafeModeTimesafemode时间(单位:毫秒)120000
hadoop.dfs.namenode.BlockReportAvgTimeblock report的平均时间(单位:毫秒)400
hadoop.dfs.namenode.FilesCreated每次统计间隔创建文件次数(每20分钟统计一次)1200000

hadoop.dfs.namenode.FsImageLoadTime

fsimage加载时间(单位:毫秒)10000
hadoop.dfs.datanode.BlockReportsAvgTime向namenode汇报block的平均时间(单位:毫秒)500
hadoop.dfs.datanode.CopyBlockOpAvgTime复制块的平均时间(单位:毫秒)5000
hadoop.dfs.datanode.ReadBlockOpAvgTime读数据块的平均时间(单位:纳秒)30,000,000
hadoop.dfs.datanode.WriteBlockOpAvgTime写数据块的平均时间(单位:纳秒)30,000,000
hadoop.dfs.datanode.PacketAckRoundTripTimeNanosAvgTime包确认平均时间(单位:纳秒)17,000,000

hadoop.dfs.datanode.FlushNanosAvgTime

文件系统flush平均时间(单位:纳秒)360,000
hadoop.dfs.datanode.SendDataPacketBlockedOnNetworkNanosAvgTime网络上发送块平均时间(单位:纳秒)60,000,000

hadoop.dfs.datanode.SendDataPacketTransferNanosAvgTime

网络上发送包平均时间(单位:纳秒)30,000,000

hadoop.dfs.FSNamesystem.CapacityRemainingGB

HDFS文件系统剩余的容量(单位:GB)<4000
hadoop.dfs.FSNamesystem.CorruptBlocks已损坏的block数量(单位:比例)5

hadoop.dfs.FSNamesystem.ExcessBlocks

多余的block(单位:比例)5
hadoop.dfs.FSNamesystem.ExpiredHeartbeats超时的心跳(单位:比例)5

hadoop.dfs.FSNamesystem.FilesTotal

文件总数200,000,000
hadoop.dfs.FSNamesystem.UnderReplicatedBlocks副本个数不够的block(单位:比例)5
hadoop.dfs.FSNamesystem.PostponedMisreplicatedBlocks被推迟处理的错误备份的block个数(单位:比例)5
hbase.regionserver.regionSplitFailureCountregionsplit失败个数(单位:个数)每分钟变化超过10
hadoop.yarn.ClusterMetrics.NumLostNMs失去连接的nodemanager个数(单位:个数)每分钟变化超过0
~阅读全文-人机检测~

微信公众号“Java精选”(w_z90110),专注Java技术干货分享!让你从此路人变大神!回复关键词领取资料:如Mysql、Hadoop、Dubbo、Spring Boot等,免费领取视频教程、资料文档和项目源码。微信搜索小程序“Java精选面试题”,内涵3000+道Java面试题!

涵盖:互联网那些事、算法与数据结构、SpringMVC、Spring boot、Spring Cloud、ElasticSearch、Linux、Mysql、Oracle等

评论

分享:

支付宝

微信