原创

hadoop metrics

Metrics的英文含义是“度量”,这里可以理解为“监控指标”。关于Hadoop的Metrics,官网直接给出了总结,初学者很难理解,以下以HDFS为例来说明。

转至元数据起始

度量名称

度量含义

阀值

hadoop.dfs.namenode.SafeModeTimesafemode时间(单位:毫秒)120000
hadoop.dfs.namenode.BlockReportAvgTimeblock report的平均时间(单位:毫秒)400
hadoop.dfs.namenode.FilesCreated每次统计间隔创建文件次数(每20分钟统计一次)1200000

hadoop.dfs.namenode.FsImageLoadTime

fsimage加载时间(单位:毫秒)10000
hadoop.dfs.datanode.BlockReportsAvgTime向namenode汇报block的平均时间(单位:毫秒)500
hadoop.dfs.datanode.CopyBlockOpAvgTime复制块的平均时间(单位:毫秒)5000
hadoop.dfs.datanode.ReadBlockOpAvgTime读数据块的平均时间(单位:纳秒)30,000,000
hadoop.dfs.datanode.WriteBlockOpAvgTime写数据块的平均时间(单位:纳秒)30,000,000
hadoop.dfs.datanode.PacketAckRoundTripTimeNanosAvgTime包确认平均时间(单位:纳秒)17,000,000

hadoop.dfs.datanode.FlushNanosAvgTime

文件系统flush平均时间(单位:纳秒)360,000
hadoop.dfs.datanode.SendDataPacketBlockedOnNetworkNanosAvgTime网络上发送块平均时间(单位:纳秒)60,000,000

hadoop.dfs.datanode.SendDataPacketTransferNanosAvgTime

网络上发送包平均时间(单位:纳秒)30,000,000

hadoop.dfs.FSNamesystem.CapacityRemainingGB

HDFS文件系统剩余的容量(单位:GB)<4000
hadoop.dfs.FSNamesystem.CorruptBlocks已损坏的block数量(单位:比例)5

hadoop.dfs.FSNamesystem.ExcessBlocks

多余的block(单位:比例)5
hadoop.dfs.FSNamesystem.ExpiredHeartbeats超时的心跳(单位:比例)5

hadoop.dfs.FSNamesystem.FilesTotal

文件总数200,000,000
hadoop.dfs.FSNamesystem.UnderReplicatedBlocks副本个数不够的block(单位:比例)5
hadoop.dfs.FSNamesystem.PostponedMisreplicatedBlocks被推迟处理的错误备份的block个数(单位:比例)5
hbase.regionserver.regionSplitFailureCountregionsplit失败个数(单位:个数)每分钟变化超过10
hadoop.yarn.ClusterMetrics.NumLostNMs失去连接的nodemanager个数(单位:个数)每分钟变化超过0
~阅读全文~人机检测~

关注下方微信公众号“Java精选”(w_z90110),回复关键词领取资料:如Mysql、Hadoop、Dubbo、Spring Boot等,免费领取视频教程、资料文档和项目源码。

Java精选专注程序员推送一些Java开发知识,包括基础知识、各大流行框架(Mybatis、Spring、Spring Boot等)、大数据技术(Storm、Hadoop、MapReduce、Spark等)、数据库(Mysql、Oracle、NoSQL等)、算法与数据结构、面试专题、面试技巧经验、职业规划以及优质开源项目等。其中一部分由小编总结整理,另一部分来源于网络上优质资源,希望对大家的学习和工作有所帮助。

评论

分享:

支付宝

微信