原创

hadoop metrics

hadoop metrics


转至元数据起始

度量名称

度量含义

阀值

hadoop.dfs.namenode.SafeModeTimesafemode时间(单位:毫秒)120000
hadoop.dfs.namenode.BlockReportAvgTimeblock report的平均时间(单位:毫秒)400
hadoop.dfs.namenode.FilesCreated每次统计间隔创建文件次数(每20分钟统计一次)1200000

hadoop.dfs.namenode.FsImageLoadTime

fsimage加载时间(单位:毫秒)10000
hadoop.dfs.datanode.BlockReportsAvgTime向namenode汇报block的平均时间(单位:毫秒)500
hadoop.dfs.datanode.CopyBlockOpAvgTime复制块的平均时间(单位:毫秒)5000
hadoop.dfs.datanode.ReadBlockOpAvgTime读数据块的平均时间(单位:纳秒)30,000,000
hadoop.dfs.datanode.WriteBlockOpAvgTime写数据块的平均时间(单位:纳秒)30,000,000
hadoop.dfs.datanode.PacketAckRoundTripTimeNanosAvgTime包确认平均时间(单位:纳秒)17,000,000

hadoop.dfs.datanode.FlushNanosAvgTime

文件系统flush平均时间(单位:纳秒)360,000
hadoop.dfs.datanode.SendDataPacketBlockedOnNetworkNanosAvgTime网络上发送块平均时间(单位:纳秒)60,000,000

hadoop.dfs.datanode.SendDataPacketTransferNanosAvgTime

网络上发送包平均时间(单位:纳秒)30,000,000

hadoop.dfs.FSNamesystem.CapacityRemainingGB

HDFS文件系统剩余的容量(单位:GB)<4000
hadoop.dfs.FSNamesystem.CorruptBlocks已损坏的block数量(单位:比例)5

hadoop.dfs.FSNamesystem.ExcessBlocks

多余的block(单位:比例)5
hadoop.dfs.FSNamesystem.ExpiredHeartbeats超时的心跳(单位:比例)5

hadoop.dfs.FSNamesystem.FilesTotal

文件总数200,000,000
hadoop.dfs.FSNamesystem.UnderReplicatedBlocks副本个数不够的block(单位:比例)5
hadoop.dfs.FSNamesystem.PostponedMisreplicatedBlocks被推迟处理的错误备份的block个数(单位:比例)5
hbase.regionserver.regionSplitFailureCountregionsplit失败个数(单位:个数)每分钟变化超过10
hadoop.yarn.ClusterMetrics.NumLostNMs失去连接的nodemanager个数(单位:个数)每分钟变化超过0



关注下方微信公众号“Java精选”(w_z90110),回复关键字领取资料:如HadoopDubboCAS源码等等,免费领取资料视频和项目。 

涵盖:程序人生、搞笑视频、算法与数据结构、黑客技术与网络安全、前端开发、Java、Python、Redis缓存、Spring源码、各大主流框架、Web开发、大数据技术、Storm、Hadoop、MapReduce、Spark、elasticsearch、单点登录统一认证、分布式框架、集群、安卓开发、iOS开发、C/C++、.NET、Linux、Mysql、Oracle、NoSQL非关系型数据库、运维等。

评论

分享:

支付宝

微信