2017-04-10 7364 1

Hadoop YARN同时支持内存和CPU两种资源的调度,默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置。目前的CPU被划分成虚拟CPU（CPU virtual Core），这里的虚拟CPU是YARN自己引入的概念，初衷是，考虑到不同节点的CPU性能可能不同，每个CPU具有的计算能力也...

2017-03-31 1630 0

Metrics的英文含义是“度量”，这里可以理解为“监控指标”。关于Hadoop的Metrics，官网直接给出了总结，初学者很难理解，以下以HDFS为例来说明。转至元数据起始度量名称度量含义阀值hadoop.dfs.namenode.SafeModeTimesafemode时间（单位：毫秒）1200...

2017-02-20 3024 1

Yarn 作为 Hadoop 的资源调度管理器，为整个集群所有用户、所有 App 分配资源。 ResourceManager 获得每个 NodeManager 发送的心跳信息，就可以知道每个 NodeManager 上有多少 container、ap...

2017-02-20 1026 0

YARN ResourceManager页面显示的使用率的问题 经过查看org.apache.hadoop.yarn.server.resourcemanager.webapp.FairSchedulerPageFairSchedulerPagepublic void renderBlock htm...

2016-10-18 1288 0

Easier: ANSI SQL and Streamlined APIsOne thing we are proud of in Spark is APIs that are simple, intuitive, and expressive. Spark 2.0 continues this t...

2016-04-02 658 0

一、 比较Storm： 分布式实时计算，强调实时性，常用于实时性要求较高的地方Hadoop:分布式批处理计算，强调批处理，常用于数据挖掘、分析二、 优点1. 简单编程在大数据处理方面相信大家对hadoop已经耳熟能详，基于Google MapReduce来实现的Hadoop为开发者提供了map、re...