Hadoop Metrics体系架构分析

核心提示： 1：概述Hadoop Metrics用来统计集群运行数据，比如接口调用次数，Hadoop Metrics体系架构分析，响应时间，队列长度等等，最后将自己注册到context中，有一个结构为Map<String, MetricsBase> metricsList的来保存这个updater类中所有的统计数据，

 1：概述
Hadoop Metrics用来统计集群运行数据，比如接口调用次数，响应时间，队列长度等等，现阶段（0.19版本）支持为数不多的几个层级的数据，分别是dfs，jvm，rpc，mepred等。这些数据收集之后可以sink（通过context）到不同的目的地，比如文件，ganglia，等，也可以自己实现一个context去sink这些数据到你指定的地方。
2：架构
基本上由四个部分构成：
1、context，context是用来sink收集的数据的。而所有需要sink的数据存放在context内的一个map来保存所有put进来的metricsRecord中，然后startmonitor之后启动一个timer来定时将map中所有的record通过调用update函数来将调用context实现类的emitRecords发送出去。
context一般不直接实例化，而是从ContextFactory中get出来，首先ContextFactory的实例通过静态方法getFactory()来实例化，在getFactory()的实例化过程中，会读取hadoop-metrics.properties配置，然后依据传入的context名在配置中找到对应的构建方法进行构建，构建完了之后，立即进行初始化。
MetricsUtil类负责上从ContextFactory实例中获取context实例，并且startmonitor。在startmonitor中启动一个timer，这个timer定时类里边，首先调用updater.doUpdates()，然后调用emitRecords();将context中的所有metricsRecord全部通过调用各个context的emitRecord->emitMetrics发送出去
从上面也能看出一个context中包含有多个updater（通过Set<Updater>来保存，在updater构造函数中将自己注册到相应的context中），也包含多个Record(通过Map<String,RecordMap> bufferedData->RecordMap extends HashMap<TagMap,MetricMap>->TagMap extends TreeMap<String,Object> : MetricMap extends TreeMap<String,Number>)
现有的context包括Filesystem，Ganglia，Nullcontext，当然也可以自己实现一个来达到自己的目的
收集到自己所有的数据之后，还需要到hadoop-metrics.properties中去配置一个context，然后让数据（Record在构建函数中绑定context）随这个context而sink出去。
ganglia中，每个图的命名由contextname.recordname.metricsname组成
2、metricsRecord可以看成一个map容器，内面存放了各种string:number的刻度值，作为一个信息的载体被context发送出去
数据存放在Map<String,MetricValue> metricTable结构，MetricValue保存数值型数据，并且标识出该数据是绝对值还是相对值
比较操蛋的是，Record中不会保留过去的数值，只保留最近一次数据（即使是相对数据），所以Record中有个update方法，在这个方法内调用context的update方法，Record中的数值更新到context中对应的Record中去（相对值则会加上context中的老数据）
每个Record都有一个RecordName，所以context中即使有多个RecordMap也能通过名字表示出来，然后存放到bufferData中去。
在构造函数中，每个Record绑定一个context，通过context将数据sink出去。
3、Updater这个是重头戏，如果要实现自己的收据收集，这个是比不可少的。updater的本义就是为了将过程中收集的数据更新到update对应的Record中。然后在调用Record的update（内部调context的update，见前述）将数据更新到context的Recordmap中。
这个类目的是为了将过程中收集数据更新到信息载体中去，准备发布了，但是谁来发起这个更新呢，如前所述是由context中的timer定时调用的，先更新，后sink。
在构造函数中首先获取对应的context，然后创建一个Record（同时将该Record加入到context的Recordmap中去），最后将自己注册到context中。
有一个结构为Map<String, MetricsBase> metricsList的来保存这个updater类中所有的统计数据，在update方法中将metricList（MetricsRegistry registry ）中所有的metrics更新到Record中去。