数据集成的N种方式

核心提示： 1.ETL工具天生就是做数据整合的，而且适合大数据量的整合，数据集成的N种方式(3)，所以针对大数据量效率会非常高，2.在数据源层整合可以充分利用数据库的处理能力，灵活性越好；其实各种数据集成模式无所谓好坏，关键是看业务需求，毕竟数据库才是做数据处理的行家，3.依靠E-LT工具的变化数据捕

1.　　　ETL工具天生就是做数据整合的，而且适合大数据量的整合，所以针对大数据量效率会非常高。

2.　　　在数据源层整合可以充分利用数据库的处理能力，毕竟数据库才是做数据处理的行家。

3.　　　依靠E-LT工具的变化数据捕捉功能，可以进行增量数据的处理。

4.　　　数据转化和数据获取松耦合，可以实现异步处理。

该模式的问题在于：

1.　　　由于数据的加工处理依赖于数据库的处理能力，因此在所有的数据源中，必须有一个为关系型数据库系统，而第一种模式由中间件负责数据处理，数据源没有限制。

2.　　　在应用的流程设计中，需要调用两次WEB服务，一次为转化，一次为取数据读取，数据量非常小的情况下，有点画蛇添足的味道。

第三种是　将分散在数据层的数据先整合到ODS或者数据仓库中进行整合加工，然后再将加工整理后的数据以标准接口发布到中间件层。

为了保证为企业提供一个全局的数据视图，我们可以通过建立一个全局的操作型数据库ODS(operational data storage)，该数据库与企业内的其它数据源通过变化数据捕捉（change data capture）方式保持实时同步，当数据源内的数据发生变化时，CDC会捕捉到变化的数据并通过ETL工具或者其它手段（如主数据管理工具）同步到ODS数据库中。

最后一点就是数据的发布格式，在该模式中，中间件层负责数据的接入访问，ODS里的数据可以封装成WEB服务发布在中间件层。当前端业务流程需要集成的数据时，可以直接访问ODS内的数据，如果数据集成比较复杂，我们可以根据用户的业务需要，通过ETL工具或者其它工具（第二种模式）对统一模型层的数据进行加工放到汇总数据层，然后再从汇总数据层访问数据。

第四种是 采用数据网格的方式将数据层的数据整合在中间层，形成数据网格，中间件负责数据的加工，整合，然后以标准的方式发布出去。它和第一种方式非常相似，数据的整合加工和发布都在中间件层上，唯一不同的是我们采用数据网格技术在中间层增加了一层对象缓存层，数据的整合加工和访问接入都发生在中间件层，当客户端访问数据时，所有的流程方式都和第一种模式没什么区别，但需要访问的数据都通过数据网格层缓存在了中间件层，因此减少了数据源访问和网络传输的时间，访问速度会大大加快，从而可以在一定程度上解决第一种模式的不足，但数据处理仍然发生在中间件层，如果中间件处理能力有限，系统的效率还会受到局限。

该模式的优势：

1.　　　系统扩展性好，数据网格层的扩展性决定了整个系统的扩展性。

2.　　　当机器的处理能力不足时，通过集群方式可以大大提高性能。

3.　　　真正实现了前台数据与后台数据源的松耦合。数据网格负责与各种后台数据源的交互。

他的问题是：

1.　　　中间件层数据的加工整理过程仍然存在。

2.　　　如果应用已经上线，需要针对数据网格提供的接口修改应用。

以上四个模式各有自己的应用范围，从总体上看，数据的处理越靠近底层，效率越高，灵活性越差；越往上走，效率越低，灵活性越好；其实各种数据集成模式无所谓好坏，关键是看业务需求，只要能够满足业务需求就够了。