功能框架

DBMP数据构建平台具有部署简单、运维轻松的特点,数据抽取使用了DataX,DataX是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

特点和优势

全局设计

基于业务全局,从顶层自下规划设计业务数据总线,包括:定义主题域及相关名词、定义数据源及计算引擎源。

建模研发

基于规范定义的数据元素,设计与构建可视化的数据模型

数据抽取

数据引入是基于全局设计定义的项目与物理数据源,将各业务系统、各类型的数据抽取加载至目标数据库。实现数据同步与集成,完成各业务数据集成后的基础数据中心建设,为后续进一步加工数据奠定基础。

编码研发

基于通用的代码编辑页面,灵活地进行个性化的数据编码研发,完成任务发布

规范定义

基于全局设计定义的业务总线、数据引入构建的基础数据中心,根据业务数据需求,结构化地定义数据元素(例如维度、统计指标),保障数据无二义性地标准化、规范化生产。

调度运维

对建模研发生成的任务进行基于策略的调度与运维,确保所有任务正常有序地运行。调度运维操作包括:部署生产任务、查看任务运行情况、管理及维护任务之间的依赖关系。

咨询服务

立即与港融专家联系,免费获取产品方案和一对一咨询服务