PRODUCT
数据网关系统· 产品概述
数据网关是分析挖掘平台对外的服务网关,其所在的位置如下图所示:
数据网关为数据中心分析挖掘平台与外部应用系统之间的数据服务中介模块,外部系统通过数据网关采用统一接口方式获取分析挖掘平台模型定义数据、分析挖掘模型的结果申请,以及获取模型取数的结果数据,同时数据网关对所有外部应用系统的访问进行安全控制,以及对输出数据进行脱敏、加密等处理。
· 主要功能
数据网关系统功能框架如下图所示:
其主要包括4块内容,各部分内容功能描述如下:
(1)系统门户门户包括各种用户的界面视图,机构视图提供机构操作服务;数据用户视图提供给用户直接操作的界面,包括模型查看、模型取数申请与任务状态查看、执行结果获取等一系列操作页面;审核员视图提供权限相关审核操作;数据安全管理视图提供脱敏等安全规则的配置操作;运维视图提供给故障与系统清理操作;系统管理视图提供给管理人员使用。
(2)业务与管控功能
业务功能包括需求角色管理、脱敏管理、分发管理、通用管理。需求角色管理对系统几种用户进行管理,同时对所有用户划分不同的角色,每种角色都可以配置不同的模型权限与结果集权限。脱敏管理主要网关输出数据进行脱敏处理,具体功能包括脱敏规则的配置、数据脱敏检查与处理、以及对数据获取行为生成相应的免责日志,记录下用户提取了具体哪些数据。分发管理是对模型计算结果数据文件进行统一的管理,包括文件的目录管理、索引管理、文件转存、文件校验、文件服务接口访问安全控制。通用管理包括系统监控、日志管理、维护管理,系统监控主要监控任务执行情况以及软件运行健康状况,日志管理进行访问日志与免责日志的存储与查询,维护管理是进行系统清理与故障处理。
(3)外部接口
外部接口包括提供给应用访问的服务接口,以及调用分析挖掘平台的调用接口。服务接口包括实时webservice接口与文件接口,分析挖掘平台访问接口包括webservice接口与库表/文件接口。
(4)数据存储与管理
数据存储包括系统配置数据、业务数据、日志数据、免责手迹数据的存储,数据管理功能包括数据的同步、数据生命周期管理。
· 总体架构
数据网关系统的软件架构如下,共分为3层:界面层、应用层与数据层。
各层功能说明如下:
1、界面层,实现门户用户视图界面展现与后台交互功能,不实现任何业务服务功能,调用应用层提供的业务服务进行业务处理。
2、应用层,实现外部服务接入与业务处理功能,采用分布式服务框架dubbo技术构建,为门户与外部应用提供业务处理服务。应用层包括实时服务处理,以及离线任务处理。实时服务处理接收外部服务调用请求,进行接入用户认证、安全控制、业务处理;离线任务处理为java后台程序,获取取数任务进行调度执行,同时对模型计算结果文件进行脱敏处理,对于结果文件同一进行文件分发管理,保存在文件服务器提供给界面或外部应用系统下载。
3、数据层,采用mysql数据库进行数据的存储与管理。模型计算结果数据可能会是库表形式或者文件形式存在,数据同步功能会将结果数据采用1:1模式同步到本机进行存储,库表则采用mysql库存储,文件则采用采用文件系统存储。
· 技术架构
· 客户价值
数据网关为数据对外开放服务的接口网关,其主要价值包括以下几点:
(1)数据网关将应用与分析挖掘平台解耦,所有外部应用或用户不都直接访问分析挖掘平台。
(2)对外提供统一数据访问服务、模型取数控制服务与安全管控处理,实现分析挖掘平台对外开放,以及保障分析挖掘平台中的高价值模型数据的高度安全性。
(3)数据网关提供分析挖掘平台模型浏览、模型取数控制申请、模型计算结果数据的统一对外服务提供,以及数据输出安全管控。外部用户可以根据需求调用相关模型进行计算,并获取安全脱敏后的结果。
(4)数据网关能够支撑企业机构、企业内部用户、企业外部用户的分析挖掘需求。
(5)数据网关能够随着外部应用的增长,而灵活实现线性扩展。