云集专家咨询服务

针对政务云大数据平台规划建设要求，提供数据治理，数据迁移服务咨询方案

方案内容包括

1主数据管理规划

1.1项目调研

1、  在线调研主数据需求，工作主要内容的维护、整理、审阅、传阅。

2、  存储调研成果，支持文档的在线阅读，结合知识驱动岗位的思想服务于未来数据运维管理。

1.2体系梳理

1、  支持数据管理体系梳理、制定过程的详细记录、审阅、传阅等。

2、  梳理并建立组织、制度、流程、考核机制、质量标准、安全标准等主数据管控必备条件。

1.3知识管理

1、  支持数据管理相关知识的维护、收集、积累、传送等工作。

2、  建立技术手册，支持进行数据管理体系相关内容的落地工作的操作。

3、  建立操作手册，支持数据管理知识驱动数据管理岗位业务的基础操作，最大化满足未来数据管理运维的日常工作要求。

4、  建立标准和流程，并形成完整的管理制度，作为管理执行的参考依据。

2数据建模

要求实现数据建模能够从模块化、功能化角度考虑数据模型模板、数据结构，对数据编码及数据约束条件的定义与管理。

2.1数据模型管理

1、  支持灵活自定义数据模型，包括：模型样式、控制规则，数据属性字段以及属性字段的类型、格式等。支持增加、停用字段、控制的自定义；

2、  支持灵活自定义数据属性字段、业务视角视图（可自定义，非固有模板）以及属性字段间的校验规则。

3、  支持可根据业务系统及组织机构等灵活定义的数据视图。

4、  支持多维（二维）视图管理，满足一个属性多个不同业务场景取值的情况。

5、  支持多种数据输入方式和取值范围的定义，如值列表模板选择、自定义附属表选择、支持任意附件上传。

6、  支持实现数据、模板、值库、别名库等在线维护（包括新增、修改、删除、停用），可对数据进行增、删、改、查等业务的操作。

7、  模型支持注册、资格资质、证书、授权的有效期起止设置。

2.2数据类别管理

1、  支持数据多类别管理，即同一数据同时存在与多棵类别结构树。

2、  支持可针对数据分类的授权。

3、  支持数据类别管理结构视图的呈现。

2.3数据编码管理

1、  支持固定编码、自定义编码等灵活的数据编码规则，支持可变码长、可变码段、步长、码位设定。

2、  支持承袭或沿袭不同业务系统的历史编码规则，同时具备不同的属性查重组合生成不同的编码规则，满足多种编码格式共存的业务需求。

3.数据清洗

3.1数据清洗

1、  要求实现可建立基于多对多关系数据模式的开放式数据清理功能，使企业管理人员可以控制已有数据的抽取、清理和重整，包括映射关系的转换和对照关系的存储。

2、  要求实现对导入原始数据的抽取、分词、语义识别、清洗与整合构建不同主题模型的数据信息库，通过人工干预与确认，完成数据初始化工作。数据清理功能采用系统自动扫描清洗与人工干预相结合的模式进行数据清洗，界面操作友好，可实现高效率人工干预与确认数据。

3、  要求具备物资数据、客商数据、组织机构数据等不同数据的清洗方案和工具，便于提高分析准确率。

3.2数据模型匹配

1、  支持通过逻辑条件和校验规则自定义清洗规则，并通过运行清洗规则实现数据的批量清理。支持对原始数据批量指定类别、指派责任人等功能。

2、  支持通过配置从业务系统抽取数据信息，或直接访问ODBC数据源、XML数据源、Excel表格、文本文件等导入主数据信息。可进行在线查重，可对相似度接近的数据进行列举，并计算出相似度数值，可根据定义的编码规则生成标准化主数据并进行校验分析。

3.3数据映射管理

1、  要求在数据清理过程中支持映射策略定义：可自定义匹配规则、复杂的匹配策略、数据特征等，系统可根据自动扫描结果进行初始映射关系建立，按照相似度进行标准库数据列举。

2、  支持通过行业数据查询匹配数据信息并提供结果列表供选择的功能，通过在线查重功能通过人工干预灵活的建立映射关系与取消匹配。例如企查查、天眼查等。

4数据交互

4.1采集分发规则

1、  要求实现灵活定义采集、分发规则，具备自动采集、分发和手动采集、分发两种功能，并能根据配置管理中定义的采集、分发规则向目标系统进行主数据采集、分发，并提供系统自动创建相应日志及日志下载功能。

2、  支持被动分发接口和主动采集、分发功能，可设置采集、分发规则、采集、分发频率，并生成向异构系统的数据采集、分发同步日志。

4.2接口配置

1、  支持与各业务系统之间的数据集成交换功能（见2.3现有业务系统介绍），有ESB集成方案。

2、  支持根据流程节点的数据采集、分发动作的自定义配置，实现系统间数据相互交互，且交换方式可以分别自定设置为时时对接、定时对接。

3、  支持灵活定义数据的采集、分发策略，通过采集、分发策略对不同的外部系统数据一致性进行管理，支持自动采集、分发与手工采集、分发。

4、  支持提供采集、分发接口、参数、服务描述。在数据配置中提供数据映射功能的定义和使用。通过抽取规则的配置实现外部数据进入系统；通过分发规则的配置实现系统数据分发至其他系统功能。

5、  接口的实现方式问题：有ESB集成方案的，一次性开放，无集成方案的接口需要每次双方共同开发；

4.3交换跟踪

1、  支持可查看数据采集、分发的日志，获知数据的采集、分发结果，对不能正常采集、分发的数据进行及时提醒处理，确保数据正确采集、分发。

2、  管理数据的采集、分发接口，查询数据采集、分发接口日志。

3、  数据采集、分发成功后，系统能记录下所采集、分发数据的目标系统的位置及相关信息，便于数据维护员进行核对。