广东移动：网管数据质量管控解决方案

一、项目背景

随着全业务运营时代的到来，市场竞争压力越来越大，而市场也会将这种压力逐步传递给网络线条，从而需要网络线条提供更高质量的服务，这些都需要强有力的IT系统来支撑。IT系统支撑的能力在很大程度上都依赖于数据，系统的数据质量直接影响中国移动广东公司（以下简称广东移动）对外提供的服务能力。

数据质量的提升依赖于完善的数据质量管控体系。数据质量管控是指如何端到端的跟踪和管理数据的质量，确保数据质量有标准可循，质量可见，问题可跟踪等等。网管系统经过长期的建设，虽然在各系统内部已初步具备一些数据质量监控手段，能辅助发现一些数据质量问题，但是从总体来看网管数据质量管控还处于一个较低的水平，主要体现在：

(一)   数据质量监控手段不完善

随着网管系统由烟囱式专业网管向扁平化综合网管转型，网管数据从采集、处理到应用分散到几个系统中，涉及多个网管开发商，存在较多数据质量隐患。由于缺乏对网管数据从采集、处理到应用端到端流程进行形式化描述和数据质量监控的有效手段，难以对各类数据问题进行溯源和影响分析，难以支撑数据质量问题的处理。

(二)   数据质量管理机制不完善

未建立数据质量问题从监控、发现、分析、定位到处理等环节的闭环管理流程和与之相应的组织、角色和职责等管理机制，导致数据质量问题得不到及时的解决和根治，难以促进数据质量的提升。

基于以上背景及问题，广东移动与埃森哲（中国）有限公司合作开展网管数据质量管控平台的建设，力图打造网管系统端到端的数据质量监控手段，构建数据质量闭环管理流程，以提升网管数据质量，有力支撑网络运维。

二、解决方案

(一)   网管数据质量管控整体思路

中国移动集团CM-OSS 2.0规划提出了网管数据质量管控整体思路，并从数据可管理、数据质量考评体系、数据质量可评估和数据要透明四个方面分管理要求、技术手段和实施方案分别进行了说明。

• 数据要透明

管理要求：数据结构透明；数据含义透明；数据转换规则透明；

技术手段：元数据管理（技术元数据+业务元数据）

实施方案：引入专业元数据管理工具；对现有系统采用旁路式管理；对新建系统采用融入式管理；

• 数据质量可评估

管理要求：具备量化考核指标；形成考评体系；

技术手段：建立质量考察点

实施方案：对现有系统进行改造，增加考察点；建立数据质量管理规范，指导新建系统建设；

• 数据质量考评体系

管理要求：具备量化考核指标；形成考评体系；

技术手段：考评报表

实施方案：由数据提供者承载该数据质量管理功能；由IT网管系统承载全局数据质量管理功能；

• 数据可管理

管理要求：数据访问控制；数据配置控制；数据管理流程；生命周期管理；

技术手段：增强元数据管理（管理元数据）

实施方案：通过EOMS承载数据管理流程；通过元数据管理工具进行全程元数据管理；

(二)   网管数据质量管控平台

在CM-OSS 2.0网管数据质量管控整体思路的指导下，结合广东实际情况，广东移动开展网管数据质量管控平台的建设。

• 建设思路

从网管建设的角度来看，系统的数据质量问题实际上是伴随着数据的采集、处理和应用过程而产生并表现出来的。根据这一认识，基于元数据技术，对网管数据从采集、处理到应用端到端流程进行了建模。

从某种意义上讲，这个模型与数据质量问题成因的分析思路是一致的， 即按照网管系统从数据的采集、处理、汇总到上层的分析应用等几个处理阶段，可以把网管系统的数据质量问题的形成过程划分为数据的采集、数据的转换和汇总、数据的分析和应用等环节，可以在这些环节中设置监测点。数据质量管控平台定期收集各监测点记录的异常和日志，进行统计分析，发现数据质量问题。

平台定位

平台定位于网管域数据质量的管控，由各网管系统通过数据质量监测点对外提供可供评估的数据质量原始数据，并由数据质量管控平台进行加工处理后形成数据质量业务数据并可以统一呈现，从而实现对OSS数据质量的全面评估管理，并根据预定的规则生成数据质量问题告警，通过数据质量管理流程，实现对数据质量问题的闭环管理。

功能架构

数据质量监控：包括性能、告警、资源、信令、局数据、部省接口等网管数据质量监控模块。通过对各监测点的数据质量异常&日志进行统计分析，加工处理后形成数据质量业务数据进行统一呈现，并根据预定的规则生成数据质量问题告警，支持对告警进行溯源分析和影响分析。

数据质量管理：包括数据质量管理流程和数据质量管理报告，通过数据质量管理流程，实现对数据质量问题的闭环管理；依据数据质量评估模型，生成数据质量报告，实现对OSS数据质量的全面评估管理。

元数据管理：对网管数据从采集、处理、共享到应用过程所涉及的采集任务类、数据类、ESB服务、上层报表及关联关系进行管理，为数据质量监控&管理提供基础数据支撑。

采集地图：对网管数据采集和处理所涉及的网元、OMC、采集机和服务器及其关联关系进行管理，为数据质量监控&管理提供基础数据支撑。

(三) 网管数据质量管理流程

• 角色与职责

数据质量管理流程涉及的角色包括数据质量管理员、其他网管系统运维人员和专业室业务人员。

数据质量管理员是数据质量管理中最主要的角色，该角色是数据质量管理小组的工作核心，工作职责应包括以下几个方面：

编写和维护数据质量管理工作相关文档；

定期、不定期地进行数据质量评估，并提交评估报告；

数据质量相关知识及流程的培训；

组织协调相关力量对异常或有争议数据质量问题进行协商解决；

建立、维护数据质量问题解决的知识库；

根据实际使用情况，对数据质量管控平台的建设提出需求和建议；

负责与其他网管系统运维人员的联络，协调解决数据质量问题。

• 流程主要环节说明

数据质量管控平台根据预定的规则生成数据质量问题告警。产生了告警并不一定意味着存在数据质量问题，因此，数据质量管理员在监控到数据质量告警时需进行特别的分析处理。

数据质量管理员利用数据质量管控平台自监控工具、和数据质量问题溯源分析工具等进行分析，判断问题类型：

如果是其他网管系统异常&日志接口问题，则由数据质量管理人员协调其他网管运维人员进行解决。

如果是数据质量问题则手动的把告警转为数据质量问题工单，进入问题处理流程。

如果是业务影响的问题，则由数据质量管理员手动将告警前转给专业室业务人，由专业室业务人检查是否为业务问题，并反馈给数据质量管理员。

三、  项目收益

广东移动网管数据质量管控平台的顺利实施，从多方面带来了收益：

(一)   完善监控手段，加快问题处理

数据质量管控平台建设之前，数据质量监控手段分散到几个系统中，由于缺乏对网管数据从采集、处理到应用端到端流程进行形式化描述和数据质量监控的有效手段，难以对各类数据问题进行溯源和影响分析，难以支撑数据质量问题的处理。

数据质量管控平台建设之后，通过平台从各系统的监测点收集数据质量原始数据，进行加工处理后形成数据质量业务数据并统一呈现。这从某种意义上说是整合各系统分散的数据质量监控手段，实现了从采集、处理到应用端到端的监控。端到端的数据质量监控使原来困难的数据问题溯源及影响分析得以简化，加快了数据问题处理速度。

(二)   建立管理流程，提升数据质量

数据质量管控平台建设之前，未建立数据质量问题从监控、发现、分析、定位到处理等环节的闭环管理流程和与之相应的组织、角色和职责等管理机制，导致数据质量问题得不到及时的解决和根治，难以促进数据质量的提升。

数据质量管控平台建设之后，依托平台逐步构建起数据质量管理闭环流程和与之相应的组织、角色，理清了各方职责，数据质量问题得以及时的解决和根治，促进了数据质量的提升。

(三)   规范数据管理，摸清采集能力

数据质量管控平台建设之前，采集机、OMC等采集台账的管理缺失IT支撑手段，采集处理过程中涉及的任务类、数据类及关联关系缺乏管理，难以掌控已有采集能力，难以支撑数据质量问题的分析和影响评估。

数据质量管控平台建设之后，通过平台的元数据管理和采集地图功能，规范了相关数据管理，摸清了采集能力，为数据质量问题的分析、影响评估和采集能力的规划扩容提供了有力支撑。

(四)   CM-OSS 2.0规划的落地，为业界提供参考

数据质量管控平台在中国移动CM-OSS 2.0网管数据质量管控整体思路的指导下，结合广东移动实际情况建设的，是CM-OSS 2.0网管数据质量管控规划在广东移动的落地，为其他省移动公司、为业界数据质量管控平台的实施提供了参考。

四、客户评价

网管数据质量管控平台，为广东移动网管域构建了完善的数据质量监控手段和数据质量管理流程，极大促进了网管数据质量的提升，为网络运维提供了有力支撑，获得了广东移动的高度认可和评价。