Cloudera 案例｜原副厂技术联动助力安徽电信数字业务升级

数源

行业
运营商

支持的业务应用
·  网络管理和优化，包括基础设施建设优化和网络运营管理和优化；

·  市场与精准营销，包括客户画像、关系链研究、精准营销、实时营销和个性化推荐；

·  客户关系管理，包括客服中心优化和客户生命周期管理。

·  企业运营管理，包括业务运营监控和经营分析。

·  数据商业化指数据对外商业化。

影响
·  消除数据访问瓶颈和发现用户使用习惯，开展更有针对性的营销。
·  Hbase管理账单数据，海量用户随机查和响应得到保证。

使用的技术
·  Cloudera商业版
·  使用的组件：clouderamanager 、hbase、 kudu、yarn、hive、hdfs、sentry、kerberos、spark等

大数据规模
400+生产性CDH节点

01

问题诊断

传统数据仓库无法有效存储日益增长的业务数据
随着运营商业务数据量的增加，同时伴随应用复杂导致的数据量的进一步增加，海量的数据增加了运营商业务系统数据存储和处理压力；而数据仓库无法线性扩容，导致运营商信息系统出现管理难度加大、成本高、扩容压力大、效率下降等问题。运营商的用户上网记录数据量巨大，之前采用的方案是在网关上用户流量必经地方采集，分析流量数据，然后生成上网记录话单，话单量非常大。

传统数据仓库无法有效处理新型的业务数据
运营商对于电子渠道越来越重视，现在很多的业务直接在网站就可以办理， 用户可以定制一些电信业务，或者进行查询。所有用户在网站上的这些行为，其实也是一定程度上的运行测试行为。运营商以前做的分析，主要都是关于客户交费是否及时、信用度是否较好，但并没有把网站上的用户关注度或行为特点记录下来。如果将这部分数据跟原有的数据库进行整合分析，就能将用户个人的购买行为轮廓真正地描绘出来。，其数据都是文本、图片或视频等非结构化数据，不同于传统通信业务分析特点，需要对内容等非结构化、大容量信息进行有效分析，传统的架构处理难以应付。现在通过一些技术手段逐渐可以实现和逐渐完善。

分散建设的系统和标准化程度较低的数据急需大数据平台统一管理
运营商当前很多业务系统建设分散，难以实现资源和应用的共享。经营分析、信令监测、综合网络分析、不良信息监测、上网日志留存等大数据系统分专业建设，其中部分系统分省建设，造成资源重复建设、应用重复开发、专家资源无法共享。另外，数据的分散存储、标准化缺失是运营商面临的一个重大问题，各大数据系统数据模型不统一，跨系统综合分析需求不断增加。难以满足业务发展的需要。高可扩展的、成本低的新的大数据架构成为重要方向。

融合架构下的集中化商业智能平台需要大数据提供数据和营销支持
运营商实施数据管理和分析的一个重要平台是商业智能平台，随着数据量的激增以及客户营销定位要求提升，具备集中化的、强大扩展性和高可用性的商业智能系统平台构建成为运营商基于大数据应用的关键一环。比如，运营商一方面要求商业智能平台支持海量结构化及非结构化数据分析挖掘，此外，结合用户上网日志及互联网网页内容，为精准行销提供用户行为偏好分析；为互联网业务发展提供大趋势及业务竞品分析能力。由于集中化建设，集中化 BI 系统将面临着数据规模大、数据处理复杂、混合负载多样等多种挑战，传统的单一数据仓库技术难以满足，需要引入大数据技术。

                                02

解决方案

采用cloudera多租户企业大数据平台，对内业务提升、运营优化以消费者为中心，开展用户行为模式的分析与数据挖掘，支撑各类数据应用，包括基础设施建设和网络运营管理优化，挖掘新业务并实现精准营销，客户服务优化、企业运营决策支持等。

对外提供数据服务运营商整合数据，通过数据挖掘脱敏生成结果数据集，提供给企业客户，帮助企业了解用户，提高竞争力，包括精准广告、数据报告、精准营销、能力开放和能力租用等。

整体部署架构：

·  使用mapreduce和spark来进行数据的转换和处理；
·  使用hbase来管理海量数据;
·  使用hive impalakudu等对数据进行分析处理;
·  使用flink进行流式处理。

03

服务内容

基础运维
包括平台监控、集群巡检、数据备份迁移：hbase数据迁移，hive数据迁移。

疑难问题解决
·  hive canary指标高，hive metastore连接缓慢,元数据同步异常，造成任务的失败，业务层面无法完成对数据的分析，影响数据的发布如月末计费。
·  sentry授权无法同步为hdfs acl权限，业务层面每次对表数据进行处理时需要重复授权，降低处理的时效性。
·  hbase 长时间rit情况，业务层面hbase表无法访问，话单表单，实时展示的数据延迟。
·  ha情况下NAMENODE备节点无法checkpoint合并元数据，业务层面如果namenode的宕机可能导致集群不可用，各类计算都不能正常进行。
·  集群使用cm管理节点管理集群，运维人员手动通过cm页面指标或者后台指标对集群进行巡检重复工作，工作效率低
·  集群使用多租户的方式，cm没有多租户的统一管理界面，配置多租户流程较为复杂重复事情耗时长。

高级调优

·  基准性能指标提取统计：hdfs jmx指标hbase指标，hive线程网络流量等进行分析，深度优化，提高集群的性能。
·  平台升级/安全加固：平台从cdh5.9升级到cdh5.14方案确认及实施；平台各关键组件web界面安全加固方案设计；
namenode元数据迁移方案；数据倾斜情况整改方案。
·  集群扩容：集群横向扩容降低对业务的影响方案设计。
·  集群性能调优：hbase表数据，表分布，表数量，进行整改，降低长时间rit发生率。

04

优化效果

·  关键数据汇总及时性提升15% ；
·  集群因恶意攻击造成重大事故为零；
·  集群及组件健康度显著提高；
·  因操作失误造成的生产事故为零；
·  集群稳定性显著提高。

关于碧茂

碧茂科技作为专业大数据解决方案服务商，致力于国家数字化转型战略。在中科院上海计算技术研究所的引领下，引进国外先进技术和行业解决方案。与Cloudera、华为、星环等厂商密切合作。为客户提供从系统架构、数据治理到人才培养，全生命周期的技术支持，构建更稳定、更高效、更安全的企业级大数据平台。