通过数据治理提升数据应用价值思路探析
时间：2023-06-19 14:55:04 来源：雅意学习网 本文已影响 人 
徐国庆
（上海中汇亿达金融信息技术有限公司，上海 201203）
鉴于近年来中国数字经济的快速发展，党中央、国务院把大数据的战略地位提升至国家级。国家通过将数据与土地、劳动力、资本、技术并列为生产要素，希望在更深层次上促进数据资源的开发利用。深入挖掘数据要素应用价值，提升企业运行效率，实现精准决策，提高营销针对性，创新商业模式，对企业而言意义重大。但数据要发挥作用，现阶段存在的障碍也不少，数据质量问题、标准问题、安全问题、基础数据和元数据缺失问题、思想认识不统一问题等在很大程度上限制了数据红利的发挥，需要通过数据治理来解决上述问题，帮助企业实现价值创造。
大数据技术的发展和信息化的普及，使企业能够积累大量的数据。然而，数据量大并不代表数据价值高，也不代表数据能够直接被使用，直接能为企业带来价值。数据质量问题、数据标准不一致问题、数据安全问题、基础数据和元数据管理缺失问题、集团内共享思想不统一问题等情况的存在，直接影响数据分析的有效性。
2.1 数据质量问题
一些企业由于历史原因，数据库多，平台多，孤立应用多，同时数据多头录入，录入不及时、数据录入错误或者遗漏，功能重复开发，信息与业务融合不紧密等，造成了数据来源多且杂，相互逻辑关系乱，数据分布离散性高，数据形态各异，结构不一致，错误和遗漏严重，导致数据应用难、技术共享难、业务协调难、安全无保障等问题。同时，数据质量管理规则不明甚至缺失，没有包含标准、组织、流程、质量、安全、技术等多个层面的数据治理方案框架，缺乏整体的数据质量管控体系。
2.2 数据标准不一致问题
标准化是现代社会流水化生产、分工协作的基础，是反复实践之后得出的最有效率的生产组织方式。数据形成标准化后，数据价值更容易实现。但不同的系统，由于管理视角和需求深度的不同，导致数据指标的选择不同。而每个指标的统计范围不一样，所选择的口径也不一样，导致指标的信息含义也不一样，最终造成系统间数据标准不一致，因此难以实现跨系统的共享和复用。同样的问题还存在于企业内各部门之间，或者集团内各企业之间，因为数据标准不统一，造成数据应用过程中准确性、一致性欠缺。这种情况在分支机构层级多、业务板块多元化、跨行业范围广、前后产业链长的集团更为普遍。由于集团内各企业的信息系统是分别建设，系统建设所处阶段不同，建设水平不一，行业规范和监管要求不同，内部需求不一致，各子公司、各部门数据管理能力参差不齐，加上缺乏统一规划、统一规范、统一管理，各自建设，最终造成数据标准不统一。
2.3 数据安全问题
数据安全方面，随着企业数据开放和各类共享平台的搭建，企业与外界进行数据交互的机会变多，使企业面临的数据安全风险也加大。从数据完整生命周期来看，数据在各个环节，如采集、存储、传输、汇总、加工、交换、删除等都面临不同程度的安全隐患，来自外部的攻击，内部的泄密，软硬件故障，工作疏忽或人为恶意造成数据丢失或损坏，都是隐患来源。
2.4 基础数据、元数据管理缺失问题
基础数据又称“公共数据”，是指在各个系统中被重复共享、反复使用的数据。
基础数据主要包括客户、供应商、产品、项目、员工、组织、科目等数据，是企业信息化管理的基础。如果在各信息系统中对基础数据的统一管理缺失，会直接影响工作效率和数据分析结果的质量。元数据是“描述其他数据的数据”，它能解释数据意味着什么，来源于哪里，哪些部门可以由哪种方式访问这些数据等，可以看作是数据的“索引”。通过对元数据的规范管理，实现各类数据的快速检索、血缘分析和数据地图展示。元数据管理的缺失，将造成即使发现错误数据，也难以进行溯源管理和责任认定。
2.5 集团内数据共享思想认识不统一问题
集团内不同子公司拥有不同的利益结构和诉求，以及严格的外部监管要求和内部商业秘密保密制度，互相之间数据协同的顾虑较多，都希望数据只进不出，本机构的底层敏感丰富数据不敢开放。内部子公司之间的利益关系阻碍了集团层面数据治理工作的落实。
要解决上述数据应用问题，需要对企业现有数据管理情况进行自我检查，系统掌握数据治理环境现状，包括目前的管理组织、制度和流程、数据分类、编码方式、安全标准、交换标准等。在此基础上，重点检查数据质量管理现状，包括数据逻辑一致性、结构完整性、应用合规性、处置及时性、使用有效性、存储冗余程度等。检查摸底完成后，对企业业务进行梳理，围绕市场热点、业务痛点、流程堵点，对历史脏数据进行清洗，统一规则流程和数据标准，加强数据安全管理，加强基础数据管理、元数据管理，通过集团一体化统一实施，分步骤、分阶段、分层次、分场景逐步开展数据治理。
3.1 对历史数据进行数据清洗
数据清洗是处理脏数据的过程，如数据的字段格式错误及逻辑错误、字段冗余或缺失、数据逻辑不一致或信息异常等情况。数据清洗要清晰掌握原有质量标准、情况和实际业务对数据的质量需求，重点在于设定数据排查规则，发现异常与错误，识别错误数据产生的原因和存在形式，选择合适的清洗方案，对错误数据依次执行清洗规则，然后评估清洗、修正效果，最后将干净数据替换至原数据库。另外还要制定规则，规范后续数据录入，特别是线下手工采集的数据，保证新产生数据的及时性、准确性、完整性和规范性。
3.2 统一设计数据标准、制度、流程和规则
数据标准主要包括数据命名规则、字段结构确定，以及数据编码定义和取值含义规则。数据标准作为数据质量控制的准则、数据模型搭建的参考、信息系统设计的依据，在编制、落地过程中需要注意梳理各类制度章程和国家标准，将相关规范具象到标准中，结合企业应用价值主张落地实施。
以国家标准、行业标准作为参考，重点对企业业务和数据进行调研和分析，结合数据标准、需求和现状，基于企业实际情况，从业务、技术、管理3 个角度出发建立标准。通常，根据业务特点确定数据编码、命名、字段含义、分类、分级标准；
根据技术属性确定数据类型、格式，以及字段结构长度；
从管理角度确定数据来源、使用规范和管理标准化。
在系统建设顶层规划时，提前考虑系统间的集成关系，以及数据的共享需求、执行标准和相关制度安排，与企业的战略目标、业务流程紧密联系，从而更好地支撑功能实现。其他系统流转过来的数据，需要经过重新采集、清洗和加工才能使用。
3.3 加强数据安全管理
严格权限管理，对重要数据进行备份，对加密、修改、删除等高危动作进行身份认证，确保数据访问和操作安全；
建立适应数据全生命周期管理的安全管理体系，根据各个环节的风险点和风险程度，执行分类分级防护要求，确保覆盖采集、存储、传输、使用、删除、销毁等全流程；
建立统一的数据资产监控系统从多个维度进行监控，数据加密与脱敏、水印与防泄露、数据溯源等防护技术与防护工具联动，数据每一步操作都留下印记，便于回溯审视数据治理路径，打造安全防御体系；
聘请专业机构对集团数据安全进行评估，制定分类分级管理措施，选择合适的数据安全等级保护方案，提升在数据边界确定、数据使用管控、访问权限等级控制、数据运行安全监测、数据例行处置安全评估、应急响应与处置等方面的风险防控能力。另外还要明确外部数据权属问题，确保数据使用合规，有效避免获取和使用中的法律风险。
3.4 加强基础数据、元数据管理
需要企业在业务层面统一数据底层标准，进行基础数据、元数据管理。基础数据管理确保核心数据“一点产生，多点使用”，为将来有业务协同奠定基础；
通过元数据管理，重点解决系统之间数据交互问题，保证交互顺畅。建立数据资产管理目录，使其由系统后台的“黑箱子”，转化为前台界面可查、可看的“数据字典”，为数据系统互相调用、共享流通、提升效能打下基础。
3.5 集团层面达成共识实施自上而下的一体化工程
集团内部数据资源庞大，数据结构复杂。不同公司的源系统改造存在很大困难，数据梳理、数据编码重构及映射等方面的系统改造影响面非常广。各子公司涉及的行业领域范围不同，每个行业的监管和运营对数据治理有差异化的需求，因此对集团数据管控方案的普适性要求较高。
强化集团范围的数据共享，需要作为“一把手”工程来抓，提高整个集团的思想认识，打破机构和业务间的数据孤岛，防止系统分散建设。集团层面统一规划基础数据编码规则和应用集成接口，打造统一的基础数据管理平台，在该平台对各种数据实施集中管控。规范集团内部数据交换，统一规则，对接口、文件名、内容方面统一标准，提高数据共享效率，保障数据交换工作顺利进行。
从更宏观、更长远的角度看，通过数据治理提升数据应用价值，需要通过国家法规与行业规范的互补共同优化数据治理环境，打造良性循环的数据生态，实施数据全生命周期管理和分类治理，综合提升数据治理环境，助力数据治理提升数据应用价值。
4.1 国家法规与行业规范互补，共同优化数据治理环境
近年来，国家不断出台数据合规方面的法律法规，已经建立了包括《网络安全法》《数据安全法》等在内的法规体系。金融业特别是银行业作为信息、数据较为集中的行业，监管机构银保监会以及人民银行也发布了金融机构数据治理、金融数据安全分级和个人金融信息保护方面的指引与指南，引导金融行业数据治理规范。
国家法规作为底线标准，具有强制力，在数据治理方面虽有具体规定，但必然不会过多干预，因为数据治理问题是企业为了实现自身商业价值而开展的活动，本质是企业自身发展的驱动力、自己的竞争力，因此国家法规不宜强制干涉。数据治理的规则，更多的是自愿性的标准以及国际认证标准等，不具有法律约束力、强制力，而是通过有关标准来引导企业实施有效的数据治理并通过相关的商业认证，在一定范围内对企业数据治理水平提供一种公示的效应，这就需要行业规范来补充。
4.2 打造良性循环的数据生态
数据行业生态方面，可以探索数据的内部市场化交易平台；
对于需要的外部数据，进行集团统一采购；
内部交易或对外统一采购后制定交易和结算规则，供数据使用部门、数据提供部门模拟定价和核算，促进资源的有效利用，激发参与主体的共享数据热情。
执行层面上，盘点、梳理现有的系统、流程、数据资源，厘清各方需求，摸清数据真实状况；
各相关部门一起，从整合需求、顶层规划设计入手，制定数据标准，完善规则内容，积累数据库资源，实现业务与数据的贯通；
定计划或定期分析数据质量问题，综合评估分析，找出问题原因，对症下药制定解决方案。企业还可以发挥数据和应用场景结合的优势，促进数字技术与业务经营的深度融合，以应用为目标、需求为方向、平台为承载、技术为保障、数据为中心，分步实施，突出重点，先行保障急用项目，以用促建，整合数据库，集成各子系统，最终打造完整的数据生态系统，形成良性循环。
4.3 实施数据全生命周期管理和分类治理
搭建综合管理平台，将基础数据和元数据管理、数据标准、数据质量管理都包括在内，涵盖数据采集、传输、存储、管理、应用、处置等全部环节，实施数据全生命周期管理。
数据类型包含基础数据、交易数据（事务）、元数据、参考数据、统计分析数据（指标）等。对数据应分类治理，因为不同类型的数据，治理的关注点、方法、效果都不同。数据量大，但不是简单堆积就能产生价值，还要考虑价值密度，并选用合适的分析模型，用技术手段进行挖掘分析，才能洞察有意义的信息，实现数据价值，因此需要从应用的角度出发，结合数据使用周期或频率、数据分类重要性、信息精准性、数据安全等级、行业监管要求等，在产品设计、客户画像、风险预警、作业流程等维度进行评估，对数据进行重要性分类管理，对应确定安全、存储、应用方面的策略。
猜你喜欢 数据管理标准 2022 年3 月实施的工程建设标准城市道桥与防洪(2022年4期)2022-07-01企业级BOM数据管理概要汽车实用技术(2022年10期)2022-06-09定制化汽车制造的数据管理分析汽车实用技术(2022年5期)2022-04-02海洋环境数据管理优化与实践海洋信息技术与应用(2021年2期)2021-11-02CTCS-2级报文数据管理需求分析和实现铁道通信信号(2020年4期)2020-09-21土地权属调查的方法及数据管理中华建设(2019年8期)2019-09-25忠诚的标准当代陕西(2019年8期)2019-05-09美还是丑？动漫星空(兴趣百科)(2019年3期)2019-03-07列控数据管理平台的开发铁道通信信号(2018年4期)2018-06-06你可能还在被不靠谱的对比度标准忽悠家庭影院技术(2018年4期)2018-05-09
