智慧校园数据共享与交换平台建设
时间：2023-06-01 16:20:30 来源：雅意学习网 本文已影响 人 
张丹，李云杰，孟宪军，何国坤，陈艳波，赵蕊
（深圳职业技术学院 教育技术与信息中心，广东 深圳 518055）
随着物联网、云计算、大数据、人工智能等技术的迅猛发展，国家和地方教育颁布相关法规明确指出教育信息化发展方向[1][2]，其中《国家中长期教育改革和发展规划纲要（2010-2020年）》指出，我国要加快教育信息化进程，加快教育信息基础设施建设，把教育信息化纳入国家信息化发展整体战略[1]．在此背景下，各高校都在大力推进智慧校园建设，各业务部门根据业务和管理需要建设有独立的业务系统，各系统间的数据交互需求增多．目前在数据共享交换方面面临的问题集中体现在以下几个方面：
1.1 数据交互性差
各系统承建方不同、运行环境各异、系统结构和数据标准不同、数据存储技术不同等诸多差异，系统间的数据交互困难．由于缺乏统一的数据共享与交换平台，系统间数据交互多采用人工导出导入方式，未实现自动化流转，数据同步不及时，最终导致“信息孤岛”的产生[3]．
1.2 数据利用率低
由于各系统间数据交互差，数据同步不及时，师生需要重复收集填报数据，数据零散地分散在各个系统中，数据使用率极低．系统间数据不流转，不能统筹分析，不能从管理层面提供决策支持，极大降低了数据的价值．
1.3 数据安全性弱
鉴于各系统的独立性和封闭性、数据分散，管理难度较大，缺乏切实可行的数据管理制度和技术手段，导致数据在流转过程中的安全性无法保障，容易造成数据的损坏和泄露．
数据共享（Data Sharing）是组织内部多个信息系统间因业务交互需要共享使用其他系统数据的行为，其主要目的是打破业务部门间壁垒、消除信息孤岛．数据交换（Data exchange）是指在多个信息系统间，为任意两个系统建立数据通信互连通路的过程[4]．数据共享与交换即为数据的流通，是源头系统存储的数据按照一定规则传到目的系统的过程．实现系统间数据的共享与交换，可提高数据的供给能力，提高组织的运营效率，降低组织运营成本．
2.1 数据共享与交换模式
数据共享与交换的主要模式分为：点对点模式、网状结构模式、星型结构模式[4]，如图1所示：
图1 数据共享与交换模式
点对点共享交换模式即系统间点对点交换，此模式适用于组织内部信息系统单一情况．
当组织内部信息系统增多且多个系统间需共享数据，形成网状结构共享模式．此模式在技术上仍采用点对点方式实现，各系统均需适配不同系统的共享需求．随着系统增多、业务量增大，各系统均承载着较繁重的数据共享压力，无法满足智慧校园建设中数据交互复杂的场景．
建立数据共享与交换中心为星型结构区别于其他模式的最大特点，所有系统间的数据共享交换均通过此中心节点实现．此模式中各系统仅需适配数据共享交换中心，数据共享交换中心作为中间桥梁，减少了各个系统间的耦合，能够满足智慧校园建设中数据交互需求．
2.2 数据标准与制度
数据标准与制度是数据共享与交换的基础，在实施数据共享交换前应先制定数据标准与制度．根据教育部颁发的《教育管理信息 高等学校管理信息》标准，结合信息化行业标准，制定符合学校实际情况的数据标准与制度，所有的信息系统按照标准建设[5]．逐步建立和完善数据管理的各项制度规范，做到有章可循、有据可依、有序建设，从而在管理层面确保数据的安全性．
2.3 数据共享与交换流程
数据共享与交换包括数据的生产、采集、清洗、存储、共享消费全生命周期流程[6]，如图2所示．如何做好数据共享、提高共享效率、减少共享故障和中断的发生，涉及到全生命周期流程中的每一步．
图2 全生命周期流程
数据生产：即各系统在构建过程中产生的数据．在数据共享交换过程中尤其关注基础数据的生产，基础数据作为大多数系统建设的基础，需要被大多数系统使用，因此保证基础数据的权威性、准确性、实时性成为数据共享交换中心建设的重中之重．
数据采集：即将各系统数据采集至数据共享交换中心．通常采用的数据采集技术有：ODI工具、数据接口、基于数据库事务日志的数据同步工具．ODI工具一般是进行定时数据同步，适用于对实时性要求不高，数据量较大的同步．数据接口采集一般较灵活，可根据需要自行开发程序采集，但此仅适用于数据量需求不大的情况，数据量一旦较大，数据同步时常较长，且网络一旦中断将导致采集中断，稳定性较差[7]．基于数据库事务日志的数据同步工具在市面上有很多产品，基本可实现数据实时同步，但由于需要监听数据库事务日志，通常需要开通相关数据库权限、修改数据库配置，配置较复杂．
数据清洗：数据清洗是对采集来的各系统数据按照统一的标准进行清洗转换．主要任务是对不符合要求的、不完整、不一致的、异常的数据进行处理，对错误的数据、格式不正确的数据使用SQL脚本或者人工排查的方式完善数据[7]．
数据存储：对于采集而来经过清洗的数据转存．可建立中心数据库进行数据存储．常用的关系型数据库有 Oracle、SQL Server、MySQL等[8]．Oracle是使用最广泛的关系型数据库之一，具有良好的可移植性、兼容性、可连接性和高生产率等特性．SQL Server具有易操作、友好的操作界面，但其只能运行在 windows上，对操作系统的依赖性较强．MySQL是最受欢迎的开源数据库系统，是一个快速的、多线程、多用户和健壮的数据库系统[9]．
数据共享：数据共享即数据共享交换中心共享数据至各业务系统[10]．数据共享的方式有以下几种：（一）直接从数据共享中心读数据．数据共享中心为各系统用户分配只读权限，直接读取数据．此种方式各业务系统依赖数据共享中心，在数据量日益增大、用户不断增多的情况下，数据共享中心压力不断增大[11]．（二）封装 API接口同步数据．数据共享中心针对使用需求较多、实时性要求较高的数据封装API接口实时同步数据．此方式对于接口的稳定性依赖较大．（三）使用数据同步工具或者业务系统自己开发程序定时同步数据．此方式适用于数据变化较慢、数据量较大的场景[12]．
数据共享与交换全生命周期流程中的每一步都需要结合各业务系统的业务属性、数据特点来选择合适的方式进行数据的共享交换．经此流程建立数据共享与交换平台，形成全校统一的数据共享与交换中心，实现数据的共享与交换，消除“信息孤岛”，提高数据利用率，提升数据安全性，为组织决策提供依据，从而最大限度发挥数据价值．
本文以智慧校园背景下，我校数据共享与交换平台的建设为例深入探究数据共享与交换平台的建设全过程．
平台架构设计如下图3所示：
图3 平台架构设计图
在数据共享与交换平台的建设中，智慧校园信息化制度规范是基础、各业务系统为源头（数据生产者）、中心数据库为核心、数据管理平台为关键支撑平台、各业务应用及数据服务为消费者、运维与监控中心提供保障．
3.1 制度规范先行
智慧校园信息化制度规范作为数据共享与交换平台的基础保障，先行建设．结合国家、教育部、行业标准及我校信息化建设的规范体系，我们制定了《深圳职业技术学院信息化管理章程》、《深圳职业技术学院信息系统构建与集成管理规范》，让校园信息化建设落到实处，做到系统建设有章可循、有据可依，从制度上保障系统建设的标准化、规范化，从而保障信息化工作的有序运行．《深圳职业技术学院数据管理规范》制定了适用于学校信息化建设的数据标准、以及数据全生命周期管理流程，为数据共享交换各阶段的操作提供了制度依据，从而最大限度地实现信息资源共享．
3.2 中心数据库建设
中心数据库是数据共享与交换平台建设的核心．我们采用主流的关系型数据库作为基础数据库平台．创建了临时数据库及中心数据库两个数据库．临时数据库用于临时存储从各业务系统采集来的数据，经过数据清洗整合，最终存入中心数据库．
中心数据库的安全是整个平台的重中之重，我们运用多重网络安全技术加固数据安全．包括但不限于安排专人负责数据库的运维，定期巡检，定期进行安全漏洞扫描，运用数据库审计工具对数据库进行审计，设置数据库防火墙，只有添加了安全策略的服务器才可访问中心数据库等，从而最大限度地保障数据的安全性．
3.3 数据管理平台建设
切合学校实际的数据管理平台是数据共享交换平台建设成功的关键．数据共享交换中的数据以资源目录的形式展示在数据管理平台，各业务系统可根据系统需要提交申请，只有审批通过的数据资源才可共享给对应的系统，对数据权限做了很好的管控．各业务系统生产的数据，也可根据需要新建数据资源目录，落实完成后可供其他系统申请使用．数据管理平台从流程上、管理层面对数据的安全性进行了保障，谁申请、谁使用、谁负责，做到流程可查、可追溯、可管理．
数据申请使用流程如图4所示：
图4 数据申请使用流程
申请人选择数据资源目录提交使用申请，经相关人员审核、技术人员落实通过后系统自动开通用户账号，并以短信形式通知申请人查看配置信息，开发者根据配置信息获取相应数据进行开发．图4为整个数据使用申请流程及关键节点触发事件．
数据目录新增流程如图5所示：
图5 数据目录新增流程
对于采集清洗存储完成的数据建立对应的资源目录，填写数据资源相关属性字段，提交审核，经相关人员审核、技术人员落实配置后生成资源目录．
3.4 数据共享与交换流程建设
由于学校业务系统较多，数据源头不一，各系统建设周期不同步，使用异构数据库，数据采集工作存在一定难度．我们采用ODI工具及数据接口两种方式进行数据采集．对于数据更新变化小、实时性要求不高，且具有数据库访问权限数据，采用ODI工具定时同步，例如教务系统的学生学籍信息、一卡通系统的学生开卡信息．对于数据更新变化快、实时性要求高或者无法访问数据库的数据采用数据接口方式采集数据，例如一卡通消费记录、校门进出记录、车辆进出记录．
采集而来不符合数据标准的数据，先存入临时数据库，经过数据清洗后方可存入中心数据库．除了常规的ETL工具、人工方式清洗数据，我们还采用“倒逼”方式清洗数据．针对个人数据做成个人大数据展示界面，师生可查看个人相关数据，若发现个人数据不准确，可在界面上提交问题反馈，相关数据管理员会收到问题反馈提醒，从而及时核对数据的准确性，督促数据源头的准确性，“倒逼”修正数据．
存入中心数据库的数据最终根据业务属性分类，以资源目录的形式呈现在数据管理平台．各业务系统可在数据管理平台查看需要的数据目录，提交申请，待审核落实完成后，即可同步获取数据．数据应用的形式同样多样化，除了业务应用的需求，对这些数据还提供查询下载、数据统计等功能．同时应用大数据分析技术对师生做个人画像、学业预警、轨迹查询等功能．
在数据共享交换前，必须确定哪些数据为基础数据．在智慧校园建设中，师生用户数据为各系统建设的基础．为避免师生重复填报信息、注册用户，我们搭建了一套统一身份认证平台，用户只需提供一次凭证，便可访问多个已集成的系统， 无需进行多次登录和验证．统一身份认证平台同步用户数据至中心数据库，再从中心数据库同步用户数据至各系统，且各系统集成统一身份认证，实现系统间基础数据的共享与交换，大大提升用户体验．
3.5 运维与监控中心
为保障数据共享与交换平台的稳定运行，我们将各业务系统、中心数据库、数据管理平台及各API接口纳入统一运维与监控中心管理，实时监控各系统、数据库、接口的运行情况，出现问题及时发送告警通知责任人，实现主动运维、积极运维．
统一运维与监控中心可从硬件、软件及业务应用层面对各业务系统、数据库、数据管理平台及API接口进行监控．硬件层面可监控业务系统、中心数据库、数据管理平台及API接口的服务器运行情况，包括服务器的连通性、OS的CPU、内存、磁盘利用率等；
软件及业务应用层面可监控应用系统运行的端口连通性、进程运行情况、URL或接口连通性等．当上述监控信息出现异常时运维与监控中心将通过短信、邮件等方式发送告警通知系统责任人，在用户报障前及时发现问题，解决问题，从而保障数据共享与交换平台稳定运行．
3.6 数据共享与交换成果
目前平台共完成了60个系统的数据集成，其中有35个系统共享数据至数据共享交换中心，45个系统从数据共享交换中心申请使用了数据，20个系统既共享又申请使用了数据，如图6所示．数据管理平台共建信息资源目录 112个，数据总量204,802,684条，申请次数达280次．各业务系统共享使用数据均通过数据共享与交换平台实现已经形成一种模式，各业务主管部门的数据共享与交换意识有显著提高．数据共享与交换平台有效解决了系统间数据流转问题，各系统仅需与数据中心对接即可共享使用所需业务数据，无需考虑各系统的异构问题，大大提升了数据的交互性，避免“信息孤岛”的产生，提高了数据利用率，提升了数据安全性，为智慧校园建设奠定了坚实基础．
图6 数据共享与交换成果
数据共享与交换平台是智慧校园建设的核心基础，关系到整个智慧校园建设的成败．本文对数据共享与交换技术深入研究分析后，提出了我校数据共享与交换平台的建设思路．从制度规范先行到搭建中心数据库、打造切合我校实际情况的数据管理平台，打通数据共享交换的全生命周期流程，建立了具有深职院特色的数据共享与交换中心．虽然我校已初步建成数据共享与交换平台，但是在提供数据共享服务的过程中，发现仍然存在一些问题．例如数据类别仍然不够丰富，数据质量还有待提高，数据同步工具不够智能，存在数据中断及延时问题．数据共享与交换平台的建设不是一蹴而就的，是一个长期持续的过程，随着智慧校园建设的深入，大量的业务数据还将不断汇入数据共享与交换中心，我们将继续对数据共享与交换技术进行不断地探索和研究，为学校信息化建设提供夯实地基础保障，从而为广大师生提供更高质量的信息化体验．
猜你喜欢 数据管理流程数据库 企业级BOM数据管理概要汽车实用技术(2022年10期)2022-06-09定制化汽车制造的数据管理分析汽车实用技术(2022年5期)2022-04-02航发叶片工艺文件数据管理技术研究智能制造(2021年4期)2021-11-04吃水果有套“清洗流程”今日农业(2021年10期)2021-07-28违反流程 致命误判劳动保护(2018年5期)2018-06-05数据挖掘在学生成绩数据管理中的应用研究智富时代(2018年10期)2018-01-30数据挖掘在学生成绩数据管理中的应用研究智富时代(2018年10期)2018-01-30四川省高考志愿填报流程简图高校招生(2017年7期)2017-06-30数据库财经(2017年2期)2017-03-10析OGSA-DAI工作流程办公自动化(2016年18期)2016-08-20
