京杭运河（济宁段）数据资源管理方案设计与应用
时间：2023-05-31 09:15:19 来源：雅意学习网 本文已影响 人 
殷 猛，杨国华，陈信一
（1 济宁市港航事业发展中心，山东济宁 272000；
2 中交水运规划设计院有限公司，北京 100007）
随着时代的进步和新技术的不断发展成熟，社会已经进入信息经济、数字经济的时代。数据资源的管理与利用正在被各行各业重视与实践。2020年3月，中共中央、国务院《关于构建更加完善的要素市场化配置体制机制的意见》中明确指出，要加快培育数据要素市场，探索建立规范的数据管理制度，提高数据质量和规范性，丰富数据产品；
在《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》第五篇“加快数字化发展，建设数字化中国”中，也提出了“建立健全国家公共数据资源体系”的建设任务，强调构建全面、系统的数据资源体系的重要性。
在京杭运河（济宁段）港航管理业务中，业务涉及的信息种类庞杂、零散，且具有较明显的即时性需求，数据资源管理的重要性愈发凸显。如何更好的存储、维护、挖掘和利用数据的巨大潜在价值，成为了一个重大的课题，因此，建立完善科学的数据资源管理方案显得尤为重要[1]。
1.1 数据资源现状
济宁市港航事业发展中心由于自建系统较少，且各相对独立，尚未形成完整的、成体系的数据资源。济宁市港航事业发展中心依托本地港航大气污染防治视频监控平台形成了港口码头的视频监控数据库。依托微山、韩庄船闸管理系统，形成了船闸基本数据库，包括船闸名称、设计通过能力、管理机构、地址等基本信息，以及负责人、联系人名称、联系方式等信息，但各船闸基本信息均存储在本地，尚未汇总至济宁港航事业发展中心。此外，通过船舶动态管理、山东省交通厅港航业务管理平台形成的船舶基本信息、船舶检查信息、运政信息存储在山东省交通厅。通过外部企业采集的航标信息、水位信息也尚未在本地落地，存储在上海。
1.2 功能目标
基于上述问题，通过“三改二”工程建设，将建立流域完善的航道感知体系及港航业务管理体系，建设智慧航道数据管理中心，通过接入港航船舶识别系统（AIS）、卫星定位系统（GPS）、视频监控系统（CCTV）、移动平台等数据，为上层应用航道维护、动态监测、船闸运行监测与管理、航道应急指挥、航道运行协调与联运预警、航道运行安全监控、数字海事系统提供现场数据和图像服务；
各业务系统产生的业务数据为对外航运信息服务、政务、协同办公提供不同权限的服务。具体功能目标主要体现在以下三个方面：
1）提升港航管理精细管理能力，通过建立科学便捷的航道信息采集手段，实现港航管理关键要素在航道图与各管理系统中的有效收集与显示。
2）通过建立港航综合信息服务体系，为社会公众与行业单位提供综合信息服务，提升内河公共信息服务水平。
3）提高区域资源融合开放能力，通过与相邻市、省共建相关信息化平台，共享港航业务信息，打通内河区域资源共享开放环节，推动基于多部门多要素资源的协同工作机制与科学制度，提高内河及港口集疏运效率。
2.1 数据资源需求
智慧航道数据资源管理中心工程建设内容是通过整合各区域数字航道数据资源、航道维护数据资源以及其他信息系统数据资源，构建为一图、一站、三平台提供服务的数据中心。主要数据资源包括电子航道图成图需要的底层源数据、区域数字航道资源、基础数据资源、业务数据资源等。详细各系统所需数据资源主要内容见表1。
2.2 技术框架设计
根据济宁港航事业发展中心智能通航信息化建设要求，智慧航道数据资源管理中心主要由数据标准规范与数据资源体系、人才队伍、组织机构与运行管理机制、软件系统（数据交换与信息服务平台等）、硬件环境等内容组成。技术框架如图1所示。
图1 数据资源管理中心总体框架
2.3 数据资源体系
在数据资源体系架构方面，依据航道数据资源规划及数字航道建设方案，在数据库平台上进行航道数据资源体系的总体优化设计，在此体系基础上，对各数据库内容进行总体设计。主要内容包括数据资源体系及内容设计、数据抽取转换处理、数据加工与制作、数据管理、数据交换与信息服务。
在数据组织方案的选择上，对于大多数结构简单的航道数据采用数据库中常见基本单元进行组织，对于非规则且结构复杂量大的航道数据（如航道图、监控视频等）则在数据库的基础上进行组织结构的优化设计，对此类数据一般两种组织方式：一种是完全数据库方式，采用定长字段和变长字段进行数据内容组织的方式；
另外一种是“数据库+文件”方式，将结构化的简单信息存储在数据库中，而大数据或复杂数据以文件方式组织，两者通过在表中记录文件位置等信息进行关联。
数据交换与共享主要包括两个方面，航道数据主中心与水上安全监管数据中心之间的数据交换共享和航道数据中心与外部数据中心之间的数据交换共享[2]。数据交换方向一般根据工作需要及交换共享标准等进行定义的，可以根据实际情况进行调整。
数据维护与管理包括了数据库及数据库相关硬件的维护与管理。数据库维护和管理的涉及到数据库性能、可靠性、可维护性等几个方面。因此，数据库管理人员必须建立起包括问题发现、故障诊断、问题解决和日常维护在内的完整的数据库性能及可用性管理流程，并借助相关管理工具，实现管理职能。
2.4 数据标准规范
航道数据中心数据库设计充分借鉴交通信息化数据标准化建设经验，参照国家及交通运输部制定的数据标准，同时根据航道现有基础数据及信息化建设的现状和特点制定符合平台自身特点的标准体系。主要建设内容包括数据处理标准、数据管理标准、数据服务标准、数据安全标准及数据中心管理类标准等，具体内容如表2所示。
表2 航道数据中心标准体系建设内容
2.5 数据库设计
本项目数据库设计参照国家及交通运输部制定的数据标准，并充分借鉴交通信息化数据标准化建设经验。通过对本项目涉及到的航道空间区域、管理对象、管理活动进行分析[3]，结合数据库划分原则以及布局方案，确定济宁市港航事业发展中心智慧航运数据中心包括基础数据库、业务数据库、外部接入数据库三部分，同时还包括：电子航道图、视频流数据、VTS报文、大文本等内容。数据中心管理和存储的内容是一图一站三平台系统运行的重要组成部分。
2.6 数据集成方案设计
项目数据集成方案包括数据集成系统与数据分析可视化平台两大部分。数据集成系统是利用智慧航道中心的数据，进行基于大数据的关联分析。通过将需要进行数据分析与统计的数据抽取到专用的大数据存储平台中，进行数据转换，为数据分析平台提供数据基础；
数据分析可视化平台主要提供数据可视化图表的设计管理功能，将抽象、海量的数据，通过不同颜色、形状和组合的图表进行直观的展现，真实、丰富、立体地反映数据指标、特性及其关联关系，构建数据画像，便于用户进行可视化决策，实现立体数据的动态呈现，主要功能模块包括可视化分析、船舶分类统计显示、执法力量显示、进出卡口船舶艘显示、货运总量情况显示、到港离港货物量显示、预测性分析等。
基于项目信息化建设基础，在数据分析理念下，结合京杭运河（济宁段）流域港航管理需求，项目搭建了智慧航道数据中心管理系统，系统包括数据管理服务、数据抽取服务和数据采集服务，将各个服务按功能分，数据管理服务分为数据管理平台、数据共享平台、系统管理和基础设施4个模块，数据抽取服务为ETL平台，数据采集服务为数据采集平台。在“智慧港航综合管理系统”门户页面，本系统展示为“数据中心”栏的数据中心管理系统。有权限的用户点击数据中心管理系统进入本系统，展示数据管理平台的数据资产概览页面。
图2 系统功能结构
在系统功能设计上，系统可分为数据管理平台、数据质量管理、数据共享平台、ETL平台、数据采集平台、运行报表六个部分。
3.1 数据管理平台
数据管理平台主要用于数据资产管理和数据共享，对外提供资产数据共享综合服务。服务提供主流的数据访问方式，包括：REST API、消息队列订阅等方式，可方便且灵活的获取数据。平台功能模块主要包括数据资产概览、数据资产管理、数据资产浏览、数据资产统计。
3.2 数据质量管理
数据质量管理分为数据质量检查与数据质量报告两个部分。数据质量检查系统定位于数据质量的考核与运行审计，专门用于进入平台数据的质量分析和质量报告的发布，促进数据资源质量的持续改进。系统主要包括数据质量审计、数据质量评估和数据质量报告、数据安全管理、数据资产监测；
数据质量报告是对数据中心系统日常监控以及数据质量评估等过程累积的各种信息进行汇总、梳理、统计和分析，形成统计报告的过程。
3.3 数据共享平台
平台包括共享服务概览、服务目录管理、接口服务浏览、服务账号管理、数据服务监控、数据共享服务6个功能模块。共享服务预览展示数据共享接口信息和统计信息，数据共享接口信息包括：共享服务接口数、历史调用次数、平均响应时间和调用成功率，统计信息包括：近七日接口调用数、昨日接口调用排名和昨日应用调用排名；
服务目录管理的功能是维护服务目录，功能包括：新增、修改、删除、接口管理和多条件查询；
接口服务浏览显示接口服务信息，提供服务详情和多条件查询功能；
服务账号管理包括：业务域管理、服务账号管理和服务账号审理记录；
数据服务监控包括：服务调用日志、服务调用统计、MySQL监控、Redis监控和Java监控；
数据共享服务包括：已授权接口一览、开发者手册和API文档。
3.4 ETL平台
ETL平台将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端，即将各个系统的资产数据汇聚到数据中心，为提供数据共享服务做支持。平台主要负责数据采集、加工和汇聚。采集实现方式主要包括：对各业务数据库进行数据抽取（增量同步和全量同步），同时提供数据转换和汇聚能力。支持主流数据库（MySQL、Oracle、SQLServer、PostgreSQL、Hbase、MongoDB、Hive、Elasticsearch、HDFS等）的数据提取和汇聚，灵活提取数据和创建抽取任务。
3.5 数据采集平台
被采集的系统提供Rest Api和WebService等方式的对接接口，本系统主动或被动获取数据。需提前跟被采集方的系统做联调对接，数据对接通过开发定制化功能来完成。
3.6 运行报表
展示任务数、任务执行总数、执行器数量，折线图统计最近八天的任务执行成功数、失败数信息，饼图统计历史成功和失败占比。
在数据治理和应用技术不断发展与应用的时代背景之下，数字化已经深入的应用到各行各业，且愈发扮演着越来越重要的角色。在港航业务日益智能化、自动化发展的基础条件上，数据的作用价值也得到了进一步的体现，数据不再是基本信息的展现，而是数字经济和智慧航运的关键生产要素，因此需要我们提高对于数据资源应用管理的重视。通过在京杭运河（济宁段）“三改二”项目中对于港航数据资源管理方案的探索，加速构建先进的港航数据管理应用体系，实现港航数据的高质量应用，为我国内河航运领域数字化、智能化管理赋能，打造内河航运行业数字生态圈，推动行业高质量发展。
猜你喜欢 数据管理航道数据中心 基于大数据管理的管道智慧检验系统的研发及应用中国特种设备安全(2022年5期)2022-08-26企业级BOM数据管理概要汽车实用技术(2022年10期)2022-06-09定制化汽车制造的数据管理分析汽车实用技术(2022年5期)2022-04-02浅析数据中心空调节能发展趋势建材发展导向(2021年7期)2021-07-16CTCS-2级报文数据管理需求分析和实现铁道通信信号(2020年4期)2020-09-21关于建立“格萨尔文献数据中心”的初步构想西藏艺术研究(2019年1期)2019-09-04厦门港航道通过能力建模及应用中国航海(2019年2期)2019-07-242017第十届中国数据中心大会榜单中国计算机报(2017年25期)2017-07-15新航道留学(2017年5期)2017-03-29英语高能高分 就上新航道留学(2017年5期)2017-03-29
