南海海岛自动气象站多通道数据整合方法
时间：2023-06-22 13:55:04 来源：雅意学习网 本文已影响 人 
高 涛，陈泰星，江 益，甘志强，李 哲
（1. 海南省气象探测中心，海南 海口 570203；
2. 海南省气象信息中心，海南 海口 570203；
3. 海南省南海气象防灾减灾重点实验室，海南 海口 570203）
气象监测对现代海洋气象业务、海洋气象灾害防御及海洋经济发展有着重大意义［1-4］. 近年来，海南省气象局在南海海域建设了26套海岛自动气象观测站（以下简称“海岛站”），并同船舶站、浮标站、石油平台站、天气雷达和气象卫星等，初步形成以海南岛周边、南沙群岛、西沙群岛为观测区的海陆空立体海洋气象观测网，实现了对南海海域气象要素的连续在线监测. 海岛站所处区域偏僻，通信条件较差，是影响数据传输稳定性的主要因素. 随着通信技术的快速发展，国内外越来越多的新技术应用到海洋观测通信中，比如我国自主研发的北斗卫星通信具有信号覆盖范围广、没有通信盲区的优势，广泛应用到无人值守海岛站、浮标站、石油平台站中；
GPRS/CDMA 通信成本低、维护方便，在有信号覆盖的区域更具优势；
光纤通信则常常应用于对网络质量要求高的有人值守站点. 此外，微波通信、VSAT 卫星通信在特殊条件下也发挥着重要的作用. 根据实际情况，将多种通信方式结合使用，往往能提高通信效率［5-8］. 海南省气象局将GPRS通信和北斗卫星通信相结合，设计了一种双套站热备份模式［9］的海岛站（图1），一个站点建设2套相同的观测设备，每套设备配备GPRS 和北斗2 套通信系统，实现多个通信通道同时传输数据，有效提高了数据传输稳定性.
图1 双套站热备份模式海岛站框图［9］
双套站热备份模式有机结合了GPRS 通信和北斗通信，是目前国内在考虑建设成本、通信费用成本、维护成本等因素的前提下大范围业务使用的较优解决方案，但是仍然存在一些不足. 该模式虽然实现了多个通道同时传输数据，但是为了便于监控，海南省气象局给每个通道分配了一个站号，造成了多个站号实际只对应一个站点的情况. 为了便于考核，中国气象局只将其中一个站号的数据作为考核对象，其余站号数据不予考虑. 当信号不稳定或通信设备故障造成考核通道数据缺测时，尽管其他通道数据传输正常，但该站点也会被认定为缺测，造成虚假的缺测率，大大降低了站点的业务可用性，无法发挥出多通道传输的优势. 此外，用户在使用观测资料时必须从多路通道数据中对比挑选，不够便捷.
针对上述虚假缺测和资料使用不便的问题，笔者从数据处理的角度，提出了一种多通道数据整合算法，算法包含3种不同的数据整合策略. 每种策略各有优势，均能将多个通道的数据实时整合成一条更加完整的数据，用于业务考核和用户使用，弥补虚假缺测和资料使用不便的问题，并尝试应用于海岛站实际的数据传输业务中，测试多通道数据整合算法的业务运行效果.
海岛站采用模块化、系统化、标准化设计，系统自动化程度高，适应性、通用性强，并具有灵活的扩展性，可以提供足够的硬件接口和软件接口［10］. 海岛站主要由各种气象传感器、采集器、供电系统和通信系统构成. 传感器为高精密感应器件，通常包括气温、相对湿度、风向、风速、雨量、气压、能见度7个要素，测量的数据汇集到采集器中进一步处理. 采集器是整个系统的核心，负责任务调度、加工测量数据并生成数据文件、数据存储等. 供电系统由太阳能板和大容量胶体电池构成，负责给传感器、采集器和通信设备供电. 通信系统由GPRS通信设备和北斗通信设备构成，负责将采集器生成的数据文件传输到省级中心站.
数据传输主要依赖于2 个系统：1）地面气象观测监控管理系统（Surface Meteorological Observing and Management System，SMOS），即中心站，部署在省级气象信息中心，负责站点到省级的数据传输，主要功能包括数据采集、数据处理、数据共享、台站管理、运行监控［11］.2）气象信息共享系统（China Integrated Meteorological Information Service System，CIMISS），部署在国家和各省级气象信息中心，负责省级到国家级的数据传输，主要功能包括各种气象资料和产品的收集、加工、存储及服务［12-13］. 海岛站观测数据传输流程如下：SMOS 通过站点的GPRS 通信模块和北斗通信模块的唯一通讯终端号识别站点，在GPRS 通信模式下，SMOS定时（通常为10 min）向站点发送数据获取指令，GPRS通信设备接收到指令后通过串口从采集器读取相应观测数据，通过移动网络返回给SMOS；
在北斗通信模式下，采集器定时（通常为10 min）主动将观测数据通过串口发送给北斗通信设备，经过北斗卫星发送到SMOS.SMOS 接收到数据后，对数据进行解析、入库、生成报文等操作. 生成的报文发送至CMISS负责数据收集和分发的模块（CTS），CTS对上传报文进行格式检验、快速质控等操作后再分发［14］，一路上传至国家级，一路保留在本地，本地数据经过进一步加工处理后入库，产生的运行及告警信息用于监控预警.
根据实际情况，设计出多种数据整合策略将多条通道的数据进行整合. 数据整合时，保证数据的原始性、真实性，不得人为改动. 兼顾时效性的同时，实现提高整个站点数据到报率和数据可用率的目的.
为了方便描述，假设某站点拥有A和B两套观测设备，共配置了C1，C2，C3，C44个传输通道，有以下3种整合策略（如图2所示）：
1）先到先用策略. 如图2a所示，以全部通道的数据作为备选，在设定时效内，哪个通道的数据先到即用哪个通道的数据，超过时效则缺测. 比如C1数据先到，则以C1的数据生成整合数据. 优点是时效性高，缺点是无法保证整合数据的质量，因为整合数据的质量由最先到的数据质量决定，但是无法保证最先到的数据是全部通道中质量最高的.
2）主站优先策略. 如图2b 所示，以某个通道的数据为主，其他通道的数据为辅，在设定时效内，优先选用主通道数据，超过时效后，依次从辅通道数据中选择，所有通道都不可用则缺测. 比如设定C1为主，其余通道为辅，时效内C1到报，则以C1的数据生成整合数据，否则依次从C2，C3，C4中选择已到报的数据生成整合数据. 优点是时效性较高，主通道可根据以往经验选择通信最稳定的一路，一定程度上保证了整合数据的质量，缺点是整合数据的质量完全由主通道决定，当辅通道正常而主通道异常时整合数据往往不是最好的，容错性太低.
3）要素组合策略. 如图2c 所示，根据双套站热备份模式的特点可知，多个通道的数据来源于2 套设备，当有4 个通道时，数据两两相同（4 个以下通道时类似）. 因此，在进行整合时，首先将属于同一套设备的2 个通道数据进行合并，得到2 路数据（设为D1，D2），再对这2 路数据进行整合. 由于这2 路数据来源于两套观测设备，数值不同，需要进行对比分析，挑选出更为合理的数据，方法为：当其中一路缺测时，使用另一路数据. 比如D1气温缺测，D2气温不缺测，则使用D2气温作为整合后的气温；
当2路都不缺测时，则对两者取差，如果差值绝对值不大于该要素的最大允许误差，则取第一路；
如果差值绝对值大于最大允许误差，则2个数据分别与上一时次的整合数据取差，选择差值较小的，这样做的目的是避免数据跳变，保证数据的连续性. 比如D1和D2的气温（设为t1和t2）都不缺测，则计算两者气温差值Δ=|t1-t2|，如果Δ不大于气温的最大允许误差，则选择t1作为整合后的气温；
如果Δ大于气温的最大允许误差，则将t1和t2分别与前一个时次的整合数据的气温（设为t0）取差Δ1=|t1-t0|和Δ2=|t2-t0|，选择Δ1，Δ2较小的对应的气温作为整合后的气温. 优点是充分利用了全部通道的数据，达到要素级整合，加入质控算法让整合数据更完整、质量更高，缺点是时效性较低.
图2 整合算法逻辑图
对比3种整合策略，先到先用和主站优先流程简单，时效性更强，但难以保证整合数据质量；
要素整合流程复杂，时效性略差，但能够充分利用所有通道的数据，整合效果最佳.
3.1 验证数据为了取得最佳整合效果，实验采用要素组合策略. 由算法可知，3个或4个通道在整合时首先将2套站的数据合并，形成两路数据后再进行整合，核心算法与2个通道的情况一样. 为了方便计算，实验选择拥有2个通道的北礁海岛站数据进行验证. 从CMISS 获取北礁海岛站2019年10月1日～2020年10月31日的逐小时观测资料，观测要素包括气温、相对湿度、风向、风速、气压和雨量.
3.2 验证方法为了验证算法的可行性，使用海岛站历史观测资料，手动计算整合前后整站和各个要素的到报率和可用率. 到报率越高说明数据传输越稳定，可用率越高说明数据质量越高，其计算方法如下：到报率ArR（Arrival Rate）是指规定时间内实际上传的数据条数占应上传数据条数的百分比.
可用率AvR（Availability Rate）是指通过数据质量控制的数据条数占应有的数据条数的百分比，反映数据的质量情况. 此处质量控制只考虑数据缺测和数据超限2 种情况，一条数据中只要有一个要素未通过质量控制，则整条数据视为不可用.
3.3 验证结果基于上述验证方法对验证数据进行处理，将整合数据与原各通道数据进行对比.图3 为整合数据到报率和可用率的提升情况，相较于通道一，整合数据到报率提高了5%以上，可用率提高了15%以上，通道二提升效果更为明显. 此外，还进一步观察了整合后要素数据完整性的改善情况. 以气压要素为例，图4 展示了整合前后的对比结果. 由图4可以看出，在整合前通道一（如图4a所示）和通道二（如图4b所示）均有缺测，整合后数据缺测状况得到了明显的改善（如图4c所示）. 可见，数据整合算法能够将多个通道的数据相互补充，有效提升站点整体数据质量.
图3 整合数据较原各通道数据到报率和可用率增幅
图4 整合前后气压数据的完整性对比
4.1 平台实现根据整合算法验证结果，结合实际业务情况，基于SMOS 平台，使用Java 编程语言，开发一个拥有3种整合策略的多通道数据整合平台软件. 软件定时从SMOS数据库读取站点所有通道的数据，根据配置的整合策略完成数据整合，整合后的数据写入SMOS数据库，替换参与考核的通道数据，SMOS再将各个通道数据上传.
整个整合流程如图5所示. 首先用户在SMOS平台创建一个虚拟站点用于接收整合数据，然后启动数据整合平台软件：
图5 多通道数据整合流程图
1）配置SMOS 数据库信息 包括数据库类型、服务器地址、端口号、名称、用户名、密码.
2）配置整合策略 根据实际需求，从先到先用、主站优先、要素组合3种策略中选择一种.
3）配置站点信息 添加待整合站点各个通道的站号和在SMOS 中创建的虚拟站号. 选择要素组合策略时，需要对各个要素进行单独设置，比如气温由4 个通道整合，湿度由3 个通道整合，则气温需要添加4 个通道的站号，湿度只需要添加3 个通道即可，以此类推.
4）配置整合时效性 超过配置的时效性后还没有整合成功，则放弃本次整合.
5）整合数据入库 提交配置后平台开始工作，整合数据由虚拟站点接收，写入SMOS 数据库并替换考核通道数据.
从SMOS 的Web 页面可以查询到整合前后的数据，图6 展示了七洲列岛海岛站的数据整合情况，台站号以M 开头为单个通道的观测数据，其中M1328 和M1330 已经处于缺测状态，台站号以A开头为整合后的观测数据. 启用数据整合前，按业务规定，M1328 为考核通道，尽管M1329 和M1331数据传输正常，在国家级的考核中，七洲列岛站会被判定为缺测. 启用数据整合后，A1328 替换M1328 参与考核，只要不是4 个通道全部缺测，A1328就会一直有数据，有效发挥了多通道传输的优势.
图6 SMOS平台Web展示界面
4.2 业务试用2021年6月至9月，多通道数据整合平台试用于海南省18个信号较差的海岛站，其中洲仔岛、白鞍岛、沙坡岛、西岛、西鼓岛、洋浦原油码头6个站点为双通道传输，北礁、琛航岛、东岛、金银岛、中建岛5 个站点为三通道传输，七洲列岛、赤瓜礁、东门礁、美济礁、南薰礁、永暑礁、渚碧礁7 个站点为四通道传输.
从CMISS获取试用期间各站点逐小时观测资料进行分析，统计了各站点整合后数据可用率较原单通道数据可用率的提升情况，结果如表1所示. 可见，整合后数据可用率相比于单通道数据可用率均有所增加，洋浦原油码头、东岛、金银岛、中建岛、华阳礁、渚碧礁6个站点增幅较小，其余站点增幅明显，多个通道增幅达到了100%，说明多通道数据整合平台对于通信信号不稳定的站点能有效提升其业务可用性，同时，也侧面反映出各站点所在地通信信号质量情况，对维护维修人员有一定参考价值.
表1 整合数据较原各通道数据可用率增幅 单位：%
针对目前海岛站采用多通道数据传输模式会造成数据虚假缺测和数据使用不便的问题，通过分析海岛站通信方式和数据传输流程，提出了一种包含3种整合策略的多通道数据整合算法，并使用实际观测资料验证了算法的可行性，应用算法开发了一个基于SMOS的数据整合平台软件并业务试用.
算法验证和平台试用结果均显示：通过整合后，多个通道的数据有机结合、互为补充，形成了更加完整、质量更高的数据，用于业务考核能有效避免虚假缺测的情况发生，站点业务可用性显著提升；
整合数据可供直接使用，省去了挑选、处理数据的麻烦.
本文涉及的海岛站有2套相同的观测设备，当2套设备均正常工作时，下一步工作重点是更加合理地从两组相近的观测数据中进行选择以形成最终的整合数据. 此外，所提出的整合算法中要素组合策略从保持数据连续性的角度考虑，是否应该选择较前一时次变化更小的数据，仍需要进一步的研究论证.
猜你喜欢海岛站点气温基于FY-3D和FY-4A的气温时空融合成都信息工程大学学报(2022年3期)2022-07-21深冬气温多变 蔬菜管理要随机应变今日农业(2021年2期)2021-03-19冰与火共存的海岛奥秘(2020年5期)2020-06-30在海岛度假小星星·阅读100分(低年级)(2019年8期)2019-09-16基于Web站点的SQL注入分析与防范电子制作(2019年14期)2019-08-20积极开展远程教育示范站点评比活动党的生活·党员电教与远程教育(2017年9期)2017-10-17首届欧洲自行车共享站点协商会召开中国自行车(2017年1期)2017-04-16怕被人认出故事会(2016年21期)2016-11-10与气温成反比的东西小雪花·成长指南(2015年10期)2015-10-23神奇的海岛学苑创造·A版(2009年6期)2009-12-07
