一种改进的分布式HCI,图像数据管理技术
时间：2022-12-02 14:25:03 来源：雅意学习网 本文已影响 人 
杨 超,信 晟,张 悦,刘 祺
(自然资源部 国土卫星遥感应用中心,北京 100048)
随着我国经济社会的快速发展和航天科学技术的不断进步,通过空基规划、高分专项的全面实施,卫星遥感技术得到了长足的发展。
最近十余年,我国卫星遥感技术突飞猛进,新型传感器不断涌现,各项观测指标大幅提升,应用水平不断升级,已经实现由单一光学传感器向雷达、高光谱、激光等多传感器,由中分辨率向高中分辨率结合,由单系列向多系列遥感卫星的转变,初步形成了多尺度、多载荷要素观测、业务稳定运行的卫星对地观测体系。
遥感卫星的快速发展对卫星遥感地面接收、处理以及应用而言都是挑战,特别是对存储系统的容量、性能、扩展、管理、安全、成本、碳中和等多方面都提出了更高的要求。
1.1 传统存储技术
在企业数字化这个概念新兴的初期,存储区域网络(Storage Area Network,SAN)作为主流技术被大范围应用,很多企业数字化的建设也是在此基础上开展的。SAN 的特点就是将存储硬盘与相关服务器进行直连,打造以数字存储为中心、高度可扩展的网络拓扑结构,各存储节点之间相对独立,削弱存储受制于布局结构的壁垒,简化管理和控制基础[1]。
在当时的技术条件下,SAN 凭借着更加灵活的网络+存储结构和光纤网络高速的传输速度,成为企业数字化的优秀助力[2]。
传统存储技术结构如图1 所示。
图1 传统存储技术架构
随着信息技术的进步和数字化技术的逐步成熟,各行各业对存储的依赖和需求也越来越高,曾经的存储模式的弊端也逐步显现。
首先,虽然应用服务器与存储服务器通过光纤网络链接,但是本质上还是两端独立的硬件部署设备,这就意味着需要对两端服务器进行相对独立的运维,并且由于硬件设备的专业性,硬件的直接成本和运维的间接成本都较为高昂;其次,连接应用服务器与存储服务器的光纤网络的传输速度会限制大规模存储与高并发读写的使用场景,性能上的优势也被影响。
此外,因业务不断增长,存储空间需不断扩容,传统存储扩容过程复杂同时业务会有影响,并且扩容规模往往都有限制。
1.2 分布式存储技术
分布式存储是一种数据存储技术,它通过网络使用企业中每台机器上的磁盘空间,这些分散的存储资源构成了虚拟存储设备,数据分布存储在企业的各个角落,可在多个独立设备上分发数据。
分布式存储系统采用可扩展的系统结构,使用多台存储服务器共享存储负载,利用位置服务器定位存储信息,不仅提高了系统的可靠性、可用性和访问效率,而且易于扩展。
架构如图2 所示。
分布式存储的优点如下。
图2 分布式存储技术架构
1.2.1 性能高
分布式存储通过将热点区域内数据映射到高速存储中,来提高系统响应速度,而当这些区域不再是热点时,分布式存储系统就会将这些区域转移到别处储存,将高速存储留给一些热点区域。
这大大地增强了整体存储的性能,提高了读写缓存性能。
1.2.2 分级存储
分布式存储允许高速存储和低速存储分开部署,在不可预测的业务环境或敏捷应用的情况下,分布式存储方法的优势能发挥到最佳,解决了目前缓存分层存储最大的问题,即当性能池读不命中后,从冷池提取数据的粒度太大,导致延迟高,从而造成整体的性能抖动。
1.2.3 可扩展性
分布式存储方式具有很高的可扩展性,能够添加多个存储节点,来实现储存容量的线性扩展。
而且当扩展了多个节点后,存储的数据就会转移到新的节点,实现负载均衡,这样就不会出现单个储存区域负载过重的情况。
1.2.4 低成本
分布式存储方式具有自动容错、自动负载均衡的特性,所以数据可以分布存储在一些低成本的服务器中。
另外,分布式储存方式还能线性扩展,使得增加、减少服务器的成本低,实现分布式存储系统的自动运维。
1.2.5 容灾性
在分布式存储的容灾中,一个重要的手段就是多时间点快照技术,使得用户生产系统能够实现一定时间间隔下的各版本数据的保存。
特别值得一提的是,多时间点快照技术支持同时提取多个时间点样本,同时恢复,这对于很多逻辑错误的灾难定位十分有用,如果用户有多台服务器或虚拟机可以用作系统恢复,通过比照和分析,可以快速找到需要回复的时间点,降低了故障定位的难度,缩短了定位时间[3]。
这个功能还非常有利于故障重现,从而进行分析和研究,避免灾难再次发生。
多副本技术、数据条带化放置、多时间点快照和周期增量复制等技术为分布式存储的高可靠性提供了保障。
超融合基础架构(Hyper-Converged Infrastructure,HCI)是指在同一套单元设备中不仅仅具备计算、存储、网络和服务器虚拟化等资源和技术,且多套单元设备可以通过网络聚合起来,实现模块化的无缝扩展,形成统一的资源池,可以为数据中心带来最优的效率、灵活性、规模、成本和数据保护。
基于分布式存储的超融合技术是通过将传统业务应用下沉到底层分布式存储节点的融合部署技术实现方式,存储服务器在提供存储服务的同时提供计算服务。
为了避免业务应用对存储系统带来的部署环境影响,通常可采用虚拟化技术和集群调度技术进行管理。
同时,软件系统与硬件服务器之间松耦合的形式让灵活程度更上一层楼[4],大大解决了传统架构的两大困境。
虚拟化超融合与应用超融合成为超融合技术应用的两种主要方式。
2.1 虚拟化超融合技术分析
虚拟化超融合是使用虚拟化软件将存储服务器闲置资源进行池化管理,在保障存储服务稳定的前提下,通过容器、微服务、云主机等手段对上层业务提供计算服务,达到单台服务器上运行多个操作系统和应用的目的,提高设备使用率[5]。
虚拟化超融合框架如图3 所示。
图3 虚拟化超融合技术框架
虚拟化超融合的技术特点主要体现在以下方面:
(1)弱化对硬件的依赖,降低硬件的直接成本和间接运维成本;
(2)隔离各类业务应用,避免配置环境互相影响;
(3)服务器集群、应用与存储之间不再依赖网络,而是形成统一资源池;
(4)虚拟化超融合本身存在硬件资源损耗,需要耗费部分资源,保证系统运行。
2.2 应用超融合技术分析
应用超融合是指将业务应用服务直接部署在存储服务器上,通过集群调度管理软件进行集群化管理,每台服务器提供存储服务的同时又提供计算服务,充分利用服务器计算资源。
应用超融合框架如图4 所示。
图4 应用超融合示意
应用超融合的技术特点主要体现在以下几个方面:
(1)设备资源高度复用,大大增加设备利用率;
(2)数据存储有部分切片落盘本机硬盘,应用读写效率更高;
(3)计算与存储在同一层交换机网络环境下,响应时延更小;
(4)无需额外操作系统环境,消耗硬件资源更少。
2.3 虚拟化超融合与应用超融合技术比较
应用超融合技术不但有着虚拟超融合技术的优势,还因为省掉了虚拟层,将计算等业务软件直接部署在分布式存储的硬件资源上,每一台存储服务器同时提供存储服务和对应用业务软件的运算服务,不额外占用硬件资源。
但应用超融合可能会对存储系统服务产生影响,配置不当可能影响整套存储的稳定性,部署与调试难度较大。
传统业务模式与超融合业务模式对比如表1 所示。
例1(第7题) 为“赏中华诗词，寻文化基因，品生活之美”，中央电视台举办了诗词知识比赛．每场比赛的第一轮为个人追逐赛，有4名选手参加．在第一轮中，每名选手在答题前随机不放回地抽取第1，2，3，4组题目中的一组题目．已知第一个出场选手在第一轮中擅长第1组和第3组题目，那么他在第一轮能抽到自己擅长题目的概率为
表1 传统业务模式与超融合业务模式对比
传统存储架构已不能满足遥感技术突飞猛进、新型传感器不断涌现、各项观测指标大幅提升、应用水平不断升级的业务存储需求,采用分布式存储架构已成为各个遥感应用中心的主流方向。
基于有限的物理空间和设备条件进行存储系统改造,创新性地在分布式存储系统上应用超融合技术,充分挖掘系统硬件资源,将原有需运行在计算服务器上的自动化应用系统直接部署在分布式存储的服务器上,通过集群调度管理软件进行统一调度运行。
计算资源由分布式存储服务器提供,可实现存储计算统一管理,增加应用部署的多样性,灵活调整计算等业务应用系统的资源按需分配[6]。
3.1 应用超融合改造案例分析
按照应用超融合的设计理念,某遥感应用中心2016 年通过分布式存储替代原有传统存储作为核心数据生产存储,同时采用应用超融合的方式提升了生产计算能力。
改造前的生产网络模式为计算资源采用独立的刀片计算集群,存储资源采用集中式SAN 存储,计算资源通过IB 网络(InfiniBand Network)访问存储IO服务器的共享存储服务进行数据交互生产作业。
整个预处理自动化生产环节共使用了300 TB 集中存储,12台存储I/O 服务器,48 台刀片计算服务器,1 台IB 交换机,4 台以太网管理交换机。
改造前的生产过程中,存储空间受限于集中存储容量,但扩容成本极高;数据I/O 带宽受限于12 台I/O 服务器,增加服务器并不能线性增加带宽;计算能力受限于计算服务器数量。
改造后,分布式存储由32 个存储服务器与2 台元数据服务器组合核心,提供1.3 PB 容量存储服务,聚合带宽更可达到30 GB 以上超大聚合带宽,同时将全自动化预处理生产任务融合部署于32 台存储服务器上,节约了额外的计算服务器。
通过32 个存储服务器组成高性能计算集群,通过高性能集群调度软件进行生产调度,避免人工交互可能会影响存储稳定性的概率。
与改造前综合环境相比,业务存储空间提升了4 倍,聚合带宽提升了6 倍,节约了近一半的服务器节点,机柜占用节约了2/3。
具体对比情况如表2 所示。
表2 改造前后环境对比
此次改造大幅减少了计算系统在网络获取上的流量,提高了系统的计算及存储效率,解决了传统存储盘阵的单点故障问题;通过动态资源配置提高对计算业务的灵活适应力;减少计算服务器数量,提供全新的服务器整合的方法,减少多种应用数据处理整体的硬件采购成本;进一步降低机房及机柜空间、网络、散热以及电力消耗等成本,最大限度地实现信息化建设节能减排的目标,符合国家碳中和建设目标。
3.2 分布式存储系统在卫星遥感影像存储生产中的优势
分布式存储系统在卫星遥感影像存储生产中发挥着重要作用,较传统架构大大提升了数据吞吐效率、访问效率、文件检索效率,满足了遥感卫星业务对存储系统在容量、性能、扩展、管理、安全等多方面更高的需求。
经过几年的平稳运行,应用超融合改造综合表现能力突出,不仅减少了硬件配置、节省了物理占用空间,同时还增加了生产系统整体的稳定性,不但降低了设备成本,又有效降低了设备故障率和运维管理难度,使经济效益和社会效益得到提高。
此外,通过改造后几年的不断更新迭代,系统已经平稳运行并逐渐发挥出更大的优势。
3.2.1 存储空间使用率常年在90%以上,数据安全,业务运行稳定
通过对同时管理的不同品牌存储系统进行横向对比,存储空间使用率通常控制在70%～85%,否则经常会出现不同程度的错误甚至宕机问题。
应用超融合部署下的这套分布式存储系统却可以常年处于90%以上不影响数据安全和系统性能,一方面归结于内在软件机制,另一方面是数据存储集中适合分布式存储架构特点。
软件能够按照业务特定应用场景不断提升适应能力,将硬件环境网络环境运转到极致,最大程度实现高性价比。
3.2.2 硬盘混插、服务器不同规格
经过多年的运行积累,分布式存储系统中使用的硬件设备规格复杂多样,不同硬盘规格共存2TB,4TB,6TB,8TB,10TB,12TB;不同架构存储服务器共存12 盘位、24 盘位、36 盘位,存储系统性能和功能仍保持稳定可靠。
实现了“云”的概念,不用强调区分硬件设施,在复杂甚至混乱的硬件设备环境下实现稳定的功能和性能,是信息化必然的趋势。
3.2.3 不断电、不影响应用业务情况下,通过更新硬盘实现扩容
改造项目在运行几年后开展了在线换盘扩容,将原512 块2 TB 硬盘更换为全新8 TB 硬盘,短期内完成扩容3 PB 容量空间。
过程中既没有增加服务器,也没有产生计算等应用业务的间断,存储性能和功能仍保持稳定可靠,主要归功于内在软件的机制,能够真正实现软件定义存储和软件定义功能和性能。
应用超融合技术在遥感卫星数据管理应用的技术优势优越、成本优势明显。
随着卫星制造技术的提升,高时间分辨率、高空间分辨率的卫星遥感应用时代正加速到来,存储性能提升和成本控制也是必然的趋势。计算机硬件与网络发展已经为自然资源信息化提供了高效计算和访问的能力,进一步通过信息化手段实现业务一体化流程,实现系统的最大性价比,更好地完成自然资源数据服务的基础工作。
猜你喜欢 存储系统虚拟化分布式 居民分布式储能系统对电网削峰填谷效果分析科学与财富(2021年35期)2021-05-10基于Paxos的分布式一致性算法的实现与优化华东师范大学学报（自然科学版）(2019年5期)2019-11-11天河超算存储系统在美创佳绩发明与创新·大科技(2019年12期)2019-03-17面向4K/8K的到来 存储该怎么办？传播与制作(2018年9期)2018-11-15浅谈虚拟化工作原理网络与信息(2009年12期)2009-12-17用户怎样选择虚拟化解决方案网络与信息(2009年12期)2009-12-17虚拟化整合之势凸显计算机世界(2009年21期)2009-07-30虚拟化技术：绿色ＩＴ的希望软件工程(2009年6期)2009-06-18
