[电视非编网素材的实时备份] 大洋非编 导入素材
时间：2020-03-11 07:21:09 来源：雅意学习网 本文已影响 人 
【摘要】对于电视台来说，非编网的安全十分重要，素材的安全更是重中之重，为此，在进行非编网建设时，除了应考虑存放素材的存储系统的安全性外，还要进行素材的备份。本文对非编网中素材的备份及其技术在厦门电视台的应用做了初步探讨，对广电行业具有一定的借鉴意义。
【关键词】非编网素材备份存储系统
素材备份的必要性
对于各地电视台来说，非编网中的音视频素材十分重要，一旦丢失，后果不堪设想。鉴于此，如何搭建一个高安全级别的非编网素材存储系统就成为各地电视台数字化后共同面临的一个重要课题。
从安全角度，非编网素材存储系统应具备以下两方面的性能：
首先，非编网存放素材的存储系统要具备较长的无故障时间。
很多电视台在设计非编网存储系统时，多采用RAID、双电源、双存储控制器等技术，但仅采用这些措施并不能确保存储系统无故障。比如，虽采用了RAID技术，在较短时间内若一个RAID组出现两块以上磁盘故障，就会造成素材丢失；盘箱出现故障，会使该盘箱对应的磁盘组无法使用；虽采用双存储控制器，但1台存储控制器出现故障时，由于光纤交换机的ZONE设置和光纤链路的带宽限制，也将导致50％非编网站点无法工作。
其次，应避免各种人为因素引发的故障。
除了系统软硬件出现故障之外，一些人为因素也会导致素材丢失：如当操作人员对存储控制软件firmware等进行升级时，若操作不当，也会造成存储系统无法使用；管理员手工整理素材时，也可能误删素材等。
综上所述，尽管采用了多种防护技术，传统的单存储系统仍无法保证素材存储的安全性。
同时，非编网应用业务的时效性要求存储系统应具备故障修复时间短、容错性强、应急处理方便等特点，而存储系统故障又难在短时间内修复，因此，如果采用单存储系统的设计方案，一旦发生问题，将导致用户业务出现混乱。
而在非编网中增加备份存储系统，不仅能解决主存储系统硬件故障或人为误操作导致的素材丢失问题，还能在主存储系统出现短时间内无法修复的故障时，快速切换到备份存储系统，大大延长了系统总无故障时间。同时，对于备份存储系统来说，由于安全级别要求较低，可采用性价比高的存储体。所以，增加备份存储系统，能在系统总投入增加很少的前提下，大大提高系统的总体安全性和可用性。
备份方式的选择
对于电视台来说，有了备份存储硬件，还需要有高效备份软件的配合，才能实现素材的有效备份。
传统的素材备份主要采用以下方式：在1台服务器启动计划任务，定时将主存储体的素材拷贝到备份存储体中，工作流程如图1所示。
该方式存在着以下一些弊端：首先，由于素材的备份是非实时的，因此当主存储体出现故障时，上次备份后采集的素材将会丢失；其次，备份通过文件拷贝进行，虽然拷贝文件时操作系统会以最快速度进行文件传输(传输速率受网络带宽、服务器性能、磁盘读写速度等因素影响)，但由于非编网存储的素材是广播级素材，素材码率高，文件大，因此会大大影响非编网网络带宽；第三，采用备份方式时，所有的文件拷贝会在同一个时间点开始，加大了文件拷贝期间网络带宽占用时间，据实际测试，文件拷贝期间会出现非编网客户端软件时延明显增大，甚至无法使用的情况。因此采用传统的文件拷贝方式不能完成非编网的素材备份。
鉴于以上分析，非编网中的素材备份软件应满足两个条件：首先，能对用户新上载的素材进行实时备份；其次，在进行素材备份时不应占用很大网络带宽。而实时备份方式可同时满足以上要求，其处理方式如图2所示。
此方式中，在客户端都安装了备份软件，具体备份流程为：首先，采用驱动层IRP复制技术，当客户端对主存储体进行写操作时，同时也会对备存储体产生写操作，素材写入主、备份存储将实时同步进行。其次，非编网中素材的采集常发生在素材上载、收录等操作，此时，素材文件的传输速度由非编网的素材码率设置决定(如厦门采用25Mb／s)，远小于通过操作系统进行文件拷贝时素材文件的传输速度，且是恒定的、可预知的(传统文件拷贝方式下传输速率与网络带宽、服务器性能、磁盘读写速度等因素有关)。第三，由于各客户端的素材上载是随机进行的，因此写入备存储的时间也是随机的，不会在某一时间点产生网络负载高峰。所以，通过此方式，不仅能满足实时备份的需求，还可将数据备份产生的网络带宽限制在一定范围内。
实时备份软件
FISEC(R Safety Enhanced Component的缩写)实时备份软件是国内某公司开发的一套面向网络客户的实时备份软件，其对用户和应用程序透明，可实现数据文件实时备份、存储容量整合、存储故障自动切换、命名空间管理等功能，全面保障了用户的数据安全、业务流程安全。
一、软件模块介绍
此软件组有三个模块。
1.FISEC控制器软件
此模块运行在中心控制引擎服务器(FiSEC-MCE)上，是中心控制引擎和客户端的消息管理中心，能实现仲裁操作命令，控制数据同步服务器自动恢复数据、分组客户端、批量发送任务配置等任务，软件界面如图3所示。
操作人员通过图3不但可以查看主备存储系统的状态是否正常，还可以直接查看仲裁操作的结果。
通过图4所显示的界面，操作人员可查看各客户端的状态，且能对客户端分组发送任务配置等操作指令。
由图5可知，当主存储系统故障恢复后，操作人员可以控制数据同步服务器自动进行数据恢复。
2.数据同步服务器软件(FiSEC-SYNC)
此软件运行在数据同步服务器上，当存储系统的故障被修复后，该软件可根据日志自动恢复数据。软件界面如图6所示。
3.客户端软件(FiSEC-NetClient)
此软件运行在所有非编客户端及相关服务器上，其功能主要为：首先，接收并执行控制器发来的任务，截获操作系统I／O读写指令，完成数据备份；其次，在系统发生故障时，发起切换请求，以保证应用程序在存储切换和恢复时的顺利过渡。其软件界面如图7所示。
二、软件特点
该软件具有以下特点：
1.驻留在虚拟文件驱动层，与上层应用程序无关。软件在非编网客户端的位置结构如图8所示。
此软件驻留在虚拟文件驱动层，具备如下特性：
●与存储架构无关，可支持本地存储、SAN存储、NAS存储等多重存储架构。
●与文件系统无关，可支持各种SAN、网络及本地文件系统。
●与上层应用无关，工作在虚拟文件层，对上层应用软件完全透明。
目前，国内很多电视台的非编网采用SAN存储、NAS存储等多重存储架构，并组合了多种文件系统，基于以上三大特性，此软件更适合在非编网内部署。
2.采用IRP驱动复制技术，能截获用户的读写请求，将读写请求复制成多份，同时分别写入多个存储，实现存储之间的数据复制。
具体来说，具备如下特性： 可实现实时同步备份。通过采用IRP驱动复制技术，可实现两个或多个备份文件完全同步的操作、可同时写入、修改、删除。
可实现分布式备份。首先，软件被直接安装在每个客户端上，且各客户端均可独立完成备份写入，由于没有占用服务器资源，因此不会出现因服务器性能瓶颈导致备份无法实时完成的情况。其次，由于各客户端的写入时间不同，因此不会在同一时间段内进行文件传输，可有效地避免因备份产生的网络带宽峰值。对非编网的使用没有明显影响。
支持多备份，支持若干卷同时进行写入、修改、移动、删除。通过IRP驱动的多份复制，能实现多备份的同时写入，保证了素材的安全性。
3.当主存储发生故障时，FiSEC会自动进行切换，将主存储的物理路径指向备存储，且正在进行的读写操作不会中断；当主存储故障被排除后，FiSEC又会自动将备存储的数据同步到主存储，确保了主备存储的数据一致性。符合非编网的高可用性。备份软件在厦门电视台的应用
以前，厦门新闻非编网只有一套存储系统(型号为S2A3000)，随着新闻节目素材重要性的不断加强，2010年，厦门对素材存储系统进行扩容，增加了备份存储，并在非编网内安装了FISEC实时备份软件。安装FISEC软件系统后，当用户在非编网中上载素材和收录服务器收录节目时，将同时对主、备存储进行写入，从而实现素材的实时备份。
在FISEC软件配置方面，则重点考虑了软件的投票比设置。投票比即当主存储体出现故障，而客户端无法检测到主存储体对应的卷时，将对主、备存储的可用性发起投票，并将投票结果发送到FISEC控制器软件，由FISEC控制器软件根据客户端的投票进行汇总，当投票认为应切换到备存储体的客户端比例大于投票比例时，将会对客户端发送切换存储体的指令。
由此可见，投票比是系统中重要的参数，设置得过低，可能引起主备存储的误切换；而如果设置得过高，当主存储体发生故障时，系统将无法自动切换到备存储体。此外，当主存储发生故障时，有些非编站点由于当前正在读取此存储中的素材，可能无法及时响应FISC控制服务器发出的投票请求，此时，FISC控制服务器会将未响应的站点判断为其反对系统被切换到备存储。所以，当上述投票比为较高值时，应考虑到未响应站点的情况可能造成此切换到备存储时因投票数不足而不能切换。若将投票比设置为50％也不合适，因为当2台光纤交换机(厦门SAN存储区域网中共配置2台光纤交换机)中的1台发生故障时，将引起50％站点无法访问主存储体，因而将有50％站点投票切换到备存储，在此情况下，主存储体并未发生故障，若切换到备存储体，同样会由于有50％站点无法访问备存储体，而引起系统混乱。基于厦门的实践经验，将备份系统的投票比设置为60％较为合理。
实现素材的实时备份后，素材在主、备存储体都有备份，所以非编网对素材的读取通过主存储体和备份存储体都能实现。而通过FISEC软件的设置，可使一部分非编站点优先从主存储读取素材，另一部分非编站点则优先从备份存储读取素材，通过该软件的采用，可大大增加存储系统的总体读带宽。此外，制约非编网规模(站点数)的瓶颈是其存储系统的访问带宽，由于非编网对存储体的读操作时长>写操作，因而可以通过对主备存储数据读取的负载均衡进行设置，不但可充分利用备份存储体的读带宽，而且也将大大提高非编网的可扩展性。
FISEC采用驱动层IRP复制技术，因此在客户端对主存储的写入、修改及删除操作，都会同时作用于备用存储体，其是该系统的一个优点，也存在一些不足：当人为误操作误删素材时，主备存储中的同一素材也将会同时被删除。笔者认为，解决这个问题的―个较合理的方法是在未安装FISEC客户端软件的机器上先清理主存储体中的素材，一段时间后，再清理备用存储体的素材，这样可避免主备存储体中的素材同时被删除的情况发生。
备份系统安装完成后，厦门对主存储体故障进行了模拟测试实验：首先，在非编客户端上载一段素材，然后在非编网内的1台非编机上对此素材进行编辑，其次，将主存储体S2A3000关机，此时客户端的操作人员发现，主存储系统对应的卷无法访问。FISEC客户端判断主存储体发生故障后，自动发起投票，根据客户端的投票结果进行判断后，FISEC控制器软件自动向客户端发起存储切换命令，在客户端用备用存储替换原主存储体的卷，1分钟后，客户端能正常访问原主存储体对应的卷号，且非编对新上载素材的编辑工作也能继续进行。
采用该系统后，厦门发现，原有主存储体S2A的存储容量不足，急需扩容。该存储体的盘箱和磁盘(光纤SCSI硬盘)非常昂贵，扩容费用高，但备份存储的安全性要求较低，经过缜密分析，厦门选择了价格较低的HDS存储系统，并采用价格低廉的SATA硬盘，因而可以用低价格获得大存储容量的备份存储系统。
在具备设置方面，厦门将备份存储体的容量设计为20TB(原有主存储体的容量为10TB)。一些安全性要求较低的外来节目素材被存储在新增的空间中，因而有效地减少了主存储体的存储空间压力。
厦门电视台通过增加存储备份系统，不但实现重要素材的实时备份，增大了存储系统的总体带宽，而且提高了非编网的可扩展性，有效地缓解了主存储体存储空间不足的压力，效果良好。
推荐访问:备份 实时 素材 电视非编网素材的实时备份 电视新闻非编网的安全设计 实时非编网
