证券内存交易系统的架构设计与评价
时间：2021-02-21 12:02:55 来源：雅意学习网 本文已影响 人 
摘要：随着大数据时代的来临，证券行业这种数据密集型产业对数据处理的性能有着愈发急切的需求。传统的磁盘-数据库模式的处理速度愈发不能满足需要。文中采取内存计算方式给出了该问题的一个解决方向。首先结合目前研究现状简要说明内存计算的概念，并总结出内存计算的特点。然后从单节点和多节点两个方向结合证券行业不同的业务场景给出对应的系统架构，并指出相关条件下需要关注的问题和解决方向。
关键词： 内存计算；证券；单节点；多节点；架构设计
中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2018）04-0056-03
The Architecture Design and Evaluation of the Securities in Memory Trading System
YANG Chong-yang
（Department of Computer Science and Technology， Tongji University，Shanghai 200092，China）
Abstract：With the advent of the era of big data， there is urgent need for massive data processing performance in the data intensive industries， Such as securities. The speed of processing in traditional disk - database schema is increasingly unable to meet the requirement.In this paper， one solution of this problem has been given by using in-memory technology. At first， with the present situation of the in-memory technology study， briefly explain its concept and summarize the characteristics. then， combining the business scene of the securities industry，the corresponding system architecture is presented from different business scenarios ，single node and multi-node. Finally， point out the relevant issues and the solutions.
Key words： in-memory technology；securities；single node； multi-node；architecture
1 总述
随着大数据时代的来临，证券行业的发展日新月异，交易数据量越来越大，日交易额已经步入千亿级别，2016年虽然A股市场较为低迷，以震荡为主，但是已有统计数据表明，截止2016年末，仅沪深两市场的日交易额均已达亿元级别。近几年随着交易所融资融券，股票质押，券商投行，再融資，并购重组等新业务推进步伐的加快，基金公司、券商、私募等机构投资者也对量化交易、策略交易、做市、程序化交易等有着愈发迫切的需求。沪港深市场交易种类繁多，交易数据的快速增长，大规模数据和业务场景的高时效性要求与传统的内存-磁盘访问模式产生了巨大矛盾，随着数据量的激增，在传统计算模型中的诸多问题逐渐显现出来， 如内存容量的大小，原始数据缓存的寻址命中率，磁盘的I/O瓶颈（输入/输出），数据处理效率等问题，基于底层数据查询方式的局限，目前这些问题在现有的架构上都只能在软件或者硬件上初步缓解，如更新系统架构，更换更好的CPU，服务器等硬件设施，但是并不能从根本上解决这些问题。
内存计算的出现给这种数据密集型访问的处理方式提供了一个较好的解决方案。以内存计算为基础的内存数据库可以从很大程度上缓解目前的性能瓶颈。其支持数据直接访问的高处理效率很好的贴合了当前证券行业的业务现状。内存数据库系统带来的优越性能不仅仅在于对内存读写比对磁盘读写快上，更重要的是，从根本上抛弃了许多传统的磁盘数据管理方式，并基于全部内存数据的管理进行了新的体系结构的设计，并且在数据缓存、快速算法、并行操作等方面有相应的改进，故相比于传统数据库的数据处理速度来说有极大的提高。
本文第2节介绍内存计算的相关特点及当前的发展状况，并根据系统硬件架构的不同概述对应的设计要点。第3节针对于单节点系统框架，重点从性能，并发的角度设计系统架构；第3节针对于多节点系统框架，重点从网络，多节点间通信的角度分析系统；第5节总结内存计算架构并给出进一步研究方向。
2 内存计算概述
内存计算的概念早在20世纪90年代的时候就已经有人提出并付诸实验，只是局限于当时的技术水平等条件， 研究的步伐没有现在这么快。目前较权威的机构，如IBM对其说明为：针对数据访问密集型应用，为了提高数据处理效率，将数据全部或部分放置于内存，利用内存的高读取速度来提高处理速度，结合具体业务场景来看，内存计算还需要另外专门设计搭配的软件体系架构、软件接口等[1]。据此，内存计算应包含如下几个特性：
1） 大容量内存（单节点或者多节点），可将待处理的数据全部或者主要的部分存放于内存中；
2） 良好的业务处理模型和接口；
3） 数据规模大，较高的时效性要求；
4） 支持业务的并行处理。
