金融行业数据库发展与自主创新：能否成为数据库领域的库里南？

xinxi1368

本文转载自微信公众号“金融电子化”，作者为杭州银行信息科技部邵健。

库里南作为豪华车多年来一直主导市场。同样，数据库领域也是豪华车级别的“库里南”，这是中心化数据库的天花板。然而，面对异军突起的分布式数据库，在自主创新的环境下，我国自主研发的数据库能否积累并发展成为“天籁”，将面临时代的考验。

金融行业数据库发展现状分析

数据库技术出现于 20 世纪 60 年代末和 1970 年代初。关系数据库模型最早由IBM研究员EF Codd博士于1970年提出，从此成为数据库领域的主流模型。主要研究如何管理、存储和使用数据。随着时代的快速进步，计算机软硬件技术快速迭代，创新的数据库技术也蓬勃发展，在理论研究和系统开发方面取得了辉煌的成就。如今，用户希望关系数据库能够稳定运行、能够水平扩展、无限大、无限快。

目前市场上的数据库特指在传统OLTP（在线事务处理）领域占据市场主导地位的关系型数据库。只有这个产品才是困扰我们多年、被无数人尝试过的数据库产品。

根据数据模型发展的主要路线，数据库技术的形成和发展过程主要可分为以下几个重要阶段。

关系数据库

关系数据库可以理解为使用二维表。维护数据之间的关系的优点是符合ACID原则，严格遵守数据完整性约束，保证数据一致性；它有一个标准化的语言SQL。面对事务处理和分析决策的需求，OLTP事务数据库和OLAP分析数据库应运而生。

(1)联机事务处理。在OLTP数据库发展的早期阶段，它更多的是集中式数据库。 OLTP业务系统必须保证数据的强一致性，通常采用关系型数据模型来支持多种并发以及快速实时的增删改查。集中式OLTP数据库的局限性是缺乏水平扩展性，需要解决跨服务器扩展的问题，以及海量数据、高并发情况下读写效率较低。

(2)联机分析处理。该系统可以多维度、高速分析来自数据集市和数据湖的数据。主要面向分析师和管理者，支持对历史数据的复杂分析操作。 OLTP指的是业务在线交易系统，OLAP指的是业务分析系统。 。 OLTP 和 OLAP 是互补的过程。同时，OLAP大多采用MPP架构。

NOSQL非关系数据库

针对关系型数据库在数据模型、性能、扩展性、扩展性等方面的缺点，NoSQL（非关系型数据库技术）应运而生。 NoSQL一般指非关系型数据库，其中Key-Value通常是主要模式。 NoSQL数据库专注于解决传统关系数据库硬件垂直扩展的局限性。通过分库分表的方式实现水平扩展。在互联网行业，基础平台追求省钱，不会购买商业产品。数据操作方式非常简单，而且由于其简单性，NoSQL可以率先毫无障碍地构建分布式环境，并得到广泛应用。笔者认为它并不是数据库发展的继承者。如：内存数据库（Redis）、列式存储数据库（HBase）等。其优点是可扩展性高，在不牺牲一致性的情况下通过水平扩展提高可用性，并且不存在明显的单点故障。缺点是牺牲了数据一致性； SQL标准化有待提高；无法保证事务一致性，无法满足ACID特性。

数据库

、新一代数据库技术的研发。 2011年左右，S首次提出了一个定义来表示新的、可水平扩展的关系数据库。其中，大多数数据库都有两个特点：一是保持NoSQL数据库的高性能和可扩展性；二是保持NoSQL数据库的高性能和可扩展性。其次，要保证事务的ACID特性，保证事物的一致性。使用标准 SQL 作为主要接口的关系数据模型。如：TiDB、。

我们来分析一下数据库的分类：原生分布式和中间件（非原生）分布式。

对于金融机构来说，随着时代的发展，大数据分析的潜力是无限的，尤其是对数据库“强一致性、高可用性、低延迟”的要求更加严格。同时，很多金融机构下一步都会纳入分布式数据库。选择的重点。分布式数据库选型主要遵循“原生分布式”和传统的“中间件+分库分表”。基于中间件的分布式数据库的优点是：解决方案成熟；整体性能与单机数据库相似，适合金融机构的低延迟需求。缺点是：对业务开发侵入性强、不透明、开发工作量巨大；可扩展性差，分片后数据静态且不可变；中间件负担太重。

原生分布式数据库完全抛弃小型机系统，自下而上全新开发。具有分布式数据库的高并发处理能力、高可用性、高扩展性，并对用户透明管理。采用计算、管理、存储分离的系统架构。实现了计算下推到存储节点的特性，提高响应效率，实现各层独立扩展，按需配置硬件设备。优点是：数据分片可以根据热点自动均衡到不同节点；业务开发不打扰，研发人员专注于业务开发；利用强大的计算下推能力，多个节点可以并行计算，提高业务处理效率，满足轻量级实时分析需求。缺点是：架构比较新，实际案例相对较少；基于CAP理论，“可扩展性、可靠性、性能”只能同时满足三者中的两个；存储与计算分离的架构对运维人员提出了很高的要求。

传统关系型数据库（集中式）与NOSQL（如表）的横向比较。

表 传统关系型数据库（集中式）、NOSQL、横向比较

HTAP数据库

HTAP是一个同时在线处理混合OLAP和OLTP业务的系统。由该公司于2014年提出，打破了交易处理和数据分析之间的壁垒，同时支持在线业务信息处理和业务分析决策。

由于大多数OLAP数据库需要离线导出OLTP数据，这会导致数据时效性的降低。一些对决策时效性要求较高的场景，会对OLTP和OLAP的混合数据库有更大的需求，于是就衍生出了HTAP数据库，其数据存储方式大多是行列混合存储。

分布式数据库和集中式数据库的选择

综上所述，集中式数据库和分布式事务数据库的处理性能和硬件可扩展性存在较大差距。这种性能差距存在的前提是“数据量”。在亿级数据级别，中心化数据库可以通过数据压缩以及服务器内存和CPU将这些数据完全存储在单台服务器的存储或内存中。这种情况下，分布式数据库第二阶段提交执行的代码和网络开销将导致事务提交的巨大延迟。

分布式数据库的主要场景是单个数据库无法处理海量数据，并且并发要求较高。分布式数据库是满足此类需求的绝佳选择。此类业务的数据量往往达到数百亿甚至万亿。

笔者认为，如果应用数据量不大，可以通过集中式数据库实例容纳，并且传统关系数据库架构的性能足以处理数据访问负载，那么就不需要使用分布式事务以获得更好的性能。 。在数据量和业务并发可控的前提下，集中式数据库可以带来更低的响应延迟，降低投资成本，实现最大性价比。如果业务系统集中式架构可以完全满足，但如果选择分布式架构，就会投入更多的服务器资源，而分布式数据库更适合海量数据（数亿甚至万亿）、计算资源，存储资源的扩展和收缩能力是中心化数据库所不具备的。切勿为了分发而分发。

金融行业数据库未来发展趋势趋势一：HTAP

OLTP→OLAP→HTAP（混合）：结合了OLTP和OLAP的HTAP正在迅速发展。大数据时代，数据的价值被深入挖掘，更多的企业对数据库系统提出了更高的要求。现阶段，为了满足业务需求，企业最常采用OLTP和OLAP的组合，但两个系统之间数据交互延迟的障碍无法避免。同时，还需要管理两个数据库平台，投入更多的硬件设备，组建两个技术团队，运维成本较高。 HTAP混合数据库基于全新的存储计算分离部署架构。它可以同时处理OLTP和OLAP业务能力，避免传统架构模型中大数据传输带来的硬件浪费和响应延迟。同时，基于分布式架构，存储和计算资源可按需在线扩展，应对高并发、海量数据场景。

笔者认为，未来国产数据库将与分布式和集中式数据库并存，HTAP将是未来趋势。

趋势二：开源

2021年3月，开源正式纳入“十四五”发展纲要。从产业发展的角度来看，一方面，开源社区汇聚了全球技术力量，有助于产品的技术创新，提供技术交流的空间，加速企业创新能力的诞生；另一方面提高了数据库产品开发的效率，提高了数据库产品开发的效率。共享和重用基本程序。对于系统厂商来说，虽然表面上企业需要投入大量的技术力量来推动开源，无法获得直接的利润，但在这个过程中，他们可以布局软件产品的生态系统，包括教育培训、实践反馈、和产品影响。实力、配套周边产品等，从而占据战略有利地势。如果不选择开源，首先传播速度会很慢，其次用户的信任成本会很高，最致命的是用户的增长不会是病毒式增长，这会导致病毒式增长。导致产品的迭代速度会发生变化。非常慢。数据库产品作为“会用”的基础软件，只有不断迭代产品，才能逐步完善。