实战国产数据库：从选型迁移到运维优化

前言
《实战国产数据库：从选型迁移到运维优化》终于要和大家见面了！
目前市场上关于国产数据库的综合性书籍几乎没有，很少有人能把多种数据库并列探讨，因为只要将多种国产数据库放在一起，就难免有比较之嫌。如果只是专注一种数据库产品撰写教程，写出来的内容实用价值有限，意义不大，因为目前国产数据库的技术资料比较缺乏，数据库从业人员的实战经验也不丰富。
近几年，我们DBAIOps团队一直在与各类国产数据库产品打交道，帮助用户做数据库选型、做各种数据库的对比测试、在智能运维工具中适配各种国产数据库。这些工作让我们成为国产数据库的“杂家”，我们的团队有可能是目前国内对国产数据库产品了解程度最广的团队之一。因此，由我们组织编写一本关于国产数据库的综合性书籍更为合适。
另外，本人在数据库领域从业超过三十年，积累了丰富的行业经验，曾经编写过三本关于数据库的书：《Oracle优化日记：一个金 牌DBA的故事》《ORACLE RAC日记》《DBA的思想天空—感悟Oracle数据库本质》。最近这些年我一直在微信公众号上写作，分享了大量国产数据库的学习笔记和思考笔记，记录了我对国产数据库的一些理解和思考。被不少朋友称为“日更帝”，很多朋友喜欢读我的文章，也不断鼓励我坚持写下去。
有我们DBAIOps团队长久以来在国产数据库领域积累的经验，有本人的实践积累和写作积累，把这些知识整理后组织编写这么一本国产数据库实践指南的想法就自然而然地产生，并且付诸实施。
本书的内容是我和整个编委会成员多年来从事数据库国产化工作实践经验的总结和提炼，共10章。前两章介绍了国产数据库的发展沿革，以及目前主流国产数据库的技术特点与技术来源；第3章和第4章则为读者解读了数据库国产化的相关策略，并结合读者所属的不同行业特点给出了数据库选型策略，以及简单实用的数据库选型评估模型；第5章和第6章介绍了国产数据库高可用架构的设计方案，以及数据库迁移的技术与方案；第7、8、9章则从数据库运维、监控与优化的角度介绍了国产数据库运维优化的技术要点；最后一章选取了包括中国移动、华润银行、平安保险、国泰君安证券等企业的国产数据库选型典型案例加以分析与介绍。尤其值得一提的是，这一章还特别介绍了一个编者所在团队在数据库智能化运维方面的实践案例，通过介绍“小睿”国产数据库智能助手的技术实现与应用，为广大读者展示了AI在数据库领域应用的潜力。
本书的编写工作获得包括达梦、中电科金仓、神舟通用、南大通用、瀚高、海量、崖山、万里开源、金篆信科、奥星贝斯、平凯星辰、华为高斯、腾讯云、阿里云、移动磐维、酷客数据等众多国产数据库厂商的大力支持，在此表示由衷的感谢！
本书是集“众智”之作，多位业界资深从业者参与了本书的编写。华润数科的王少飞和平安数科的汪洋为本书贡献了他们的实战经验和案例；浙江移动的王晓征更是带着他的整个团队参与了本书的编写；参与本书编写工作的郭岳、郑泽溥、周勋、潘宇虹团队，近些年一直在积极探索Oracle数据库的替代之路，在数据库国产化替代方面更是硕果累累；太保数智研究院的数据库首 席林春，也接受邀请参与了本书的编写，贡献了相当硬核的案例。
本书的一个亮点是国泰君安信息技术部的刘传友和尚留金贡献的其核心系统国产化替代的案例。众所周知，证券行业的业务系统对Oracle的依赖度极高，这个案例通过本书得以分享，对业界的参考意义极大。
有了这些业界“大佬”的加入，再加上我的老搭档储学荣，以及DBAIOps社区D-SMART产品研发核心骨干孙鹏、臧强磊、吴青作为写作团队的班底，最终编写完成了本书。
另外，我也要感谢一下本书的编辑、机械工业出版社的王斌，当我初步萌发了要写一本关于国产数据库的书的想法时，在和他一个多星期的反复交流中，本书的目录大纲逐步成型，我完成这项工作的信心也越来越足，从而下定决心将想法付诸实施，启动了这本书的编写工作。
本书还获得了广大国产数据库厂商的技术人员的鼎力支持，书中所有提及的数据库产品的厂商都为本书的编写付出了心血。我们发出了大量的问卷表格，大家都不辞辛苦，十分认真积极地反馈，并提供了大量的技术资料和案例。在此，表示由衷的谢意！
“实践出真知”，国产数据库刚刚起步，路还很长。数据库产品永远不可能被设计出来，都是在海量的用户应用场景中打磨出来的。对于国产数据库的应用经验也只能从一个个真正的案例中总结出来。一人计短，众人计长，集众之智是技术快速提升的不二法门。希望我们这本书能够为正在数据库国产化替代道路上苦苦探索的朋友提供有益的参考，为国产数据库的发展发挥积极作用！

目录
序
前言
编者感言
案例清单
国产数据库对比清单
第1章  认识国产数据库    1
1.1  国产数据库的发展历程    1
1.1.1  国产数据库的五个发展阶段    1
1.1.2  国产数据库的分类    3
1.1.3  国产数据库面临的机遇与挑战    5
1.2  国产数据库的技术生态    5
1.2.1  独立自研生态    7
1.2.2  MySQL生态    9
1.2.3  PostgreSQL生态    10
1.2.4  openGauss生态    11
1.2.5  其他生态    11
1.3  国产数据库的存储引擎    12
1.3.1  存算架构角度的数据库存储引擎    12
1.3.2  数据库结构和数据组织方式    17
1.3.3  存储引擎的特点分析    22
1.3.4  主流国产数据库的存储引擎对比分析    24
1.4  国产数据库的SQL引擎    27
1.4.1  数据库SQL引擎的主要类别    27
1.4.2  数据库SQL引擎的评价体系    28
1.4.3  主流国产数据库的SQL引擎对比分析    29
第2章  主要的国产数据库产品    36
2.1  集中式交易型数据库    36
2.1.1  达梦数据库    36
2.1.2  中电科金仓KingbaseES    39
2.1.3  神舟通用OSCAR    44
2.1.4  南大通用GBase 8s    45
2.1.5  瀚高HighGo和HighGo EE    46
2.1.6  海量数据Vastbase G100    48
2.1.7  阿里云PolarDB PostgreSQL版（兼容Oracle）    49
2.1.8  万里开源GreatDB    51
2.1.9  崖山YashanDB    53
2.2  分布式交易型数据库    57
2.2.1  平凯星辰TiDB    57
2.2.2  奥星贝斯OceanBase    62
2.2.3  华为GaussDB    65
2.2.4  金篆信科GoldenDB    68
2.2.5  南大通用GBase 8c    70
2.2.6  腾讯云TDSQL    73
2.2.7  阿里云PolarDB-X    78
2.2.8  磐维PanWeiDB    79
2.3  分析型数据库    83
2.3.1  华为GaussDB(DWS)    83
2.3.2  南大通用GBase 8a MPP Cluster    85
2.3.3  酷客数据HashData    87
2.3.4  阿里云ADB及Hologres    88
2.3.5  星环ArgoDB    89
2.4  主流国产关系型数据库对比表    91
2.5  其他国产数据库    92
2.5.1  图数据库    92
2.5.2  向量数据库    94
2.5.3  时序数据库    95
2.5.4  文档数据库    98
2.5.5  键值数据库    98
第3章  国产数据库的安全改造    100
3.1  国产数据库安全改造情况分析    100
3.1.1  各行业数据库安全改造现状    100
3.1.2  国产数据库安全可靠测试    100
3.2  国产数据库安全改造中的双轨制运行机制    104
3.2.1  双轨制运行机制的作用    104
3.2.2  双轨制运行机制的特殊性    105
3.3  国产数据库安全改造进程中需考虑的7个问题    105
3.3.1  兼容性优先还是性能优先    106
3.3.2  数据库平替还是应用重构    106
3.3.3  时间优先还是成本优先    107
3.3.4  全栈替换还是局部替代    107
3.3.5  先难后易还是先易后难    108
3.3.6  核心系统与非核心系统替代的顺序    108
3.3.7  分布式与集中式数据库的选择策略    108
3.4  国产数据库安全改造案例分析    110
3.4.1  某央企数据库国产化替代策略：分类分批，稳步推进    110
3.4.2  某运营商数据库国产化替代策略：先难后易，统筹考虑    113
第4章  国产数据库的选型    115
4.1  国产数据库选型的技术考量    115
4.1.1  数据库功能与应用的适配性    115
4.1.2  数据库的性能    116
4.1.3  数据库的可扩展性    116
4.1.4  数据库的可用性    117
4.1.5  双轨制运行能力    117
4.2  国产数据库选型的非技术考量    117
4.2.1  数据库厂商的规模与发展前景    117
4.2.2  数据库综合使用成本    118
4.2.3  周边生态的考量    119
4.2.4  数据库国产化替代的时间要求    120
4.3  选型测试的工作要点    120
4.4  选型测试工作流程    121
4.4.1  业务系统分析与归类    121
4.4.2  技术选型    123
4.4.3  测试模型设计    125
4.4.4  测试方案初稿编制    128
4.4.5  测试方案会商    129
4.4.6  正式测试    130
4.4.7  结果分析与评价    130
4.4.8  多部门会商    131
4.4.9  试点验证    131
4.5  选型案例    131
4.5.1  选型中的兼容性与性能如何评价    131
4.5.2  选型工作中的综合评估与决策    136
第5章  高可用架构设计    138
5.1  数据库高可用架构设计原则    138
5.1.1  遵循业务连续性国家、行业、企业标准    138
5.1.2  与数据库产品的适配性    142
5.1.3  满足双轨制运行需求    142
5.1.4  成本最 优原则    142
5.2  数据库高可用架构分类    143
5.2.1  主从复制高可用    144
5.2.2  共享存储读写分离集群    146
5.2.3  共享存储多读多写    146
5.2.4  分布式架构    149
5.3  典型的高可用部署方案    150
5.3.1  基础数据库高可用架构    150
5.3.2  同城灾备、异地灾备    151
5.3.3  同城双活    152
5.3.4  两地三中心架构    152
5.3.5  金融机构增强高可用架构（三地五中心）    154
5.4  高可用架构案例    155
5.4.1  某城商行信贷核心系统两地三中心高可用实践    155
5.4.2  某能源行业核心系统双活建设项目    159
5.4.3  某银行新一代核心系统中的两地三中心同城双活方案    163
5.4.4  某城商行核心系统基于OceanBase分布式数据库架构演进    165
第6章  国产数据库迁移    169
6.1  数据库迁移概述    169
6.1.1  同构/异构迁移    169
6.1.2  全量/增量迁移    170
6.1.3  普通系统迁移    170
6.1.4  关键系统迁移    172
6.1.5  迁移工具    172
6.2  数据库迁移流程    175
6.2.1  数据库迁移流程概述    175
6.2.2  数据库迁移工作中的重要工作阶段    177
6.3  数据库迁移工作中的一些常见问题    178
6.3.1  迁移友好性是决定迁移方案的关键要素    178
6.3.2  大型分区表快速迁移的小技巧    179
6.3.3  注意字符集和时区引起的数据错误    179
6.3.4  业务负载回放在数据库迁移中的作用    180
6.3.5  数据库迁移中的数据一致性比对    181
6.3.6  双轨制运行模式对迁移工作的特殊要求    182
6.4  数据库迁移案例    183
6.4.1  预算管理一体化系统从Oracle迁移到KingbaseES    183
6.4.2  关键管理系统双轨制迁移：核心系统从Oracle迁移到达梦    189
6.4.3  从Oracle一体机迁移到YashanDB    192
6.4.4  关键业务系统迁移到TiDB的工程实践    196
第7章  国产数据库运维    205
7.1  国产数据库运维的四项关键工作    205
7.1.1  数据库扩缩容    205
7.1.2  高可用切换    208
7.1.3  数据库备份恢复    212
7.1.4  数据库巡检    216
7.2  国产数据库运维的难点    218
7.3  国产数据库运维的九个关键点    222
7.4  运维案例    225
7.4.1  某运营商核心分布式数据库备份    225
7.4.2  某大型基金公司 OceanBase 系统整体提升实践    226
7.4.3  北京银行基于OceanBase分布式数据库备份恢复最佳实践    231
第8章  国产数据库监控    234
8.1  国产数据库监控的难点    234
8.1.1  可观测性能力不足    234
8.1.2  监控指标准确性不足    235
8.1.3  等待事件不准确    236
8.1.4  运维知识缺乏    237
8.1.5  如何克服国产数据库的监控难点    239
8.2  国产数据库监控指标集设计    239
8.2.1  数据库监控指标设计的基本思路    239
8.2.2  数据库监控指标的表示形式    241
8.2.3  监控指标的计算    244
8.2.4  监控指标的加工    244
8.2.5  监控指标的应用    245
8.2.6  主要国产数据库监控指标集    247
8.3  国产数据库故障预警    270
8.3.1  国产数据库故障预警设计中应注意的主要问题    270
8.3.2  预警基线设计    271
8.3.3  故障模型设计    272
8.3.4  日志采集、分析与告警    275
8.4  数据库监控案例—某能源行业用户监控指标标准建设案例    277
第9章  国产数据库优化    280
9.1  国产数据库优化工作的特点    280
9.1.1  数据模型优化至关重要    280
9.1.2  数据库应用架构优化常用于大型系统优化    280
9.1.3  SQL优化尤其关键    281
9.1.4  与操作系统优化关系密切    281
9.1.5  需要使用大量的第三方平台工具    282
9.2  国产数据库通用诊断方法    282
9.2.1  国产集中式数据库通用诊断方法    282
9.2.2  国产分布式数据库通用诊断方法    284
9.2.3  宏观分析与微观分析    286
9.3  国产数据库的操作系统优化    289
9.3.1  存储系统优化    289
9.3.2  VM参数优化    292
9.3.3  网络优化    293
9.3.4  NUMA优化    294
9.4  国产数据库系统级优化    295
9.4.1  数据库系统级优化的工作目标    295
9.4.2  数据库系统级优化的工作原则    296
9.4.3  国产数据库系统级优化的工作内容    297
9.5  SQL与应用优化    298
9.5.1  SQL优化的工作内容    298
9.5.2  常用索引优化技巧    299
9.5.3  使用Hint优化SQL    308
9.6  国产数据库优化案例    324
9.6.1  某电力企业生产管理系统远程优化（openGauss）    324
9.6.2  某运营商OceanBase数据库性能故障的排除    330
9.6.3  某核心业务系统租户CPU使用率达到上限的问题分析    334
第10章  综合实践案例    340
10.1  浙江移动账务系统国产化替代实践案例    340
10.1.1  项目背景    340
10.1.2  浙江移动自主可控历程    340
10.1.3  账务中心自主可控迁移实践    347
10.1.4  高负载高并发环境中的优化实战    356
10.1.5  项目收益    359
10.2  华润银行积分平台“一键通”信创迁移案例    359
10.2.1  一键通迁移平台概述    359
10.2.2  华润银行积分平台迁移项目概述    363
10.2.3  项目迁移实施    366
10.3  某保险公司核心客户平台国产化多活之路    371
10.3.1  项目背景    371
10.3.2  数据库选型评估    372
10.3.3  数据库迁移    373
10.3.4  运维实践    376
10.4  中国移动结算系统磐维数据库国产化替代案例    378
10.4.1  项目概述    378
10.4.2  浙江结算中心数据库国产化替代项目介绍    379
10.4.3  广东结算中心数据库国产化替代项目介绍    384
10.4.4  案例总结    386
10.5  国泰君安证券国产数据库迁移实践案例    386
10.5.1  国泰君安国产数据库选型概况    386
10.5.2  国泰君安OceanBase使用情况    387
10.5.3  迁移路径和迁移经验    389
10.5.4  集中清算系统迁移实践    391
10.5.5  性能优化和问题分析案例    395
10.5.6  应用经验和项目收益    399
10.6  国产数据库智能运维实践案例    399
10.6.1  智能运维能解决什么问题    400
10.6.2  小睿国产数据库智能助手功能特点    400
10.6.3  实现国产数据库智能运维的思考