第1章 数据库关键挑战
1.1 数据库发展历程
1.1.1 数据库分类
1.1.2 数据库架构
1.2 数据库最新演进趋势
1.2.1 云原生数据库
1.2.2 AI-Native智能数据库
1.2.3 全密态数据库
1.2.4 端边云数据管理
1.2.5 其他技术研究热点
第2章 GaussDB架构介绍
2.1 GaussDB关键架构目标
2.2 GaussDB分布式架构
2.2.1 GaussDB分布式关键技术架构
2.2.2 关键模块2层逻辑模型
2.3 GaussDB分布式关键技术方案
2.3.1 数据计算路由层(Coordinator)关键技术方案
2.3.2 数据持久化存取层(Datanode)关键技术方案
2.3.3 全局事务管理层(GTM)关键技术方案
2.3.4 集群管理层(CM)关键技术方案
2.3.5 集群管理仲裁关键技术
2.3.6 故障检查与异常发现
2.3.7 基于Paxos协议复制实现DN副本自仲裁
2.4 OM运维管理关键技术方案
2.5 安全关键技术方案
2.5.1 安全关键技术一:密态等值查询
2.5.2 安全关键技术二:防篡改数据库
2.6 智能关键技术方案
2.6.1 智能关键技术一:自治运维系统
2.6.2 智能关键技术二:库内AI引擎
2.6.3 智能关键技术三:智能优化器
2.7 驱动接口关键技术方案
2.8 GaussDB云原生架构
2.8.1 云原生关键技术架构
2.8.2 云原生核心技术
第3章 数据库高性能关键技术
3.1 数据库性能优化概述
3.1.1 数据库的软件栈视角
3.1.2 从系统性工程视角理解性能优化
3.1.3 性能工程复杂并充满挑战
3.1.4 性能相关的术语
3.2 查询处理技术
3.2.1 查询处理流程
3.2.2 查询解析器
3.2.3 查询优化器
3.2.4 查询执行器
3.2.5 分布式执行
3.2.6 存储引擎数据读取
3.3 高性能关键技术
3.3.1 查询重写RBO
3.3.2 物理优化CBO
3.3.3 分布式优化器
3.3.4 分布式执行框架
3.3.5 轻量全局事务管理GTM-lite
3.3.6 UStore存储引擎
3.3.7 计划缓存技术
3.3.8 数据分区与分区剪枝
3.3.9 列式存储和向量化引擎
3.3.10 SMP并行执行
3.3.11 LLVM动态查询编译执行
3.3.12 SQL-BY-PASS执行优化
3.3.13 线程池化
3.3.14 多核处理器优化
3.3.15 日志无锁刷新与多级流水
3.4 高斯数据库性能优化总结
第4章 数据库高可用关键技术
4.1 分布式一致性框架
4.1.1 共识框架概述
4.1.2 DCF功能架构
4.1.3 DCF选举流程及优化
4.1.4 DCF日志复制流程
4.1.5 DCF优先级选主和策略化多数派
4.1.6 DCF性能设计
4.1.7 DCF日志与XLog日志合一设计
4.1.8 DCF异常场景处理
4.2 双集群容灾
4.3 逻辑复制
4.3.1 基本概念
4.3.2 逻辑复制槽
4.3.3 逻辑解码
4.3.4 备机解码
4.3.5 并行解码
4.3.6 一致性解码
4.3.7 分布式解码
4.4 两地三中心跨Region容灾
4.4.1 两地三中心容灾概述
4.4.2 异地容灾部署示例
4.4.3 两地三中心容灾方案设计
4.4.4 容灾搭建
第5章 数据库高弹性关键技术
5.1 数据库弹性扩容
5.2 Hashbucket扩容
5.2.1 Hashbucket概念
5.2.2 段页式存储技术
5.2.3 基于段页式组织的Hashbucket技术
5.2.4 Hashbucket场景的超长字段实现
5.2.5 CBI索引加速
5.2.6 支持Hashbucket的优化器
5.2.7 支持Hashbucket的执行器
5.2.8 Hashbucket扩容流程
5.2.9 扩容中日志多流
5.2.10 扩容中事务处理
5.2.11 扩容中bucket锁
5.3 扩容实践
5.3.1 扩容步骤
5.3.2 扩容期间的TPC-C测试
5.3.3 扩容期间的sysbench测试
第6章 数据库高智能关键技术
6.1 数据库智能化发展史
6.2 自治运维技术
6.2.1 智能监测
6.2.2 趋势预测
6.2.3 异常检测
6.2.4 日志分析
6.2.5 慢SQL发现
6.2.6 慢SQL诊断
6.2.7 集群故障根因诊断
6.2.8 索引推荐
6.2.9 分布键推荐
6.2.10 参数调优
6.3 库内AI引擎
6.3.1 机器学习算法的训练和推理
6.3.2 模型管理
6.3.3 数据集管理
6.4 智能优化器
6.4.1 智能基数估计
6.4.2 智能计划管理
6.4.3 反馈自适应优化器
第7章 数据库高安全关键技术
7.1 安全整体架构
7.2 安全接入
7.2.1 身份标识
7.2.2 口令存储
7.2.3 认证机制
7.2.4 Kerberos安全认证
7.2.5 国密SSL加密传输
7.3 角色与权限
7.3.1 对象权限管理
7.3.2 角色管理
7.3.3 系统权限管理
7.3.4 系统权限检查
7.3.5 基于标签的强制访问控制
7.4 审计追踪
7.4.1 传统审计
7.4.2 统一审计
7.5 数据保护
7.5.1 动态数据脱敏
7.5.2 透明数据加密
7.6 全密态数据库
7.6.1 软硬融合全密态
7.6.2 端侧加密引擎
7.6.3 端侧密钥管理
7.6.4 轻量化语法解析
7.7 防篡改数据库
7.7.1 防篡改用户表结构
7.7.2 用户历史表
7.7.3 全局区块表结构
7.7.4 篡改校验算法
第8章 GaussDB易迁移关键技术
8.1 数据库迁移概述
8.2 数据库迁移预评估阶段
8.2.1 源数据库与新数据库的主要差异评估
8.2.2 新数据库兼容性评估
8.2.3 迁移必要性评估
8.3 规划设计
8.3.1 业务与数据库适配规划设计
8.3.2 迁移步骤与迁移计划的规划设计
8.4 业务改造与测试
8.4.1 业务改造过程
8.4.2 业务测试过程
8.5 数据迁移
8.5.1 数据迁移设计
8.5.2 数据迁移执行过程
8.6 上线割接
8.6.1 割接演练
8.6.2 正式割接
8.7 经验总结
第9章 GaussDB性能调优指南
9.1 单SQL性能调优
9.1.1 表结构设计
9.1.2 索引设计
9.1.3 SQL设计
9.1.4 执行计划
9.1.5 硬件资源
9.2 并发场景性能调优
9.2.1 业务侧瓶颈
9.2.2 不优的SQL
9.2.3 并发时的锁等待
9.2.4 硬件资源满
9.2.5 数据库参数配置
9.3 性能调优案例
9.3.1 案例1:避免对条件列做处理(防止列的隐式转换、函数处理)
9.3.2 案例2:选择合理的组合索引列顺序
9.3.3 案例3:选择合适的分布列
9.3.4 案例4:增加join列非空条件
9.3.5 案例5:合理使用分区表
9.3.6 案例6:改写SQL消除子查询
9.3.7 案例7:调整查询重写GUC参数rewrite_rule
9.3.8 案例8:使用DN Gather减少计划中的Stream节点
9.3.9 案例9:通过监控平台进行慢SQL诊断
9.3.10 案例10:通过等待事件分析瓶颈
9.3.11 案例11:避免长事务影响性能
9.3.12 案例12:通过归一化视图分析硬解析耗时场景
9.3.13 案例13:业务并发异常时段CPU冲高问题分析
9.3.14 案例14:通过分析计划调整内存参数避免临时文件落盘
9.3.15 案例15:调整表的Vacuum参数优化查询性能
第10章 高斯数据库行业实践
10.1 金融行业
10.1.1 金融行业数据库现状
10.1.2 金融案例:邮政储蓄银行核心系统国产化转型实践
10.1.3 金融案例:华夏银行借记卡系统国产化改造实践
10.1.4 金融案例:农业发展银行信贷系统转型建设实践
10.1.5 金融案例:NY银行GaussDB国产化转型实践
10.2 政府行业
10.2.1 政府行业数据库现状
10.2.2 政府案例:陕西财政云系统国产数字化转型建设
10.2.3 政府案例:贵州人社就业系统国产化转型实践
10.3 制造行业
10.3.1 制造行业数据库现状
10.3.2 制造业案例:华为MetaERP数字化转型实践
10.3.3 制造业案例:京东云openGauss实现混合多云场景元数据存储安全创新
10.3.4 制造业案例:openGauss支撑比亚迪制造核心系统升级,性能整体提升50
10.4 卫生健康行业
10.4.1 卫生健康行业数据库现状
10.4.2 卫生健康案例:贵州省医学检查检验结果共享交换平台转型实践
10.4.3 openGauss助力南京市卫生信息中心医疗行业信息化升级
10.5 电信行业
10.5.1 电信行业数据库现状
10.5.2 电信案例:中国移动在线基于openGauss的数据库自主创新替代实践
10.5.3 电信案例:openGauss助力中国联通实现运营商资源可视化系统升级改造
10.5.4 电信案例:openGauss助力浙江移动营销系统执行中心国产化转型实践
10.6 公路水运行业
10.6.1 公路水运行业数据库现状
10.6.2 公路水运案例:山东烟台港数字化管控平台建设实践
10.6.3 公路水运案例:某交建保障数据安全,构建专属数据支撑底座
10.7 能源行业
10.7.1 能源行业数据库现状
10.7.2 能源业案例:国网陕西用户用电信息采集系统升级改造
10.8 水利行业
10.8.1 水利行业数据库现状
10.8.2 水利案例:徐州智慧水利系统数字化转型实践
10.9 广电行业
10.9.1 广电行业数据库现状
10.9.2 广电案例:央广网国产数据库平滑迁移,综合性能提升
10.10 教育行业
10.10.1 教育行业数据库现状
10.10.2 教育案例:学生发展中心学籍学历信息管理平台去验证实践
10.11 其他行业
10.11.1 民航行业数据库现状
10.11.2 邮政行业数据库现状
10.11.3 铁路行业数据库现状