DTCC2021 内容提要

[[TOC]]

数据库内核

优化器

2-赵衎衎-工业化SQL优化器技术蓝图1015
- 理想的SQL优化器应该具备的功能
- 传统优化器用了哪些算法来选择执行路径

内存管理

[张道山-GBase 8s 在金融行业的技术实践](专场7-金融行业数据库技术实践（下）（PPT）/张道山-GBase 8s 在金融行业的技术实践.pdf)

事务日志WAL

吕海波-PG内核源码增进二三事
- 优化PostgreSQL Partial Writes(页裂)体系大幅提升整体性能
- On the impact of full-page writes
- 关闭全页写，可能会造成数据丢失(系统异常宕机之后)，但会有30%的性能提升

数据库使用实践

PostgreSQL

母延年-PostgreSQL在OLAP场景实战演练
- 扩展实现了外部存储，利用lucene构建倒排索引，实现全字段检索
[赵飞祥 -纲举目张-金融业务PostgreSQL实践与体系规范——定稿](专场17-数据架构设计与实践（下）（PPT）/赵飞祥 -纲举目张-金融业务PostgreSQL实践与体系规范——定稿.pdf)
- 必要的时候可以学习一下 PG 使用规范
  - 考虑全球化需求,所有字符存储和表示,均以UTF-8编码。所有数据内与时间相关的数据,时区均为UTC时间,最好使用int或bigint存储秒或毫秒。业务程序可以根据需求,进行前端显示的时区转换。
  - 多个Table中相同的列,或者进行Join的列,需要保证列名一致,数据类型一致
  - 建议所以可以添加comment的地方均添加comment,且以英文描述
  - 有定时海量数据需要归档和删除的表,应考虑表按时间列分区,归档后清理时,不要使用delete,而是用drop或truncate清理对应表
  - 对于频繁使用的大表(大小超过10GB,或者记录数超过1000万)应考虑进行分区,保证单表比较小,可以提升查询效率、更新的效率、创建索引的效率、备份恢复的效率等。
  - 在count(distinct col)中,只计算非NULL列的不重复结果,NULL列不会被计算。
  - 大批量删除和更新数据时,不要再一个事物中完成,建议分批次操作,避免一次产生较多日志,对系统资源和相关系统产生不好的影响
  - 冷热数据要进行分离,尽量保证线上实例只存在有限的经常查询的数据
  - 应尽量避免在 where子句中使用 != 或 <> 操作符,这种不等于会让PG放弃索引,使用全表扫描。
  - 对于无用的索引要及时删除,无用的索引不仅会导致更新数据的代价变大,还可能产生错误的执行计划。

Greenplum及衍生数据库

陶征霖-OushuDB性能调优实战
- 基于 GP 的商业数据库，最后提到了性能分析的若干手法
[翁岩青- X 时序数据库，从无”关”到有”关”](专场1-数据库内核技术（PPT）/翁岩青- X 时序数据库，从无”关”到有”关”.pdf)
- 基于 GP 的超融合数据库，同时支持时序数据，以及关系模型写入
- 保证高速写入是依赖 MatrixGate 组件，数据存储则是扩展实现了一个行列混存引擎MARS
- 支持数据多态存储，冷热数据迁移是依赖内部提供的自动分区管理功能
[姚延栋_时序数据库终局探讨1020](专场19- 时序数据库（PPT）/姚延栋_时序数据库终局探讨1020.pdf)
- B-Tree vs LSM

Redis Cluster

代晓磊-360分布式数据库选型与最佳实践2
- 虽然还穿插了TiDB的内容，但Redis Cluster最佳实践可以简单看一下，运维工具用了哪些，不过看着比较陈旧
葛辉-缓存平台在美菜网的实践v2
- Redis使用过程中缺乏治理能力,抗风险能力差
- Redis调整无法对研发透明,机房搬迁等投入人力成本大
郭磊涛-爱奇艺高性能KV数据库研发与应用

Elasticsearch

武云峰-Elasticsearch基于对象存储的冷热分离架构以及NLP特性增强实践
- Elasticsearch索引冷热分离存储的实践，用对象存储让存储成本上降了10倍
- 百度云ES提供的NLP中文分词

Prometheus

[冯若航-Prometheus数据模型与应用](专场19- 时序数据库（PPT）/冯若航-Prometheus数据模型与应用.pdf)
- PromQL入门进阶指南
Prometheus 驱动 K8S 资源使用率优化，自动扩缩容
- https://github.com/Telefonica/prometheus-kafka-adapter 源头项目

ClickHouse

陈峰-滴普基于ClickHouse的实时分析引擎应用实践-脱敏版
- 优势是列式，压缩；劣势也比较明显: 不支持事务, 不适合点查, 仅能批量删除或修改数据
- ClickHouse 冷数据存储对接了 juiceFS，而 juiceFS 可以支持 S3 的后端

Apache IoTDB

[黄向东-工业物联网时序数据库Apache IoTDB新特性与应用实践](专场19- 时序数据库（PPT）/黄向东-工业物联网时序数据库Apache IoTDB新特性与应用实践.pdf)

数据库运维管理

使用规范

刘晨-防微杜渐，浅谈规范化设计开发对数据库性能的影响

数据库部署

向安杰-基于kubernetes的云数据库建设实践1017
- MySQL Operator 建设实践
  - Kubernetes 是一个可移植的、可扩展的开源平台,用于管理容器化的工作负载和服务,拥有庞大且快速增长的生态系统。基于k8s构建服务,极大的方便我们的运维、开发工作。
  - 针对 MySQL 这种有状态、有角色的服务,我们定义了 MySQL 自己的 CRD,并提供配套的 Controller,对原生的k8s资源进行扩展。

数据库监控

金学东-金仓数据库云服务解决方案-v1.6

数据库优化

叶桦-关系型数据库性能优化浅谈
数据库优化思维导图
- 个人总结的，欢迎点赞

数据库代理

[张亮-Apache ShardingSphere 在 Database Plus 的蓝海探索](专场6-数据架构设计与实践（上）（PPT）/张亮-Apache ShardingSphere 在 Database Plus 的蓝海探索.pdf)
- 中间件方式会减少已上线业务的额外开发成本，更通用，更灵活
- 依赖语法解析来实现，避免在中间件中配置大量的正则规则

混合云场景

赵闪-斗鱼数据库混合云架构实践
- 如何实现数据库平滑迁移
- 混合云场景下的负载均衡和故障切换
- 云原生场景下的数据库运维挑战

数据库平台

冯光谱-为研发体系赋能的数据库平台建设实践-V6
- 大规模开发,只是规范,落不了地!
  - 架构标准化，借助 Proxy
  - 规范化流程化
  - SQL规范固化
  - 元数据建设
- 让研发自己动手,丰衣足食
  - 服务自助化 - SQL工单
  - 服务自助化 - 慢SQL
  - 服务自助化 – binlog统计探针

稳定性治理

王海华-货拉拉大数据平台的稳定性治理实践
- 稳定性的建设是风险控制能力建设,而非靠运气
- 稳定性的提升依靠事实和数据,而非靠感觉
- 稳定性的目标实现靠端到端体系化建设,而非靠单点突破
[陈阳 - B 站数据库服务治理之路](专场20-数据库安全与智能运维（下）（PPT）/陈阳 - B 站数据库服务治理之路.pdf)