线上数据库迁移:先扩展后收缩,回滚要有边界
直接回答: 改线上表结构,危险的往往不是 SQL 本身,而是新旧两版代码会同时跑一段时间。我们按扩展-收缩来做:先只加不删,让新旧代码都能工作;分批回填历史数据;切换读取;确认旧结构没人再用,最后才删除。每一步单独发布,删除之前随时可以回滚,删除之后只能向前修。
1.0 为什么不能一步到位
滚动发布期间,旧版本实例还在处理请求;移动端和外部系统可能还在调旧接口。一条“重命名列”的迁移,会让还没下线的旧代码立刻报错。大表上的某些 DDL 还会长时间持有锁,把正常请求堵在后面。
2.0 五个步骤
| 步骤 | 做什么 | 能否回滚 |
|---|---|---|
| 1 扩展 | 加新列或新表,允许为空或带默认值;旧结构不动 | 能,删掉新列即可 |
| 2 双写 | 新代码同时写新旧两处,读取仍读旧结构 | 能,撤回代码 |
| 3 回填 | 分批把历史数据写进新结构,可重入、可暂停 | 能 |
| 4 切读 | 读取改为新结构,观察一段时间;旧结构仍在写 | 能,切回旧结构 |
| 5 收缩 | 停写旧结构,之后删除 | 删除后不能 |
第 5 步之前要单独停一下,确认没有任何代码、报表或外部同步还在读旧列。我们用全仓搜索加数据库访问日志来确认,不凭记忆。
3.0 回填
- 按主键范围分批,每批一个短事务,批与批之间留间隔,避免长事务和主从复制延迟。
- 回填脚本可重入:中断后从上次的位置继续,重复执行结果不变。
- 记录进度和失败的行,失败的单独处理,不让一行坏数据卡住整个回填。
- 回填期间的新写入已经由双写覆盖,回填只负责历史数据。
4.0 会锁表的操作
不同数据库、不同版本差别很大,动手前先查官方文档。几个常见情况:
- PostgreSQL 建索引用 CREATE INDEX CONCURRENTLY,不阻塞写入;它不能在事务块里执行,失败后会留下一个无效索引,需要清理后重建。
- 给已有数据的表加非空列,先加允许为空的列,回填之后再加约束。
- MySQL 的在线 DDL 支持哪些操作、用哪种算法,按所用版本查文档;大表可以考虑 gh-ost 这类工具。
- 给迁移会话设置锁等待超时。拿不到锁就失败、稍后重试,而不是排在锁队列里把后面的请求全部堵住。
5.0 迁移进 CI 和发布流程
- 迁移文件按顺序编号进版本库。已经发布过的迁移不再修改,改错了用一个新的迁移修。
- CI 里跑两条路径:从空库跑全部迁移;从上一个发布版本的库跑新增的迁移。两条路径得到的结构必须一致。
- 发布前在生产数据的脱敏副本上跑一遍,记下耗时,决定是否需要放在低峰期。
- 每次迁移前都有可用的备份,而且恢复演练过。没恢复过的备份不算备份。
现有系统要做大的结构调整,或者迁移老出问题,见 Web、云端与设备管理。也可以直接聊聊项目。
参考资料
- Martin Fowler,Parallel Change:https://martinfowler.com/bliki/ParallelChange.html
- PostgreSQL,CREATE INDEX:https://www.postgresql.org/docs/current/sql-createindex.html
- gh-ost:https://github.com/github/gh-ost
常见问题
小项目也要分这么多步吗?
如果能接受一个短暂的停机窗口,也没有还在用旧接口的客户端,直接停机改表更简单,也没什么不对。扩展-收缩是给不能停机、或者新旧代码必然同时在跑的情况准备的。
双写会不会写出不一致的数据?
会有这个风险。所以切换读取之前要对新旧数据做抽样比对,回填完成后再对关键字段全量比对一次。能在同一个事务里完成双写的,尽量放在同一个事务里。
ORM 自动生成的迁移能直接用吗?
当草稿用没问题,发布前要有人看一遍生成的 SQL,尤其是重命名、改类型和删除。自动工具常把重命名生成成“删列再加列”,数据就这样没了。
迁移跑到一半失败了怎么办?
第 5 步之前的失败,按步骤撤回上一次发布即可。已经删掉的结构只能从备份恢复,或者向前修。所以删除放在最后、单独发布,前面留够观察时间。