稼働中のデータベースマイグレーション:拡張してから縮小し、ロールバックの境界を明確にする
要点: 本番のスキーマを変えるとき、危険なのはSQLそのものより、新旧2つの版のコードが並んで動く期間です。私たちは拡張・縮小(expand-contract)で進めます。削除せずに追加だけを行い、新旧どちらの版も動くようにする。過去のデータを分割してバックフィルする。読み取りを切り替える。旧構造を誰も使わなくなったことを確かめてから削除する。各手順は個別のリリースです。削除するまではいつでもロールバックでき、削除後は前進修正しかできません。
1.0 なぜ一度に済ませないのか
ローリングデプロイの間、旧版のインスタンスはまだリクエストを処理しています。モバイルアプリや外部システムが旧インターフェースを呼び続けていることもあります。列名を変えるマイグレーションは、まだ退役していない旧コードを即座に壊します。大きなテーブルへのDDLの中には長時間ロックを保持し、通常のリクエストを後ろに詰まらせるものもあります。
2.0 5つの手順
| 手順 | 内容 | 戻せるか |
|---|---|---|
| 1 拡張 | 新しい列やテーブルを、NULL許可または既定値付きで追加する。旧構造には触れない | 戻せる。新しい列を削除するだけ |
| 2 二重書き込み | 新しいコードが新旧両方に書く。読み取りは引き続き旧構造から | 戻せる。コードを戻す |
| 3 バックフィル | 過去のデータを分割して新構造に書き込む。再実行も一時停止もできる | 戻せる |
| 4 読み取り切替 | 読み取りを新構造に切り替え、しばらく観察する。旧構造への書き込みは続ける | 戻せる。切り戻す |
| 5 縮小 | 旧構造への書き込みを止め、その後削除する | 削除後は戻せない |
手順5の前でいったん止まり、旧列をまだ読んでいるコード、レポート、外部同期がないことを確認します。私たちは記憶ではなく、全リポジトリの検索とデータベースのアクセスログで確かめます。
3.0 バックフィル
- 主キーの範囲で分割し、1バッチを短いトランザクションにして、バッチ間に間隔を空けます。長いトランザクションとレプリケーション遅延を避けるためです。
- バックフィルは再入可能にします。中断しても止まった位置から再開でき、2回実行しても結果は同じです。
- 進捗と失敗した行を記録し、失敗分は別に処理します。1行の不正データでバックフィル全体を止めないようにします。
- バックフィル中の新規書き込みは二重書き込みでカバーされているので、バックフィルは過去分だけを扱います。
4.0 テーブルをロックする操作
データベースや版によって大きく異なるので、着手前に公式ドキュメントを確認します。よくあるケースを挙げます。
- PostgreSQLでは CREATE INDEX CONCURRENTLY でインデックスを作り、書き込みを止めないようにします。トランザクションブロック内では実行できず、失敗すると無効なインデックスが残るので、削除して作り直します。
- データが入っているテーブルにNOT NULL列を追加するときは、まずNULL許可で追加し、バックフィルしてから制約を付けます。
- MySQLでは、使っている版のオンラインDDLがどの操作をどのアルゴリズムでサポートするかを確認します。大きなテーブルにはgh-ostのようなツールも検討します。
- マイグレーションのセッションにロック待ちタイムアウトを設定します。ロックを取れなければ失敗して後で再試行させ、ロック待ちの列に並んで後続のリクエストをすべて止めることがないようにします。
5.0 マイグレーションをCIとリリース手順に組み込む
- マイグレーションファイルは順番に番号を振ってリポジトリに置きます。リリース済みのマイグレーションは書き換えず、誤りは新しいマイグレーションで直します。
- CIでは2つの経路を実行します。空のデータベースに全マイグレーションを適用する経路と、前回リリース時点のデータベースに新しいマイグレーションを適用する経路です。両者のスキーマは一致しなければなりません。
- リリース前に本番データのマスキング済みコピーで実行し、所要時間を記録して、閑散時間帯に回すべきかを判断します。
- 毎回のマイグレーションの前に、復元を確認済みのバックアップを用意します。一度も復元したことのないバックアップはバックアップとは呼べません。
既存システムで大きなスキーマ変更が必要な場合や、マイグレーションがたびたび問題を起こす場合は、Web・クラウド・デバイス管理をご覧いただくか、プロジェクトのご相談からご連絡ください。
参考資料
- Martin Fowler、Parallel Change:https://martinfowler.com/bliki/ParallelChange.html
- PostgreSQL、CREATE INDEX:https://www.postgresql.org/docs/current/sql-createindex.html
- gh-ost:https://github.com/github/gh-ost
よくあるご質問
小さなプロジェクトでもここまで手順を分ける必要がありますか?
短いメンテナンス時間を許容でき、旧インターフェースに依存するクライアントもないなら、サービスを止めてテーブルを変えるほうが簡単で、それで問題ありません。拡張・縮小は、止められないシステムや、新旧のコードが必ず同時に動くシステムのための方法です。
二重書き込みでデータが食い違うことはありませんか?
そのリスクはあります。読み取りを切り替える前に新旧のデータを抜き取りで比較し、バックフィル完了後に主要な項目をもう一度全件比較します。2つの書き込みを同じトランザクションに入れられるなら、そうします。
ORMが自動生成したマイグレーションはそのまま使えますか?
下書きとしては使えますが、リリース前に生成されたSQLを人が読むべきです。特に名前の変更、型の変更、削除は要注意です。ツールは名前の変更を「列を削除して追加」として生成しがちで、それでデータが消えます。
マイグレーションが途中で失敗したら?
手順5より前なら、直前のリリースを戻せば元に戻ります。すでに削除した構造はバックアップから復元するか、前進修正するしかありません。だから削除は最後に、単独のリリースとして、十分な観察期間のあとで行います。