Миграция БД больше 10Тб с DB2 на PostgreSQL без простоя БД / Дмитрий Погибенко (НИИ Восход)

РИТ++ 2017, Web-scale IT Сonference

Тезисы:
http://webscaleconf.ru/2017/abstracts/2833.html

Вводные:
1) Необходимо переносить данные с минимальным простоем БД.
2) Необходимо произвести трансформацию данных из-за отличий между DB2 и PG и перемещением BLOB’ов в Ceph.
3) Перенос должен быть произведен за приемлемое время.
4) Нужно учесть зависимости между таблицами.

Технологии:
1) Отслеживание изменений с помощью триггеров.
2) Анализ зависимостей с помощью доработанного SchemaSpy.
3) Перенос с помощью Spring Batch.
4) Разбиение на партиции (два подхода: деление диапазона id между min и max на равные части; деление на диапазоны с равным числом строк).