Migrasi Skema Tanpa Downtime: Satu ALTER TABLE yang Mengunci ERP 11 Jam dan Menelan Rp 2,32 Miliar

Kolom satuan lama dipecah saat jendela pemeliharaan 6 jam. Hasilnya ERP beku 11 jam dan rugi Rp 2,32 miliar. Bedah expand-contract, backfill, dan rollback.

Sabtu malam pukul 22.00, 46 staf administrasi penjualan di kantor pusat sebuah distributor barang konsumsi masih duduk di depan layar. Mereka menunggu jendela pemeliharaan enam jam yang sudah dijadwalkan tiga minggu sebelumnya. ERP perusahaan akan memecah satu kolom di tabel detail pesanan. Tidak ada fitur baru, tidak ada perubahan tampilan. Hanya kolom satuan yang sebelas tahun menyimpan nilai seperti “krt”, “pcs”, “dus”, dan “m2” yang akan diganti dua kolom terstruktur supaya harga dan stok bisa dihitung tanpa terjemahan manual.

Rencananya rapi. Aplikasi masuk mode pemeliharaan pukul 22.00, skrip migrasi berjalan dua jam, verifikasi satu jam, dan pukul 04.00 semua kembali normal. Pesanan untuk pengiriman Senin tetap bisa diinput malam itu, karena 41% pesanan awal pekan memang masuk pada rentang Sabtu malam sampai Minggu pagi. Tim sudah tiga kali mencoba skrip yang sama di staging. Semuanya hijau.

Layanan baru dibuka Minggu pukul 09.05. Sebelas jam lima menit sejak jendela dimulai, lima jam lebih lama dari rencana. Nilai pesanan yang gagal masuk Rp 7,4 miliar. Sebagian besar berhasil diselamatkan lewat input manual selama empat hari, tetapi 22% pelanggan sudah memesan ke distributor lain. Total kerugian yang bisa dihitung: Rp 2,32 miliar, dan itu baru yang tercatat. Penyebabnya bukan skrip yang salah tulis. Skrip itu berjalan persis seperti di staging.

Uji di staging yang menjawab pertanyaan berbeda

Di staging, tabel pesanan_detail berisi 2,1 juta baris. Perintah ALTER TABLE selesai dalam 2,4 detik, dan backfill seluruh baris makan 38 detik. Angka itu benar. Yang keliru adalah anggapan bahwa angka tersebut berlaku di produksi, tempat tabel yang sama berisi 38,7 juta baris dengan 71% di antaranya bersatuan “pcs” sehingga indeks pada kolom itu hampir tidak menyaring apa pun.

Pada volume produksi, perintah itu meminta kunci pada pukul 22.00 dan baru mendapatkannya pukul 22.06, setelah menunggu di belakang satu laporan BI yang sudah berjalan sejak 21.58. Setelah kunci dipegang, penulisan ulang tabel berjalan 41 menit. Selama rentang itu tidak ada satu pun query yang boleh menyentuh tabel tersebut, termasuk query baca. Di PostgreSQL, permintaan kunci eksklusif menunggu di antrean, dan semua sesi yang datang setelahnya ikut menunggu di belakangnya. Efeknya seperti jalan tol dengan satu gerbang: satu truk berhenti, seluruh lajur berhenti.

Ada satu detail yang membuat kerugiannya membesar. Tim hanya mengaktifkan mode pemeliharaan pada antarmuka web ERP. Integrasi EDI dari dua principal dan aplikasi pemindai gudang tetap berjalan, karena dianggap “hanya membaca”. Pukul 22.14 pemindai mulai timeout. Pukul 22.18 sistem principal mengirim ulang pesanan yang gagal secara berkala. Pukul 22.31 kolam koneksi 120 sesi penuh. Antara 22.31 dan 23.10, 3.140 permintaan ditolak di lapisan aplikasi. Tidak satu pun dari permintaan itu karena kode yang salah.

Dan 41 menit itu baru babak pertama. Empat indeks harus dibangun ulang di atas 38,7 juta baris, lalu backfill berjalan dengan laju yang dibatasi agar replika tidak tertinggal. Pukul 05.27 reconciler menemukan 11.400 baris yang kode satuannya tidak ada di tabel pemetaan, karena selama sebelas tahun ada staf yang mengetik “karton”, “KRT”, dan “krt.” untuk barang yang sama. Pembersihan itu memakan 1 jam 38 menit, dan verifikasi ulang menutup sisa pagi.

JamTahapDurasi
22.00-22.06Menunggu kunci di belakang laporan BI6 menit
22.06-22.47Penulisan ulang tabel41 menit
22.47-01.35Bangun ulang empat indeks2 jam 48 menit
01.35-05.27Backfill 38,7 juta baris3 jam 52 menit
05.27-07.05Pembersihan 11.400 kode satuan tidak terpetakan1 jam 38 menit
07.05-08.51Verifikasi ulang dan uji fungsional1 jam 46 menit
08.51-09.05Buka bertahap dan stabilisasi14 menit

Jumlahnya 11 jam 5 menit. Tidak satu pun baris di tabel itu berisi kesalahan skrip.

Expand-contract: memindahkan dapur tanpa menutup restoran

Pola yang saya pakai untuk kasus seperti ini bukan migrasi besar dalam satu malam, melainkan empat fase yang masing-masing bisa dibatalkan sendiri. Prinsipnya sederhana: tidak pernah ada satu momen ketika skema lama dan baru tidak bisa hidup berdampingan.

FASE 1  Perluas           FASE 2  Isi                FASE 3  Pindah baca       FASE 4  Susut
tambah kolom nullable     backfill per batch         baca dari kolom baru     hapus kolom lama
dual write aktif          rekonsiliasi harian        lama tetap ditulis       arsip 10 tahun
      |                        |                          |                        |
      +------ rilis 1 ---------+---- rilis 2 sampai n ----+--- observasi 14 hari --+

Fase 1: perluas tanpa menyentuh yang lama

Kolom baru ditambahkan sebagai nullable, tanpa nilai default yang dihitung, sehingga PostgreSQL hanya mengubah katalog dan selesai dalam hitungan milidetik. Aplikasi versi baru menulis ke kolom lama dan kolom baru dalam satu transaksi yang sama, sementara versi lama tetap membaca kolom lama. Ini penting karena rilis aplikasi jarang benar-benar serentak: selalu ada pod lama yang belum mati, worker yang masih memakai image sebelumnya, dan laporan internal yang dibuka dari folder jaringan.

Dual write sinkron terasa lebih mahal, tetapi menghindarkan Anda dari kehilangan data yang tidak bisa direkonstruksi. Dual write asinkron lewat antrean terdengar lebih ringan, sampai antrean itu menumpuk pada jam sibuk dan baris baru lahir tanpa pasangan.

Fase 2: isi data lama secara bertahap

Backfill dijalankan per batch 5.000 baris, dengan jeda 200 milidetik, dan setiap batch punya batas waktu sendiri. Query-nya idempoten:

UPDATE pesanan_detail
SET satuan_id = peta.satuan_id,
    faktor_konversi = peta.faktor
FROM peta_satuan peta
WHERE pesanan_detail.satuan = peta.kode_lama
  AND pesanan_detail.satuan_id IS NULL
  AND pesanan_detail.id IN (
    SELECT id FROM pesanan_detail
    WHERE satuan_id IS NULL
    ORDER BY id
    LIMIT 5000
  );

Tiga hal yang saya pantau selama fase ini: jeda replika, ukuran WAL, dan sisa ruang disk. Kalau replika tertinggal lebih dari 30 detik, proses berhenti sendiri dan menunggu. Backfill yang memaksa replika tertinggal dua jam akan membuat laporan pagi memakai data kemarin, dan itu masalah baru yang muncul di ruangan yang berbeda dari tempat migrasi dikerjakan.

Satu catatan soal kolom yang menyimpan data pribadi. Tabel detail pesanan biasanya punya nama penerima, nomor telepon, dan catatan kurir. Menyalin seluruh kolom itu ke tabel baru tanpa berpikir menciptakan salinan kedua data pribadi yang tidak tercatat di daftar sistem pemrosesan. Kalau kolom baru memang tidak membutuhkan nomor telepon, jangan bawa. Ini soal berapa banyak tempat yang harus Anda periksa ketika suatu hari ada permintaan penghapusan data.

Fase 3: pindahkan pembacaan, jangan langsung

Setelah backfill selesai dan rekonsiliasi bersih, baru rute baca dipindahkan satu fitur demi satu. Mulai dari laporan internal yang risikonya rendah, lanjut ke halaman riwayat pesanan, terakhir ke kasir dan pemindai gudang yang tidak boleh menampilkan angka salah satu kali pun.

Selama fase ini, jalankan pembacaan ganda pada sampel trafik. Bandingkan hasil query lama dan baru untuk 500 pesanan acak setiap hari. Selisih satu baris pun perlu dijelaskan sebelum rilis berikutnya. Yang dicari bukan sekadar kesamaan jumlah baris, melainkan kesamaan invarian bisnis: total kuantitas dalam satuan dasar per gudang harus sama sebelum dan sesudah migrasi, untuk 30 hari terakhir. Jumlah baris bisa sama sementara isinya tertukar.

Fase 4: penyusutan, satu-satunya langkah yang tidak bisa dibatalkan

Menghapus kolom lama adalah satu-satunya titik tanpa jalan pulang. Karena itu saya menahannya minimal 14 hari setelah seluruh pembacaan pindah, dan sering dua siklus rilis. Sebelum DROP COLUMN, snapshot diambil dan waktu restorasinya diukur, bukan diasumsikan. Di kasus distributor tadi, snapshot 2,9 TB butuh 5 jam 10 menit untuk dipulihkan, dan angka itu baru diketahui ketika benar-benar dibutuhkan.

Kolom lama juga tidak boleh hilang begitu saja dari ingatan sistem. Ada kewajiban penyimpanan dokumen yang membuat representasi lama tetap harus bisa direproduksi, dan itu dibahas di bagian regulasi.

Yang mematikan layanan adalah antrean kunci

Pelajaran teknis paling mahal dari insiden ini tidak terletak pada ukuran tabel. Pelajarannya soal antrean. Satu query laporan BI yang terjadwal pukul 22.10 memegang kunci baca, lalu perintah DDL datang dan menunggu di belakangnya. Perintah DDL yang menunggu tidak diam. Ia memblokir semua sesi berikutnya, termasuk yang hanya ingin membaca satu baris.

Tiga pengaman yang sekarang saya pasang di setiap migrasi:

  1. SET lock_timeout = '2s' sebelum setiap perintah DDL. Kalau kunci tidak didapat dalam dua detik, perintah gagal dan dicoba lagi nanti. Lebih baik migrasi tertunda sepuluh menit daripada layanan berhenti sebelas jam.
  2. statement_timeout pada sesi migrasi, supaya satu UPDATE raksasa tidak bisa berjalan tanpa batas sambil menahan kunci.
  3. Mode pemeliharaan yang mencakup seluruh jalur masuk, termasuk integrasi API, pemindai gudang, dan penjadwal laporan. Kalau satu jalur masih menulis, sistemnya belum benar-benar dalam pemeliharaan.

Yang juga berubah: DDL tidak lagi boleh dijalankan manual dari laptop siapa pun. Semua migrasi lewat pipeline, dan pipeline menolak perintah yang menyentuh tabel di atas satu juta baris tanpa lock_timeout, tanpa batas waktu, atau tanpa rencana rollback tertulis di deskripsi perubahan.

Rollback yang benar-benar bisa dijalankan

Rencana rollback yang berbunyi “restore dari backup” bukan rencana. Itu kepanikan yang diformalkan. Di kasus tadi, rollback berarti memulihkan snapshot pukul 00.00, kehilangan dua jam pekerjaan, lalu menunggu lima jam. Totalnya lebih lama daripada menyelesaikan migrasi dengan benar sejak awal.

Rollback yang layak harus cepat, artinya tidak melibatkan pemulihan basis data penuh. Harus pernah dijalankan di rehearsal dengan data seukuran produksi. Dan cakupannya terbatas, sehingga kalau rute baca satu fitur bermasalah, hanya fitur itu yang kembali lewat feature flag. Karena itu fase 1 dan 2 bisa dibatalkan dengan mematikan dual write, fase 3 dengan memindahkan flag, sementara fase 4 tidak bisa dibatalkan sama sekali. Itulah alasan fase terakhir selalu datang paling akhir dan paling sepi.

Rehearsal yang menyerupai produksi

Satu hal yang saya tidak percaya: migrasi yang hanya diuji sekali. Salinan data untuk rehearsal harus mirip produksi, minimal 10% volumenya, tetapi tabel besar disalin utuh. Beban konkurensi harus berjalan bersamaan, termasuk laporan terjadwal dan integrasi, karena justru itu yang memicu antrean kunci. Durasinya diukur di lingkungan itu, bukan di laptop, dan pada jam yang sama dengan eksekusi sebenarnya. Migrasi pukul 02.00 pada tabel dengan autovacuum aktif berperilaku berbeda dari migrasi pukul 22.00 saat beban tulis memuncak.

Kalender perubahan dan hak veto

Kegagalan Sabtu malam itu sama besar di sisi tata kelola maupun teknis. Tidak ada satu orang pun di ruangan yang berwenang mengatakan “tunda”, karena tanggalnya sudah dijanjikan ke principal dan diumumkan ke cabang.

Yang saya sarankan: satu kalender perubahan dengan jendela terlarang yang tertulis dan disepakati, supaya tidak bergantung pada ingatan orang. Tutup buku bulanan pada lima hari pertama. Batas pelaporan SPT Masa PPh 21 pada tanggal 20 bulan berikutnya, yang membuat tim keuangan tidak bisa kehilangan akses ke data potongan pajak. Cut-off payroll pada tanggal 25, ketika modul HRIS mengunci perhitungan gaji dan PPh 21 dengan tarif efektif bulanan. Kampanye promosi besar. Masa penerbitan faktur pajak di akhir bulan.

Di luar jendela terlarang, hak veto tetap ada di tangan orang yang memegang operasi, bukan di tangan yang memegang tenggat. Kalau DBA mengatakan rehearsal belum lolos, migrasi ditunda, dan penundaan itu bukan kegagalan proyek. Kegagalan proyek adalah sebelas jam layanan mati pada malam ketika 41% pesanan pekan itu seharusnya masuk.

Regulasi yang tidak ikut dimigrasikan

Skema berubah, kewajiban hukumnya tidak. Ada empat hal yang harus masuk ke dokumen desain, tidak berhenti di lampiran legal.

Undang-Undang Ketentuan Umum dan Tata Cara Perpajakan Pasal 28 ayat (11) mewajibkan buku, catatan, dan dokumen dasar pembukuan disimpan sepuluh tahun di Indonesia, termasuk yang dikelola secara elektronik dan hasil pengolahan datanya. Konsekuensinya konkret: setelah kolom satuan lama dihapus dari tabel aktif, laporan pajak tahun 2019 tetap harus bisa direproduksi. Karena itu tabel arsip dengan skema lama dipertahankan, dipisahkan dari tabel operasional, dan diberi indeks yang cukup untuk pemeriksaan. Menghapus kolom tanpa arsip berarti kehilangan kemampuan menjawab audit atas transaksi yang masih dalam masa simpan.

Peraturan Pemerintah Nomor 71 Tahun 2019 Pasal 24 ayat (1) mewajibkan penyelenggara sistem elektronik memiliki dan menjalankan prosedur serta sarana pengamanan untuk menghindari gangguan, kegagalan, dan kerugian. Jendela pemeliharaan yang direncanakan tetap masuk cakupan pasal ini, karena kerugian yang timbul dari gangguan yang “sudah dijadwalkan” tetap kerugian. Prosedur penanggulangan yang dimaksud bukan halaman runbook setebal dua puluh halaman, melainkan langkah yang benar-benar dijalankan orang di ruangan ketika pukul 01.40 replika tertinggal 22 menit.

Peraturan Badan Siber dan Sandi Negara Nomor 4 Tahun 2021 menetapkan standar ketersediaan data dan informasi pada Pasal 24: pencadangan berkala, perencanaan agar data selalu dapat diakses, dan sistem pemulihan. Peraturan ini mengikat instansi pemerintah, bukan perusahaan swasta, tetapi isinya berguna sebagai pembanding karena memaksa Anda menjawab satu pertanyaan yang sering dilewati: berapa lama data boleh tidak bisa diakses sebelum layanan dianggap gagal.

Undang-Undang Nomor 27 Tahun 2022 tentang Pelindungan Data Pribadi Pasal 16 mewajibkan pengumpulan data pribadi dibatasi sesuai tujuan yang spesifik dan relevan. Selama migrasi, batasan ini sering bocor lewat salinan sementara: tabel uji berisi data pelanggan asli, replika baru untuk verifikasi yang belum diberi kontrol akses, atau ekspor CSV untuk rekonsiliasi yang tersimpan di folder bersama. Kalau salah satu salinan itu terbuka, Pasal 46 memberi tenggat 3x24 jam untuk pemberitahuan tertulis kepada subjek data dan lembaga pengawas, dan tenggat itu mulai berjalan sejak insiden diketahui, bukan sejak laporan internal selesai disusun.

Hitungan biaya

Pos biayaNilai
Pesanan yang tidak kembali (22% dari Rp 7,4 miliar)Rp 1,63 miliar
Input ulang manual 2.100 jam kerjaRp 168 juta
Lembur 46 staf selama empat hariRp 118 juta
Denda SLA dua principalRp 260 juta
Investigasi, konsultan, dan penguatan daruratRp 145 juta
TotalRp 2,32 miliar

Angka dalam artikel ini disusun dari skenario komposit beberapa proyek migrasi dan dibulatkan untuk memudahkan pembacaan. Yang tidak dibulatkan adalah porsi terbesarnya: pesanan yang hilang ke pesaing. Nilai itu muncul di laporan penjualan tiga bulan kemudian sebagai penurunan pangsa di wilayah tertentu, dan tidak ada satu baris pun di laporan insiden yang menghubungkannya dengan malam migrasi.

Biaya menjalankan pola expand-contract dengan benar pada kasus yang sama sekitar Rp 300 juta: engineering Rp 187 juta untuk 36 minggu-orang, yaitu empat engineer selama sembilan minggu, penyegaran lingkungan rehearsal dengan salinan produksi Rp 46 juta, reconciler dan dasbor pemantauan Rp 38 juta, tiga kali rehearsal Rp 27 juta. Perbandingannya tidak seimbang, dan itu justru intinya. Program yang menelan Rp 300 juta mencegah kerugian yang di kasus ini mencapai Rp 2,32 miliar.

Tim keuangan pasti akan memperdebatkan angka pertama, karena sebagian pesanan tetap masuk pekan berikutnya. Dengan margin kotor 13,5%, kerugian laba murni dari pesanan yang benar-benar pindah ke pesaing sekitar Rp 220 juta. Biaya lembur, denda, kerja manual, dan hilangnya kepercayaan principal tetap nyata, dan semuanya berasal dari satu keputusan: tidak menguji ulang pada volume sebenarnya.

Roadmap 90 hari

FaseFokusKeluaran
Hari 1-14Inventaris dan pemetaanDaftar tabel di atas satu juta baris, kolom yang akan diubah, dependensi laporan, kalender jendela terlarang
Hari 15-30Desain expand-contractSkema kolom baru, aturan dual write, rencana backfill per batch, definisi invarian bisnis untuk rekonsiliasi
Hari 31-50Alat dan pengamanSkrip backfill idempoten, reconciler harian, dasbor jeda replika dan WAL, linter migrasi di pipeline CI
Hari 51-70RehearsalMinimal dua kali dengan volume produksi, beban konkurensi penuh, pengukuran durasi dan waktu rollback
Hari 71-85Pelaksanaan bertahapRilis 1 dual write, backfill, rilis rute baca per fitur, pemantauan 14 hari
Hari 86-90Penyusutan dan arsipArsip skema lama, DROP COLUMN setelah persetujuan, dokumentasi versi skema dan bukti rekonsiliasi

Urutannya tidak bisa ditukar. Membangun alat backfill sebelum invarian bisnis disepakati hanya menghasilkan angka yang cepat tetapi tidak bisa dipertanggungjawabkan. Menjalankan rehearsal sebelum linter migrasi ada membuat pengaman yang sama tidak terpasang di pipeline, dan migrasi berikutnya akan mengulang kesalahan yang sama dengan tabel yang berbeda.

Lima pertanyaan audit untuk migrasi Anda

  1. Berapa volume baris tabel terbesar yang akan Anda ubah, dan kapan terakhir kali skrip migrasi diuji pada volume itu dengan beban konkurensi yang berjalan bersamaan?
  2. Apakah setiap perintah DDL memakai lock_timeout, dan apa yang terjadi pada aplikasi jika kunci tidak didapat dalam dua detik?
  3. Apakah mode pemeliharaan mencakup integrasi API, perangkat gudang, dan penjadwal laporan, atau hanya antarmuka web?
  4. Berapa waktu pemulihan yang terukur dari snapshot terakhir, dan kapan angka itu terakhir kali diuji, bukan diperkirakan?
  5. Jika kolom lama dihapus hari ini, bisakah tim mereproduksi laporan transaksi sepuluh tahun lalu untuk pemeriksaan pajak dalam waktu satu hari kerja?

Kalau pertanyaan keempat belum punya angka hasil pengukuran, artinya rencana rollback Anda masih berupa harapan. Kalau pertanyaan kelima belum pernah dicoba, artinya migrasi Anda memindahkan risiko dari tim IT ke tim keuangan, dan tim keuangan baru mengetahuinya saat pemeriksaan datang.


Migrasi skema adalah pekerjaan yang paling tidak terlihat dan paling mudah diremehkan. Tidak ada halaman baru yang bisa dipamerkan, tidak ada fitur yang dipakai pengguna. Yang ada hanya satu perubahan struktur yang, kalau salah waktu, bisa menghentikan seluruh aliran uang perusahaan dalam satu malam.

Platform Ergonia menyatukan pesanan, persediaan multi-satuan, dan data operasional dalam satu model data yang bisa dimigrasikan bertahap, dari modul manajemen stok dan konversi satuan sampai modul HRIS untuk tim yang juga perlu menjaga cut-off payroll dan pelaporan PPh 21 tetap utuh selama perubahan sistem. Gambaran lengkap modul dan relasinya ada di halaman demo.

Tim arsitek PT Ergonia Inovasi Digital, dengan legalitas KBLI 62021 untuk konsultasi keamanan informasi dan KBLI 62019 untuk pengembangan perangkat lunak, membantu perusahaan merancang migrasi skema tanpa downtime, menyiapkan rehearsal dengan volume produksi, dan menyusun prosedur rollback yang pernah benar-benar dijalankan. Untuk audit kesiapan migrasi 30 hari atau diskusi arsitektur data, mulai dari halaman kontak kami.

← Kembali ke Indeks Blog
KONSULTASI TEKNIS

Ingin Menerapkan Arsitektur Ini di Perusahaan Anda?

Diskusikan kebutuhan sistem kasir POS, HRIS terpadu, multi-gudang, atau aplikasi kustom Anda bersama tim arsitek perangkat lunak Ergonia.

Jadwalkan Diskusi Teknis →