Arsitektur Observability dan Distributed Tracing: Insiden Tak Terdeteksi 4 Jam dan Kerugian Rp 2,6 Miliar

Selama sistem buta, insiden baru ketahuan dari keluhan pelanggan. Simak arsitektur observability dan tracing yang memangkas waktu deteksi serta tagihan log.

Pukul 09.12 seorang staf gudang di Cikarang mengirim pesan ke grup operasional: pesanan toko tidak muncul di layar kasir sejak pagi. Tidak ada satu pun peringatan di dasbor. CPU hijau, memori stabil, uptime dilaporkan 100 persen. Tim TI baru mulai menyelidiki empat jam kemudian, setelah 23 keluhan dari outlet yang sama menumpuk dan satu akun B2B besar mengancam memindahkan pesanan kuartal berikutnya ke distributor lain.

Akar masalahnya sederhana dan memalukan. Satu worker sinkronisasi stok berhenti mengonsumsi antrean sejak 04.50 karena koneksi ke basis data replika terputus. Health check tetap melaporkan status sehat karena hanya menguji port HTTP, bukan kesegaran data. Menurut sistem, tidak ada yang rusak. Kenyataannya, 62 outlet berjualan dengan angka stok yang salah hampir lima jam.

Kerugiannya tidak pernah muncul sebagai satu baris di laporan keuangan. Dalam skenario komposit beberapa klien distribusi dan ritel yang tim kami audit sepanjang 2025 sampai 2026, kejadian semacam ini berulang sebelas kali dalam enam bulan. Nilai totalnya Rp 2,6 miliar: penjualan yang hilang saat kasir menolak transaksi, order B2B terkirim ganda karena percobaan ulang otomatis, jam engineering yang habis untuk investigasi manual, tagihan observability yang membengkak, dan kapasitas server yang ditambah karena panik. Angka itu komposit, bukan satu perusahaan, tetapi polanya konsisten. Perusahaan membayar mahal bukan karena sistemnya sering rusak, melainkan karena tidak tahu kapan sistemnya rusak.


Insiden yang tidak pernah tercatat sebagai insiden

Monitoring dan observability sering dianggap barang yang sama. Bedanya sederhana. Monitoring menjawab pertanyaan apakah komponen masih hidup. Observability menjawab mengapa permintaan pelanggan ini gagal, di layanan mana, sejak kapan, dan siapa saja yang terdampak. Yang pertama cukup untuk ruang server dengan sepuluh mesin. Yang kedua wajib begitu satu transaksi melewati enam layanan, dua antrean, dan tiga basis data.

Empat titik buta muncul berulang di hampir setiap audit yang kami kerjakan.

Alert mengukur penyebab, bukan akibat. Ambang batas dipasang di CPU 85 persen, memori 90 persen, dan disk 80 persen. Ketika CPU menyentuh 92 persen selama sepuluh menit, telepon berbunyi. Ketika checkout gagal total padahal CPU hanya 30 persen, tidak ada yang berbunyi. Yang dirasakan pelanggan adalah tingkat kegagalan dan lamanya respons, bukan pemakaian prosesor.

Log tanpa korelasi. Enam layanan menulis enam format berbeda, tanpa request_id yang sama. Saat insiden, tim membuka terminal di enam jendela, mencocokkan timestamp secara manual, dan sering salah menyimpulkan karena jam antar server meleset dua sampai empat detik. Dari pengalaman kami, sekitar 70 persen durasi penanganan insiden habis untuk mencari, bukan memperbaiki.

Antrean tidak terlihat. Trace berhenti di batas HTTP. Begitu pesan masuk ke Kafka atau RabbitMQ, rantainya putus, padahal hampir separuh proses bisnis di sistem distribusi berjalan lewat antrean: sinkronisasi stok, penerbitan faktur, pengiriman notifikasi, dan posting jurnal. Kegagalan consumer tidak pernah muncul di grafik mana pun karena tidak ada yang mengukur kedalaman antrean atau umur pesan tertua.

Dasbor tanpa pemilik. Tiga puluh empat panel, tujuh belas warna, dan tidak seorang pun bisa menjawab berapa nilai normal untuk panel nomor dua belas. Dasbor yang tidak punya pemilik berubah menjadi dekorasi rapat bulanan.

Angka kerugian yang tersebar di lima pos

Jenis kerugianMekanismeEnam bulan
Penjualan hilangKasir menolak transaksi karena stok terbaca nol, 11 jam kumulatif di jam sibukRp 730 juta
Order gandaRetry tanpa idempotency key, duplikat baru ditemukan saat rekonsiliasiRp 640 juta
Jam engineering1.140 jam investigasi manual, termasuk lembur di luar jam kerjaRp 240 juta
Tagihan observabilityLog level debug disimpan 90 hari, 74 persen tidak pernah dibukaRp 610 juta per tahun
Kapasitas berlebihServer ditambah 40 persen setelah insiden yang penyebabnya tidak pernah ditemukanRp 420 juta per tahun

Baris terakhir yang paling sering luput. Ketika penyebab insiden tidak diketahui, satu-satunya respons yang tersedia adalah menambah kapasitas. Biaya itu berulang setiap tahun dan tidak pernah masuk kategori kerugian karena tercatat sebagai belanja infrastruktur yang wajar.

Arsitektur: satu jalur data, tiga sinyal, satu ID

Pembaca yang sudah lama mengurus sistem enterprise biasanya sudah tahu jawabannya: yang dibutuhkan jalur data telemetri yang konsisten, bukan dasbor yang lebih cantik. Instrumentasi cukup dilakukan sekali di lapisan aplikasi, lalu dikirim ke satu titik kumpul, diproses, dan didistribusikan ke penyimpanan yang sesuai dengan karakter masing-masing sinyal.

 Aplikasi (POS, ERP, HRIS, portal B2B)
 -------------------------------------
 | OpenTelemetry SDK: trace, metric, log
 | propagasi W3C traceparent di header HTTP
 | trace_id disisipkan ke setiap baris log
 -------------+-----------------------
              |
              v
     OTel Collector (agent per host)
     - batch, retry, memory limiter
     - resource attributes: service, env, region
              |
              v
     OTel Collector (gateway)
     - tail-based sampling: simpan 100% trace error
       dan trace lambat, 5% trace normal
     - redaksi data pribadi sebelum keluar jaringan
              |
     +--------+---------+-------------------+
     v                  v                   v
 Metrics (Prometheus) Logs (Loki)     Traces (Tempo)
 retensi 13 bulan     retensi 30 hari  retensi 14 hari
     |                  |                   |
     +--------+---------+-------------------+
              v
     SLO engine dan alert burn rate
              |
              v
     On-call, runbook, kanal insiden

 Sinyal bisnis yang wajib ikut diukur:
 - umur pesan tertua di antrean sinkronisasi stok
 - jumlah transaksi gagal per outlet per 15 menit
 - selisih stok teori dan fisik per gudang

Keputusan pentingnya ada di tiga tempat. Pertama, sampling dilakukan di gateway, bukan di aplikasi. Tail-based sampling memungkinkan sistem menyimpan seluruh trace yang gagal atau lambat, sementara trace normal dipangkas sampai lima persen. Head-based sampling yang dipasang di aplikasi sering membuang justru trace yang dibutuhkan karena keputusannya diambil sebelum hasil akhir diketahui. Saya belum pernah melihat tim memasang tail sampling dengan benar pada percobaan pertama, dan itu bukan tanda ketidakmampuan. Konfigurasinya memang berliku.

Kedua, trace_id harus ikut menyeberang ke antrean. Di Kafka, ID itu ditempel sebagai header pesan, lalu consumer membacanya dan melanjutkan span yang sama. Tanpa langkah ini, tracing hanya berguna untuk permintaan sinkron, yang justru bukan bagian tersulit.

Ketiga, redaksi data pribadi dilakukan di collector, sebelum data meninggalkan jaringan perusahaan. Nomor telepon, NIK, dan nomor rekening tidak boleh masuk ke sistem penyimpanan log pihak ketiga hanya karena format lognya serba bisa.

Biaya observability: yang mahal bukan lisensi alatnya

Sebagian besar tagihan observability yang kami temui tidak berasal dari lisensi. Sumbernya volume data dan jumlah seri waktu.

Label metric yang berisi nilai tak terbatas adalah kesalahan klasik. Menambahkan user_id atau order_id sebagai label pada satu metric menghasilkan ratusan ribu sampai jutaan seri waktu, dan biaya penyimpanan naik mengikuti jumlah seri, bukan jumlah server. Label harus berisi dimensi yang jumlahnya terbatas: layanan, region, status code, jenis kegagalan.

KeputusanPilihan borosPilihan hematDampak
Retensi logSemua level, 90 hari, satu tierDebug 3 hari, info 30 hari, audit 13 bulan di object storageTurun 60 sampai 75 persen
Sampling trace100 persen di aplikasiTail-based di gateway, error selalu disimpanVolume turun, kegagalan tetap utuh
MetrikSemua label, retensi 24 bulanLabel terbatas, agregasi bertingkatSeri waktu turun drastis
Log isi payloadRequest dan response penuhMetadata plus hash, isi hanya saat errorRisiko kepatuhan menurun

Menyimpan payload penuh juga berarti menaruh data pribadi dalam jumlah besar di sistem yang aksesnya lebih longgar daripada basis data produksi. Di beberapa klien, justru sistem observability yang dibangun untuk menjaga keamanan menjadi sumber temuan kepatuhan pertama.

Alert yang membangunkan orang untuk hal yang salah

Di salah satu klien, sistem lama mengirim 340 alert per minggu. Dua ratus sepuluh di antaranya tidak pernah ditindaklanjuti, dan 38 di antaranya dibisukan secara permanen oleh engineer yang lelah. Alarm yang terlalu banyak melatih tim untuk mengabaikan alarm, dan itu lebih berbahaya daripada tidak punya alarm sama sekali.

Perbaikannya terletak pada dasar pemicunya, bukan pada jumlah aturan yang dipasang. Alert dipasang pada tingkat layanan yang dirasakan pengguna, memakai SLO dan error budget. Contoh yang kami pakai untuk modul kasir: 99,5 persen transaksi checkout harus selesai di bawah 2 detik dalam 30 hari. Jika laju pembakaran error budget melewati 14 kali batas normal dalam jendela satu jam, dan 6 kali dalam jendela enam jam, barulah telepon berbunyi. Dua jendela dipakai supaya kejadian singkat tidak membangunkan orang, sementara kegagalan yang merayap tetap tertangkap.

Setiap alert wajib punya tiga hal: pemilik, runbook berisi langkah pertama, dan definisi kapan insiden dinyatakan selesai. Tanpa tiga itu, alert hanya memindahkan kebingungan dari dasbor ke ponsel seseorang pada pukul tiga pagi.

Payung hukum: kemampuan mendeteksi bukan kemewahan teknis

Di Indonesia, kecepatan mendeteksi punya konsekuensi hukum yang konkret.

UU No. 27 Tahun 2022 tentang Perlindungan Data Pribadi. Pasal 46 mewajibkan pengendali data menyampaikan pemberitahuan tertulis kepada subjek data dan lembaga pengawas paling lambat 3x24 jam sejak kegagalan pelindungan data diketahui. Jam itu tidak mulai berdetak saat insiden terjadi, melainkan saat insiden diketahui secara pasti dan wajar. Perusahaan yang baru tahu dari keluhan pelanggan tiga hari kemudian tidak punya sisa waktu untuk menyusun pemberitahuan yang benar. Pasal 57 membuka ruang sanksi administratif hingga 2 persen dari pendapatan tahunan.

UU No. 11 Tahun 2008 tentang Informasi dan Transaksi Elektronik sebagaimana diubah UU No. 19 Tahun 2016. Pasal 15 mewajibkan penyelenggara sistem elektronik mengoperasikan sistemnya secara andal, aman, dan bertanggung jawab. Kewajiban itu sulit dibuktikan tanpa catatan operasional yang bisa menunjukkan kondisi sistem pada saat tertentu.

PP No. 71 Tahun 2019 tentang Penyelenggaraan Sistem dan Transaksi Elektronik. Pasal 19 ayat (2) huruf e mewajibkan penyelenggara menyusun rencana menjaga keberlangsungan penyelenggaraan sistem, sementara Pasal 22 mewajibkan penyediaan rekam jejak audit untuk keperluan pengawasan, penegakan hukum, penyelesaian sengketa, verifikasi, dan pengujian. Rencana keberlangsungan tanpa kemampuan memantau kondisi sistem hanya dokumen di lemari arsip.

Peraturan BSSN No. 4 Tahun 2021 tentang Tata Kelola Keamanan Siber. Pedoman ini menempatkan pemantauan, deteksi dini, dan penanganan insiden sebagai bagian dari tata kelola, bukan aktivitas tambahan yang dikerjakan kalau ada waktu.

POJK No. 22 Tahun 2023 Pasal 24 ayat (3) untuk sektor jasa keuangan menetapkan kewajiban pelaku usaha jasa keuangan menjalankan ketahanan siber paling sedikit melalui identifikasi aset dan kerentanan, pelindungan, deteksi insiden, serta penanganan dan pemulihan. Deteksi insiden disebut eksplisit sebagai tahap tersendiri.

ISO/IEC 27001:2022 menempatkan logging dan aktivitas pemantauan pada kontrol 8.15 dan 8.16. Keduanya termasuk kontrol yang paling sering diminta buktinya saat sertifikasi, dan paling sering lemah implementasinya.

Bagi perusahaan yang menyimpan data karyawan di modul HRIS, konsekuensinya lebih dekat lagi. Log akses ke data gaji, absensi, dan dokumen pajak harus cukup rinci untuk menjawab siapa membuka apa dan kapan, tanpa menyimpan isi datanya secara berlebihan.

Peta jalan 90 hari

FaseFokusKeluaran
Hari 1-30Titik buta dan baselineDaftar 10 alur bisnis paling mahal, pengukuran MTTD dan MTTR saat ini, inventaris alert yang ada
Hari 31-60Instrumentasi terpusatOpenTelemetry terpasang di tiga layanan inti, trace_id menyeberang antrean, collector gateway dengan tail sampling
Hari 61-90SLO dan disiplin alertTiga SLO pertama disepakati pemilik bisnis, alert burn rate menggantikan ambang CPU, runbook dan simulasi insiden

Urutan itu disengaja. Instrumentasi sebelum SLO, karena SLO tanpa data historis hanya angka karangan. Dan jangan mulai dari seluruh sistem sekaligus. Pilih satu alur yang paling mahal jika gagal, biasanya checkout di modul POS atau sinkronisasi stok antargudang, lalu buktikan bahwa waktu deteksi benar-benar turun. Angka itu yang meyakinkan direksi untuk membiayai perluasan.

Lima pertanyaan audit observability

  1. Berapa lama waktu rata-rata dari kegagalan terjadi sampai ada orang yang tahu, diukur dari data, bukan dari ingatan?
  2. Jika satu transaksi melewati lima layanan dan satu antrean, apakah semua lognya bisa ditarik dengan satu ID?
  3. Sinyal apa yang dipakai untuk memicu alert, pemakaian sumber daya atau tingkat kegagalan yang dirasakan pelanggan?
  4. Berapa persen tagihan log keluar untuk data yang tidak pernah dibaca siapa pun?
  5. Apakah ada satu orang yang namanya tercantum sebagai pemilik setiap dasbor yang aktif?

Jika pertanyaan pertama belum bisa dijawab dengan angka, artinya perusahaan belum punya observability. Yang ada hanya harapan bahwa pelanggan akan menelepon lebih dulu daripada sistem memberitahu.


Sistem yang tidak bisa menjelaskan dirinya sendiri akan terus memakan biaya lewat dua jalur: kerugian yang tidak tercatat saat gagal, dan belanja infrastruktur yang tidak perlu saat penyebabnya tidak ditemukan. Keduanya berakar pada hal yang sama, yaitu ketiadaan data yang cukup untuk menjawab pertanyaan sederhana tentang apa yang sedang terjadi.

Platform Ergonia dibangun dengan telemetri yang menyatu di setiap modul, sehingga alur dari kasir, manajemen stok, sampai penggajian bisa ditelusuri dalam satu jejak. Gambaran menyeluruhnya tersedia di halaman demo.

Tim arsitek PT Ergonia Inovasi Digital, dengan legalitas KBLI 62021 untuk konsultasi keamanan informasi dan KBLI 62019 untuk pengembangan perangkat lunak, dapat membantu mengukur waktu deteksi Anda saat ini, memetakan titik buta pada alur bisnis yang paling mahal, dan merancang instrumentasi bertahap tanpa menghentikan operasional. Untuk audit observability 30 hari atau diskusi arsitektur, mulai dari halaman kontak kami.

← Kembali ke Indeks Blog
KONSULTASI TEKNIS

Ingin Menerapkan Arsitektur Ini di Perusahaan Anda?

Diskusikan kebutuhan sistem kasir POS, HRIS terpadu, multi-gudang, atau aplikasi kustom Anda bersama tim arsitek perangkat lunak Ergonia.

Jadwalkan Diskusi Teknis →