Building an End-to-End Unified Data Platform (UDP) Using Medallion Architecture & DuckDB: PT. Aneka Sport Case Study

Latar Belakang & Tantangan Bisnis

PT. Aneka Sport beroperasi di pasar olahraga Asia Tenggara melalui dua divisi utama: Divisi Wholesale yang menjangkau jaringan distributor tradisional di seluruh nusantara, serta Divisi Retail yang berfokus pada pasar modern di pusat perbelanjaan (sebagai entitas independen PT. Prestasi Retail Innovation).

Seiring pesatnya volume transaksi di kedua divisi tersebut, infrastruktur data perusahaan menghadapi tiga hambatan operasional utama:

• Fragmentasi Format Raw: Data transaksi dan tabel master dari sistem ERP tersimpan dalam format teks mentah (.txt) dengan delimiter pipa ganda (||) serta spasi berlebih, sehingga tidak siap pakai untuk analisis agregat.
• Kerentanan Keamanan Data: Identitas pelanggan retail dan wholesale (Customer PII) tersimpan secara terbuka tanpa enkripsi keamanan.
• Kebutaan Histori Persediaan: Data stok hanya dicatat dalam bentuk buku besar berjalan (running ledger) tanpa penanda titik potong historis, menyulitkan pemantauan usia penuaan stok (inventory aging).

Blueprint Arsitektur Data (Medallion & DuckDB)

Untuk membangun sistem yang skalabel dan menghilangkan silau data, saya mengadopsi Medallion Architecture yang membagi alur pemrosesan menjadi empat lapisan terstruktur:

Eksekusi Teknis: Pembersihan Data di Silver Layer

Pada lapisan Silver, fokus pemrosesan diarahkan untuk membersihkan anomali agar data analitik bernilai akurat dan aman:

A. De-duplikasi & Keamanan Enkripsi PII

Pemeriksaan duplikasi berhasil mengeliminasi 418 baris duplikat identik pada detail faktur (59.234 → 58.816 baris) serta 3.991 baris duplikat pada saldo awal persediaan.

Untuk memenuhi standar regulasi perlindungan data pelanggan, kolom identitas sensitif disamarkan menggunakan kriptografi SHA-256 dan penyeragaman pemotongan teks:

# Cuplikan Kode PySpark: PII Masking pada dim_customer menggunakan SHA-256 & Substring
from pyspark.sql.functions import sha2, concat, lit, col

df_customer_silver = df_customer_bronze \
    .withColumn("NAMECUST_MASKED", concat(col("NAMECUST").substr(1, 1), lit("**********"))) \
    .withColumn("TEXTPHON1_HASHED", sha2(col("TEXTPHON1"), 256)) \
    .withColumn("TEXTSTRE1_HASHED", sha2(col("TEXTSTRE1"), 256)) \
    .drop("TEXTPHON1", "TEXTPHON2")

B. Imputasi Cerdas untuk Produk Bernilai NULL

Pada tabel produk (tbl_master_product), ditemukan anomali di mana kolom nama produk (PRODUCT) bernilai NULL, namun kolom deskripsi (DESC) terisi format [NAMA PRODUK] - [WARNA/MODEL]. Saya menerapkan imputasi berbasis ekspresi reguler (regex) untuk mengekstrak nama produk sebelum tanda strip (-), memulihkan ribuan baris data tanpa intervensi manual.

Pemodelan Star Schema & Zero Data Loss di Gold Layer

Lapisan Gold direkonstruksi menggunakan model Star Schema yang memisahkan transaksi penjualan (fact_sales: 58.816 baris) dan mutasi inventori (fact_inventory: 6.293 baris) dari dimensi referensinya.

Strategi "Unknown Member" untuk Mencegah Baris Terbuang

Dalam sistem operasional eksisting, sering dijumpai referensi transaksi yang tidak tercatat di tabel master. Pada proyek ini, terdeteksi 17.104 transaksi dengan kode wilayah yang tidak terdaftar di master teritori.

Dengan menambahkan baris default (key = 0, "Unknown Member") secara eksplisit pada dimensi teritori dan produk menggunakan unionByName, seluruh transaksi penjualan dapat digabungkan 100% tanpa risiko kehilangan data (Zero Data Loss).

Audit Rekonsiliasi Multi-Format (DuckDB + DBeaver)

Keunggulan utama dari arsitektur ini adalah pemanfaatan DuckDB via DBeaver sebagai mesin OLAP tanpa proses impor berat (zero-loading). DuckDB mampu mengueri format file mentah .txt di Bronze, .parquet di Gold, dan .csv di Data Mart secara langsung di lokasi penyimpanan:

-- Cuplikan Kueri SQL DuckDB: Audit Rekonsiliasi 100% Lintas Layer
SELECT 'Bronze Layer (.txt)' AS layer_name, SUM(CAST(QTYSHIPPED AS BIGINT)) AS total_qty
FROM read_csv('Bronze/tbl_invoice_detail.txt', delim='||', header=True)
WHERE QTYSHIPPED != 'QTYSHIPPED'
UNION ALL
SELECT 'Gold Layer (.parquet)' AS layer_name, SUM(quantity) AS total_qty
FROM read_parquet('Gold/fact_sales/*.parquet');

Hasil Audit Validasi: Total kuantitas penjualan pada file mentah Bronze .txt dan tabel analitik Gold .parquet menunjukkan angka yang 100% identik: 324.386 unit. Hasil ini mengonfirmasi keakuratan matematis dari seluruh tahapan pipeline.

Wawasan Intelijen Bisnis: Penjualan & Persediaan

A. Kinerja Penjualan & Distribusi Merek (Sales Analytics)

• Omset & Margin Laba: Sepanjang tahun 2017, perusahaan mencetak omset Rp 100.621.319.333 dengan laba kotor Rp 57.939.793.191 (Margin Laba 57,58%).
• Dominasi SPECS: Merek internal SPECS menguasai pangsa pasar hingga 86,2% (Rp 86,80 Miliar), disusul PIERO (7,9%) dan MIZUNO (5,0%). Sepuluh produk dengan omset terbaik dipimpin oleh sepatu sepak bola dan futsal seri Barricada Ultima IN (Rp 2,19 Miliar per SKU).
• Blindspot Wilayah Rp 4,51 Miliar: Jabotabek menjadi distributor wilayah terbesar (Rp 11,57 Miliar). Namun, terdeteksi omset sebesar Rp 4.510.454.200 (17.104 unit) pada kelompok "Unknown Territory", yang menjadi petunjuk penting untuk melengkapi data induk sistem ERP.

B. Kinerja Persediaan & Peringatan Dini Dead Stock (Inventory Analytics)

• Konsentrasi Aset Gudang: Dari total persediaan senilai Rp 80.249.257.544 (181.255 unit), gudang utama DAAN MOGOT A Grade menampung 78,6% modal (Rp 63,10 Miliar) guna menjaga ketersediaan sepatu FWEAR.
• Kecepatan Perputaran Stok (Turnover Velocity): Pada kategori FWEAR di gudang utama, angka penjualan barang keluar (outflow: 8.600 unit) melampaui pasokan masuk (inflow: 5.138 unit) hingga +67,3%, mencerminkan tingginya permintaan pasar.
• 🚨 Peringatan Kritis Dead Stock: Meskipun 96,47% persediaan perusahaan merupakan stok segar (≤ 1 tahun), teridentifikasi 5.420 unit barang berumur ≥ 3 tahun (Dead Stock) di gudang clearance. Kategori kaos obral (ATSHT) memiliki rasio barang mati hingga 98,7%, dan sarung tangan kiper (HGLOV) mencapai 82,3%, yang berisiko menyusut secara modal jika tidak segera dilikuidasi.

Rekomendasi Strategis & Action Plan

Berdasarkan temuan analitik di atas, saya merumuskan empat langkah tindakan nyata bagi manajemen PT. Aneka Sport:

1. Komersial — Program "Mega Clearance & Bundling": Meluncurkan kampanye promosi obral ekstrem atau bundling produk (contoh: pembelian sepatu premium gratis kaos ATSHT atau sarung tangan HGLOV lama) guna mencairkan 5.420 unit dead stock menjadi arus kas segar.
2. Rantai Pasok — Automated Reorder Point (ROP): Menerapkan batas pemesanan ulang otomatis berdasarkan laju penjualan bulanan ke fasilitas pabrik agar 10 SKU sepatu terlaris seri Barricada dan Accelerator tidak pernah mengalami kehabisan stok (stockout).
3. Integrasi Digital — Omnichannel Inventory Sync: Merapikan alur integrasi sistem konsinyasi E-Commerce (Zalora, Lazada, Blibli) untuk mencatat perpindahan stok sebelum transaksi terjadi, menghilangkan anomali saldo negatif sekaligus memaksimalkan penjualan online.
4. Tata Kelola Data — Remediasi Master Customer: Mengaudit dan melengkapi koordinat master pelanggan pada sistem ERP agar omset Rp 4,51 Miliar di kategori wilayah yang tidak terdefinisi dapat terpetakan secara presisi.

Kesimpulan

Membangun Unified Data Platform bukan sekadar menyatukan format file yang berbeda, melainkan membangun jembatan antara rekayasa teknis dan efisiensi bisnis yang nyata. Melalui implementasi Medallion Architecture, PySpark, dan DuckDB, PT. Aneka Sport kini memiliki infrastruktur data berkelas enterprise yang siap diskalakan, akurat secara akuntansi, serta mampu memotong latensi pengambilan keputusan manajemen.