資料工程
2 篇文章
現代資料工程管線演進：ETL vs. ELT、Lambda vs. Kappa 架構與即時資料湖入庫
巨量資料架構的演變：傳統 Hadoop ETL 為什麼逐漸被雲端 ELT（Snowflake / BigQuery / dbt）取代、Lambda 雙軌架構維護兩套程式碼的痛點、Kappa 純串流架構，以及即時資料湖入庫時的 Schema 漂移與資料品質驗證（Great Expectations）。
CDC（變更資料擷取）與 Debezium 架構實戰：告別雙寫不一致、Transactional Outbox 與即時資料串流
深入剖析微服務與現代資料工程中的 CDC（Change Data Capture）架構：破解應用層雙寫不一致（Dual-Write）難題；對比基於輪詢與基於 Log（MySQL Binlog / Postgres WAL）的變更捕獲；詳解 Transactional Outbox 模式、Debezium 引擎核心架構、Kafka Connect 串流拓撲與快取失效/資料湖同步實戰。