資料工程
2 篇文章
現代資料工程管線演進：ETL vs. ELT、Lambda vs. Kappa 架構與即時資料湖入庫
深度剖析巨量資料架構的代際演變：為什麼傳統 Hadoop ETL 逐漸被雲端 ELT（Snowflake / BigQuery / dbt）取代？Lambda 雙軌架構的程式碼冗餘痛點、Kappa 純串流架構的演進、即時資料湖入庫以及 Schema 漂移與資料品質驗證（Great Expectations）實務。
CDC（變更資料擷取）與 Debezium 架構實戰：告別雙寫不一致、Transactional Outbox 與即時資料串流
深入剖析微服務與現代資料工程中的 CDC（Change Data Capture）架構：破解應用層雙寫不一致（Dual-Write）難題；對比基於輪詢與基於 Log（MySQL Binlog / Postgres WAL）的變更捕獲；詳解 Transactional Outbox 模式、Debezium 引擎核心架構、Kafka Connect 串流拓撲與快取失效/資料湖同步實戰。