yenzal
本站致力于IT相关技术的分享
2023
10
27
使用Clojure构建Data Lakehouse的事务性元数据层以应对CAP权衡 使用Clojure构建Data Lakehouse的事务性元数据层以应对CAP权衡
一个数据处理任务在凌晨三点失败了。它成功写入了1TB数据中的700GB到数据湖，然后因为一个暂时的网络故障而崩溃。现在，数据湖处于一个不一致的、损坏的状态。下游的报表和机器学习模型读取了这些不完整的数据，造成了整个业务线的混乱。这种场景是原
2023-10-27 数据工程
Software Engineering & Architecture Clojure CAP Theorem Data Lake
27
27
27
使用 ASP.NET Core 和 Clean Architecture 构建写入 Apache Hudi 的 CDC 数据管道并部署于 Nomad 使用 ASP.NET Core 和 Clean Architecture 构建写入 Apache Hudi 的 CDC 数据管道并部署于 Nomad
我们面临一个典型的数据工程难题：核心业务的 PostgreSQL 数据库承载了大量的在线事务处理（OLTP），但分析团队需要近乎实时地查询这些数据。直接在生产库上跑复杂的分析查询是不可接受的，这会严重影响核心业务性能。传统的夜间批量 ETL
2023-10-27 数据工程
Apache Hudi Nomad ASP.NET Core Clean Architecture CDC Debezium
27
27
3 / 5