归档: 2023/10

2023

10

27

我们面临一个典型的数据工程难题：核心业务的 PostgreSQL 数据库承载了大量的在线事务处理（OLTP），但分析团队需要近乎实时地查询这些数据。直接在生产库上跑复杂的分析查询是不可接受的，这会严重影响核心业务性能。传统的夜间批量 ETL

2023-10-27 数据工程

Apache Hudi Nomad ASP.NET Core Clean Architecture CDC Debezium

27

问题的起点很明确：前端E2E测试失败了，但我们不知道是哪个后端服务拖慢了整个响应。Playwright的截图和视频记录了用户看到的失败，而Zipkin的链路追踪图谱展示了后端微服务间的调用延迟。这两者之间存在一条巨大的鸿沟。用户体验的失败无

2023-10-27 可观测性

Go Zipkin Playwright WebAssembly Prettier Rust

27

管理一个机器学习模型的训练生命周期，本质上是一个复杂的状态管理问题。一个典型的训练任务可能包含数据校验、预处理、特征工程、模型训练、评估、版本化等多个阶段，其中任何一步都可能成功、失败或长时间运行。在真实项目中，我们常常面对的挑战是：如何构

2023-10-27 架构与设计

Go XState Scikit-learn 事件驱动架构 MLOps

27

在生产环境中，静态的、长期有效的AWS Access Key ID 和 Secret Access Key 是一个必须被根除的安全隐患。将它们作为GitHub Secrets存储，用于CI/CD流水线，本质上只是将风险从开发者的本地机器转移

2023-10-27 DevOps

GitHub Actions Git AWS EKS Ray SAML

27

我们的项目 CI 流水线曾经是一场灾难。一个包含了 Django API、React 前端和一个小型 Java 数据处理服务的异构代码库，单次全量构建和推送镜像的时间稳定在20分钟以上。其中，Django 服务的镜像构建是最大的瓶셔颈，由于

2023-10-27 DevOps

CI/CD esbuild Jib Django Seaborn Docker

27

Android团队内部的知识孤岛问题日趋严重。CI/CD流水线产生的海量构建日志、内部Wiki上过时的技术文档、以及散落在Slack频道中的解决方案，形成了一个巨大的、非结构化的信息沼泽。当一个开发者遇到一个棘手的编译错误时，他的第一反应通

2023-10-27 DevOps

Android 开发 ChromaDB Ansible Envoy Proxy Kotlin Multiplatform