yenzal
本站致力于IT相关技术的分享
基于 etcd Lease 机制为 Node.js LangChain Agent 实现分布式任务协调 基于 etcd Lease 机制为 Node.js LangChain Agent 实现分布式任务协调
当我们将一个基于 LangChain 构建的 Node.js Agent 服务从单机部署扩展到 Kubernetes 上的多个 Pod 时，灾难发生了。原本设计用于处理复杂、长周期任务（例如：分析用户评论、生成周报、调用外部 API 并整合
2023-10-27 后端架构
etcd JavaScript LangChain 分布式系统 Node.js
使用 ASP.NET Core 和 Clean Architecture 构建写入 Apache Hudi 的 CDC 数据管道并部署于 Nomad 使用 ASP.NET Core 和 Clean Architecture 构建写入 Apache Hudi 的 CDC 数据管道并部署于 Nomad
我们面临一个典型的数据工程难题：核心业务的 PostgreSQL 数据库承载了大量的在线事务处理（OLTP），但分析团队需要近乎实时地查询这些数据。直接在生产库上跑复杂的分析查询是不可接受的，这会严重影响核心业务性能。传统的夜间批量 ETL
2023-10-27 数据工程
Apache Hudi Nomad ASP.NET Core Clean Architecture CDC Debezium
构建基于GitHub Actions OIDC与SAML的EKS上Ray集群零信任部署管道 构建基于GitHub Actions OIDC与SAML的EKS上Ray集群零信任部署管道
在生产环境中，静态的、长期有效的AWS Access Key ID 和 Secret Access Key 是一个必须被根除的安全隐患。将它们作为GitHub Secrets存储，用于CI/CD流水线，本质上只是将风险从开发者的本地机器转移
2023-10-27 DevOps
GitHub Actions Git AWS EKS Ray SAML
为集成 Django 与 Java 的异构系统构建统一的 esbuild 和 Jib 高效容器化流水线 为集成 Django 与 Java 的异构系统构建统一的 esbuild 和 Jib 高效容器化流水线
我们的项目 CI 流水线曾经是一场灾难。一个包含了 Django API、React 前端和一个小型 Java 数据处理服务的异构代码库，单次全量构建和推送镜像的时间稳定在20分钟以上。其中，Django 服务的镜像构建是最大的瓶셔颈，由于
2023-10-27 DevOps
CI/CD esbuild Jib Django Seaborn Docker
集成Playwright、Zipkin与WebAssembly构建高保真综合监控管道 集成Playwright、Zipkin与WebAssembly构建高保真综合监控管道
问题的起点很明确：前端E2E测试失败了，但我们不知道是哪个后端服务拖慢了整个响应。Playwright的截图和视频记录了用户看到的失败，而Zipkin的链路追踪图谱展示了后端微服务间的调用延迟。这两者之间存在一条巨大的鸿沟。用户体验的失败无
2023-10-27 可观测性
Go Zipkin Playwright WebAssembly Prettier Rust
基于 Swift 和 Buildah 构建一个透明的数据库分片中间件 基于 Swift 和 Buildah 构建一个透明的数据库分片中间件
我们负责的物联网（IoT）数据采集平台的负载测试结果很不乐观。核心的 PostgreSQL 实例在模拟峰值流量下，IOPS 和连接数很快触及了天花板。垂直扩展硬件显然是一个短期方案，成本高昂且治标不治本。水平扩展，即数据库分片，是唯一可行的
2023-10-27 后端架构
Swift Backend Buildah 数据库分片
4 / 5