yenzal
本站致力于IT相关技术的分享
基于向量检索的WAF日志语义分析与威胁溯源管道实现 基于向量检索的WAF日志语义分析与威胁溯源管道实现
传统的WAF日志审计，本质上是一场关键词的猫鼠游戏。我们用 grep、awk 或者在SIEM里用 Lucene 语法，试图从海量的日志中匹配已知的攻击指纹。这种方式对于发现“.../etc/passwd”或者“' OR 1=1 --
2023-10-27 Security
WAF Weaviate FastAPI Loki CSS Modules
在统一Monorepo中采用绞杀者模式剥离PHP单体至ScyllaDB、Rust与Go高性能架构 在统一Monorepo中采用绞杀者模式剥离PHP单体至ScyllaDB、Rust与Go高性能架构
一个线上运行了数年的PHP单体应用，承载着核心业务逻辑，其用户画像实时写入模块正面临严峻的性能瓶颈。该模块负责处理高并发的用户行为事件，并将其更新到后端的MySQL数据库。随着流量增长，MySQL的写延迟和连接数压力已成为整个系统的主要短板
2023-10-27 架构设计
Go PHP ScyllaDB Rocket Monorepo
基于Scala与Jupyter构建具备ACID特性的交互式事件溯源内核 基于Scala与Jupyter构建具备ACID特性的交互式事件溯源内核
事件溯源（Event Sourcing）系统在生产中的审计和调试是一大痛点。传统的做法是离线分析事件日志，或者构建专门的查询视图，整个过程被动且滞后。如果事件日志本身能像数据库一样被实时、交互式地查询、甚至注入补偿事件，并且所有操作都具备事
2023-10-27 架构与设计
Scala Jupyter ACID Jotai Akka Event Sourcing
利用 OpenFaaS 与 UnoCSS 构建由 Micronaut CQRS 驱动的服务端渲染微前端 利用 OpenFaaS 与 UnoCSS 构建由 Micronaut CQRS 驱动的服务端渲染微前端
一个演进中的复杂系统，其前端单体正逐渐成为交付瓶颈。不同业务团队间的代码耦合、统一部署流程以及不断膨胀的构建时间，都迫使我们必须进行架构变革。目标很明确：实现UI层面的独立开发、独立部署与独立伸缩。然而，业务对首屏加载性能（FCP/LCP）
2023-10-27 架构设计
OpenFaaS UnoCSS CQRS Micronaut
使用Clojure构建Data Lakehouse的事务性元数据层以应对CAP权衡 使用Clojure构建Data Lakehouse的事务性元数据层以应对CAP权衡
一个数据处理任务在凌晨三点失败了。它成功写入了1TB数据中的700GB到数据湖，然后因为一个暂时的网络故障而崩溃。现在，数据湖处于一个不一致的、损坏的状态。下游的报表和机器学习模型读取了这些不完整的数据，造成了整个业务线的混乱。这种场景是原
2023-10-27 数据工程
Software Engineering & Architecture Clojure CAP Theorem Data Lake
构建基于Podman和MLflow的封闭式NLP模型训练与观测管道 构建基于Podman和MLflow的封闭式NLP模型训练与观测管道
团队的NLP模型交付流程正变得越来越不可控。一个典型场景是，数据科学家在本地Jupyter环境中验证了一个F1分数高达0.95的模型，但同一个模型在集成到生产环境后表现大幅下滑，甚至无法启动。追查原因往往耗费数天，结果通常是Python环境
2023-10-27 MLOps
Jest Grafana Podman NLP MLflow
3 / 5