winmaxfit
本站致力于IT相关技术的分享
构建基于 LangChain 的动态 WAF 插件并集成至 APISIX 网关的 DevSecOps 实践 构建基于 LangChain 的动态 WAF 插件并集成至 APISIX 网关的 DevSecOps 实践
传统的 Web 应用防火墙（WAF）过度依赖静态正则表达式规则集，在面对针对业务逻辑的复杂攻击、0-day 漏洞利用，尤其是针对大型语言模型（LLM）应用的提示词注入（Prompt Injection）时，显得越来越力不从心。维护这些规则集
2023-10-27 DevSecOps
WAF LangChain SSR Jenkins APISIX
在 AWS EKS 上构建具备 ACID 保证的 CQRS 命令侧服务 在 AWS EKS 上构建具备 ACID 保证的 CQRS 命令侧服务
在一个典型的CQRS系统中，命令处理器接收一个命令，执行业务逻辑，更新数据库中的聚合状态，然后发布一个领域事件。这个流程看似简单，但在分布式环境中却暗藏着一个致命的问题：如果在数据库事务提交成功后、事件发布到消息队列之前，服务实例发生崩溃或
2023-10-27 分布式系统
Go CQRS AWS EKS ACID Kubernetes Transactional Outbox
为Hadoop生态构建具备ACID特性的数据依赖扫描与血缘追踪系统 为Hadoop生态构建具备ACID特性的数据依赖扫描与血缘追踪系统
一个线上突发的Log4j高危漏洞，将整个技术团队拖入了长达数周的应急响应。问题不在于修复Java应用本身，真正的梦魇来自于数据平台。成千上万的Hadoop任务，每天处理着PB级的数据，它们运行时依赖了各式各样的JAR包。现在，一个无法回避的
2023-10-27 数据工程
ACID Hadoop 依赖扫描 Iceberg 数据治理
构建基于Kubeflow的分布式SciPy计算组件以处理海量数据湖特征工程 构建基于Kubeflow的分布式SciPy计算组件以处理海量数据湖特征工程
我们的特征工程管道遇到了一个无法回避的物理瓶颈。最初为GB级数据集设计的、基于SciPy和Pandas的信号处理脚本，在面对数据湖中TB级的时序数据时，单机执行时间从几小时飙升到数天。简单地垂直扩展实例（使用内存和CPU更大的机器）很快就触
2023-10-27 MLOps
Kubernetes Kubeflow MLOps SciPy Data Lake
在GKE上利用自定义Kong插件为OpenFaaS函数构建分布式GraphQL聚合层 在GKE上利用自定义Kong插件为OpenFaaS函数构建分布式GraphQL聚合层
我们面临一个典型的Serverless架构演进后的困境：几十个细粒度的OpenFaaS函数部署在Google Kubernetes Engine (GKE)上，每个函数负责一个独立的业务领域，例如查询用户信息、获取订单列表、检查库存状态。前
2023-10-27 云原生
Google Cloud (GCP) OpenFaaS Kong GraphQL Client
在 Monorepo 架构下统一 Webpack 前端构建与 Hadoop 数据管道的平台工程实践 在 Monorepo 架构下统一 Webpack 前端构建与 Hadoop 数据管道的平台工程实践
一个棘手的现实摆在面前：我们的前端团队使用 React 和 Webpack，以周为单位快速迭代；而数据团队则维护着一套基于 Java 的 Hadoop MapReduce 任务，发布周期以月计，流程繁琐。两个团队之间唯一的交集，是一份口头约
2023-10-27 架构与设计
DevOps Hadoop Monorepo Webpack SQL 平台工程
3 / 5