datacored
本站致力于IT相关技术的分享
基于eBPF与Haskell构建零侵入的多协议数据库可观测性代理 基于eBPF与Haskell构建零侵入的多协议数据库可观测性代理
我们面临的第一个问题不是技术选型，而是组织惯性。一个拥有数百个微服务的庞大系统，技术栈横跨十年，从老旧的Java Monolith到现代的Go服务，底层依赖着MySQL集群、Elasticsearch和一套用于实时分析的ClickHouse
2023-10-27 可观测性
Haskell MySQL ClickHouse Elasticsearch Jaeger eBPF
基于强化学习与Ansible实现Node.js有状态应用的预测性自动伸缩 基于强化学习与Ansible实现Node.js有状态应用的预测性自动伸缩
我们维护的一个核心Node.js服务遇到了一个棘手的伸缩问题。它负责处理实时的、有状态的WebSocket连接，用于一个大规模的协作平台。流量模式极难预测，既有规律性的早晚高峰，又会因为突发事件（例如一场大型线上活动的直播）引发数倍于平时的
2023-10-27 DevOps
Node.js 强化学习 Ansible
在敏捷流程中嵌入Java构件的自动化签名与验证机制 在敏捷流程中嵌入Java构件的自动化签名与验证机制
我们团队的敏捷节奏是两周一个迭代，CI/CD流水线每天要跑上百次。最近一个季度的复盘会上，一个潜在风险被摆上了桌面：我们如何确保部署到生产环境的JAR包，就是CI服务器上经过完整测试、最终构建出来的那个？长久以来，我们依赖的是Artifac
2023-10-27 DevSecOps
CI/CD Java Security 敏捷开发 软件供应链安全
集成 Python Dask 集群与 Ruby Monolith 用于大规模 SQL 分析卸载 集成 Python Dask 集群与 Ruby Monolith 用于大规模 SQL 分析卸载
一个成熟的Ruby on Rails应用，承载着数年的核心业务逻辑，在面对TB级用户行为数据聚合分析的新需求时，其固有的技术栈瓶颈暴露无遗。单纯依赖Active Record和Sidekiq进行数据分块处理，不仅会因Ruby的全局解释器锁（
2023-10-27 架构与设计
gRPC Ruby Dask SQL 分布式计算
使用 Ruby 与 SQL 构建驱动 ISR 页面刷新的依赖扫描与漏洞告警引擎 使用 Ruby 与 SQL 构建驱动 ISR 页面刷新的依赖扫描与漏洞告警引擎
性能和实时性，在面向开发者的内部平台上，往往是一对难以调和的矛盾。我们内部的数百个微服务项目，需要一个统一的安全态势看板，展示每个项目的依赖漏洞情况。最初的方案是服务端渲染（SSR），每次加载页面都实时查询数据库，这在高并发下给数据库造成了
2023-10-27 DevSecOps
Ruby SQL ISR 依赖扫描
构建基于 Webhook 的增量数据管道驱动 Gatsby 站点实时更新 构建基于 Webhook 的增量数据管道驱动 Gatsby 站点实时更新
静态站点生成器（SSG）如 Gatsby 的核心优势在于其预构建带来的极致性能和安全性。然而，这也带来了其固有的痛点：数据源的任何微小变动都可能需要触发一次完整的、耗时的全站构建。在一个内容更新频率较高的真实项目中，等待数分钟的构建流程是无
2023-10-27 后端架构
SQLite Express.js Gatsby Webhook 增量构建
3 / 5