datacored
本站致力于IT相关技术的分享
在GKE上构建基于Workload Identity与最小权限原则的多租户BASE搜索服务 在GKE上构建基于Workload Identity与最小权限原则的多租户BASE搜索服务
我们面临一个棘手的多租户数据隔离问题。团队负责维护一个中心化的搜索服务，后端是Elasticsearch集群，为公司内部数十个应用提供日志、指标和业务数据的检索能力。最初的架构简单粗暴：一个巨大的ES集群，通过不同的index前缀区分租户，
2023-10-27 云原生
BASE GCP GKE IAM 搜索
为高安全性实时AI应用构建tRPC、WebAuthn与TensorFlow.js的全栈技术栈选型与实现 为高安全性实时AI应用构建tRPC、WebAuthn与TensorFlow.js的全栈技术栈选型与实现
定义问题：一个无法妥协的安全与实时性需求我们需要构建一个内部专家审查系统。场景是金融风控，专家需要实时审查并标注由机器学习模型标记的可疑交易。该系统的技术要求极为苛刻： 顶级安全性: 鉴于数据的敏感性，认证过程必须能抵御网络钓鱼和中间人
2023-10-27 全栈架构
tRPC TensorFlow Valtio WebAuthn 全栈开发 类型安全
构建具备动态背压与批量处理能力的 Kafka 至 OpenSearch 高性能索引器 构建具备动态背压与批量处理能力的 Kafka 至 OpenSearch 高性能索引器
面临的技术问题非常具体：一个每日产生数十亿条日志的系统，其数据通过 Kafka 集群进行汇聚，峰值流量可达每秒 10 万条消息。下游需要一个稳定可靠的索引服务，将这些数据实时地写入 OpenSearch 集群，以供即时查询与分析。这里的核心
2023-10-27 后端架构
Go OpenSearch Kafka 高性能 数据管道
构建基于ELK与Pinecone的实时语义日志关联分析引擎 构建基于ELK与Pinecone的实时语义日志关联分析引擎
在处理一个拥有数百个微服务的分布式系统时，日志聚合与搜索是可观测性的基石，但传统的基于关键词的搜索范式正在迅速失效。当服务A的日志记录“database connection pool exhausted”而服务B记录“timeout wa
2023-10-27 架构与设计
分布式系统 ELK Stack Pinecone WebSockets AIOps
构建从CI到生产的全链路可观测性：整合Cypress、Jaeger与Svelte的GitOps实践 构建从CI到生产的全链路可观测性：整合Cypress、Jaeger与Svelte的GitOps实践
CI流水线里一个端到端测试失败了，日志只留下一行冰冷的 500 Internal Server Error。前端开发者认为是后端的锅，后端开发者检查日志发现并无可疑之处，而AI模型的工程师则表示模型服务的心跳正常。皮球被踢了一圈，数小时后问
2023-10-27 可观测性
Jaeger CI/CD 与 GitOps Cypress AI、数据科学与大数据 Svelte
构建Swift原生容器、Service Worker与ClickHouse协同的离线分析前端架构 构建Swift原生容器、Service Worker与ClickHouse协同的离线分析前端架构
我们需要为一个内部数据平台构建一个高性能的分析前端。后端是ClickHouse集群，存储着数TB级的用户行为日志。业务需求非常明确：交互必须流畅，数据可视化响应迅速，并且，一个关键的、非功能性需求是——支持离线分析。这意味着用户在断网或网络
2023-10-27 架构设计
ClickHouse Service Workers Swift 架构设计 PWA
4 / 5