复杂舆情分析系统的架构设计及演进置顶
从内容聚类的单阈值、双阈值与pending,到风险投票、内容与事件两层组织及Prompt对照,再到日志治理、异步消费者、近重复召回、Go关键词匹配和模型中心,回顾一套多机构舆情分析系统在持续运行中的架构演进,说明每次调整的触发问题、方案取舍与后续边界。
从内容聚类的单阈值、双阈值与pending,到风险投票、内容与事件两层组织及Prompt对照,再到日志治理、异步消费者、近重复召回、Go关键词匹配和模型中心,回顾一套多机构舆情分析系统在持续运行中的架构演进,说明每次调整的触发问题、方案取舍与后续边界。
从手动关键词匹配引发的 ES 高负载出发,记录选择独立 Go 消费者的四个理由,并结合 Java、C++、Rust 等候选的取舍,以及上线后的进程资源和匹配阶段耗时观察,说明这次渐进迁移的决策与验证。
从逐规则 ES 查询带来的压力出发,结合统一示例解释 AC 自动机的多关键词扫描、关键词倒排的候选筛选、预编译布尔表达式的最终判断,逐项分析它们解决的问题、可替代实现和运行成本,并保留规则更新与匹配语义的验收边界。
不同平台的同类文章反复调用大模型,既增加 Token 成本,也可能产生不同的相关性和风险判断。本文记录统一异步文章消费者从 ES 召回+Jaccard 精判,改为 Redis+SimHash 召回+Jaccard 精判的过程,以及覆盖范围扩大后的负载问题、召回调整与资源压力变化。
从电路、指令与程序运行,到语言实现、数据库和安全通信,这些书帮助我把日常开发中的工具与底层机制联系起来。本文分享我为什么推荐这组书,以及怎样带着实际问题,在不同层次之间继续学习。
从订单事件、日志与 CDC、长任务、超时提醒、流量削峰和小团队六类场景出发,先明确一致性、回放、并发与维护约束,再选择消息队列,并给出最小验证方法。
这本书用图把对称密码、工作模式、公钥密码、散列、HMAC、签名与证书讲得清楚通俗,帮助我理解整套密码系统,也为开发中的加密、认证和安全通信提供了可以反复查阅的基础。
这本书用通俗的讲解串起记录、页、索引、日志与事务,尤其帮助我理解 B+ 树以及 redo、undo 的作用。我当时在掘金购买电子版学习,也愿意推荐给已会基本 SQL、希望进入原理学习的开发者。
这本书让我把 Redis 的基础能力与工程问题联系起来,理解分布式锁、位图和布隆过滤器的用途与边界。其中分布式锁已经用于我的实际项目,也让我更重视获取、过期、释放和故障恢复的完整过程。
这本书让我从 Redis 命令走向数据结构、事件循环、持久化与多机协作的内部原理,理解性能和内存之间的取舍,也成为需要深入某个功能时可以反复查阅的参考书。