Flink 2.0 存算分离状态存储 — ForSt DB
本文整理自阿里云技术专家兰兆千在Flink Forward Asia 2024上的分享，主要介绍Flink 2.0的存算分离架构、全新状态存储内核ForSt DB及工作进展与未来展望。Flink 2.0通过存算分离解决了本地磁盘瓶颈、检查点资源尖峰和作业恢复速度慢等问题，提升了云原生部署能力。ForSt DB作为嵌入式Key-value存储内核，支持远端读写、批量并发优化和快速检查点等功能。性能测试表明，ForSt在异步访问和本地缓存支持下表现卓越。未来，Flink将继续完善SQL Operator的异步优化，并引入更多流特性支持。
快递员送包裹与一致性哈希的关系
一致性哈希（Consistent Hashing）是一种用于分布式系统中数据分布和负载均衡的哈希技术。通过构建哈希环，将节点和数据映射到环上，实现动态扩展和高容错。具体步骤包括：1. 构建哈希环；2. 分配快递员；3. 分配快递包裹；4. 增加或减少节点时，仅需重定位少量数据，减少迁移成本。虚拟节点的引入进一步提高了数据分布的均匀性。
如果对方没做幂等！记一次生产订单重复的反思
公司旧系统中发现一个严重bug：用户支付一年服务费，系统却将有效期增加了两年。经分析，原因是消息队列（MQ）向第三方服务发送了两次消息，且该接口未实现幂等性控制。此问题可能导致财务损失和信誉受损。解决方案包括：生产者端通过请求频率限制、幂等键等防重措施；消费者端利用缓存和数据库确保幂等性；消息队列层配置去重功能、TTL和死信队列等。
解读BASE理论：高可用性与性能的完美平衡
BASE理论是一种处理大规模分布式系统中数据一致性问题的思路，主要由基本可用、软状态和最终一致性三部分组成。基本可用强调系统在故障时仍能提供部分服务；软状态允许系统中的状态在一定时间内不一致；最终一致性保证所有数据副本最终会达到一致。这些特性使BASE理论适用于高可用性和性能要求较高的系统。
一致性哈希：解决分布式难题的神奇密钥
一致哈希是一种特殊的哈希算法，用于分布式系统中实现数据的高效、均衡分布。它通过将节点和数据映射到一个虚拟环上，确保在节点增减时只需重定位少量数据，从而提供良好的负载均衡、高扩展性和容错性。相比传统取模方法，一致性哈希能显著减少数据迁移成本，广泛应用于分布式缓存、存储、数据库及微服务架构中，有效提升系统的稳定性和性能。
所有的接口都需要幂等吗？
幂等性（Idempotency）源自数学，指多次执行某操作结果不变。在计算机科学中，它确保在网络通信、重试机制和并发操作下系统状态一致。常见应用如HTTP方法中的GET、PUT、DELETE及数据库操作中的SELECT、UPDATE、DELETE等。实现幂等性可通过唯一请求ID、数据库约束、状态检查等方法。并非所有业务都需要幂等处理，需根据业务逻辑、系统容错策略及性能复杂度权衡。
独特架构打造新一代消息队列Apache Pulsar
Apache Pulsar 是一个开源的分布式消息流平台，由雅虎开发并于 2016 年开源，2018 年成为 Apache 顶级项目。Pulsar 通过独特的架构提供多租户、持久化存储和批处理等高级功能，支持高吞吐量、低延迟的消息传递。其核心组件包括 Broker、Apache BookKeeper 和 Apache ZooKeeper，分别负责消息处理、持久化存储和集群管理。
为什么是删除缓存，而不是更新缓存？
本文介绍了数据库与缓存一致性的常见方案——Cache-Aside Pattern（旁路缓存模式），并分析了其工作流程及优势。该模式通过应用程序显式管理缓存，确保数据一致性。文章详细探讨了删除缓存而非更新缓存的原因，包括避免数据不一致、简化操作、减少并发问题及提高性能。删除缓存能有效保证下次请求获取最新数据，尤其在高并发场景下，确保系统的简单性和可靠性。
写代码原来如此简单：两种常用代码范式
一次项目包含非常多的流程，有需求拆解，业务建模，项目管理，风险识别，代码模块设计等等，如果我们在每次项目中，都将精力大量放在这些过程的思考上面，那我们剩余的，放在业务上思考的精力和时间就会大大减少；这也是为什么我们要 总结经验/方法论/范式 的原因；这篇文章旨在建立代码模块设计上的思路，给出了两种非常常用的设计范式，减少未来在这一块的精力开销。