Apache Pulsar 确实需要记录偏移量，以确保消息的可靠投递和消费者对消息的有序消费。偏移量在Pulsar中扮演着至关重要的角色，它用于跟踪和管理消费者在特定主题上的消费进度。以下是如何在Pulsar中使用偏移量的详细说明：
消息偏移量：
每条发布到Pulsar主题的消息都有一个唯一的偏移量（offset），它是消息在主题内部逻辑分区（ledger）中的唯一位置标识。偏移量通常是一个单调递增的数字，表示消息在分区中的顺序位置。消费者偏移管理：
- 持久化订阅（Durable Subscription）：当消费者订阅一个主题时，Pulsar会为该消费者创建一个持久化的游标（Cursor），记录消费者在每个分区上的消费偏移量。每当消费者成功消费一条消息时，Pulsar会自动更新游标，将偏移量推进到下一条待消费的消息。这样即使消费者断开连接再重新连接，也可以从上次离开的地方继续消费，保证消息不会丢失或重复消费。
- 非持久化订阅（Non-Durable Subscription）：对于非持久化订阅，消费者不需要记录偏移量，通常用于短暂的、一次性消费或不需要保证消息持久性的场景。一旦消费者关闭，其消费进度将不会被保留。
手动管理偏移量：
Pulsar提供了API和工具，允许管理员或应用程序开发者手动管理消费者的偏移量。例如，可以重置消费者的消费位置到特定的偏移量，或者向前/后移动一定数量的消息。这在处理异常、调试问题或重新处理历史数据时非常有用。订阅模式与偏移量：
Pulsar支持多种订阅模式，不同的订阅模式决定了消费者如何处理偏移量和消息顺序：- 独占（Exclusive）订阅：只有一个消费者能连接到该订阅，偏移量由该消费者独占管理。
- 共享（Shared）订阅：多个消费者可以同时消费同一个订阅，每个消费者负责消费一部分消息，偏移量在所有消费者间协调管理。
- 故障转移（Failover）订阅：一组消费者形成一个消费者组，只有一个消费者处于活跃状态，其他消费者作为备份。活跃消费者管理偏移量，当活跃消费者故障时，备份消费者接管并从上次的偏移量继续消费。
- 键值订阅（Key_Shared）订阅：与共享订阅类似，但基于消息的键（key）进行负载均衡，确保具有相同键的消息被同一个消费者消费，每个消费者管理自己负责键的消息偏移量。
跨集群复制与偏移量：
在涉及跨集群复制的场景中，Pulsar需要在不同集群间同步消息及其偏移量，以确保无论消费者连接到哪个集群，都能看到一致的消费进度和消息顺序。
综上所述，Pulsar在设计上非常依赖偏移量来跟踪和管理消息的消费状态，确保消息的可靠传递、消费顺序以及在各种订阅模式下的正确行为。无论是对于单个消费者还是在复杂的多消费者、多集群环境中，偏移量都是Pulsar消息系统的核心组成部分。
