kafka防止消息重复消费

1、如果要保证一致性，需要生产者在失败后重试，不过重试又会导致消息重复的问题，一个解决方案是每个消息给一个唯一的id，通过服务端的主动去重来避免重复消息的问题，不过这一机制目前Kafka还未实现。

2、设置自动提交为false；消息处理成功之后，手动进行commit。采用这种模式时，最好保证消费操作的“幂等性”，防止重复消费。exactly onece模式 核心思想是将offset作为唯一id与消息同时处理，并且保证处理的原子性。

3、这个时候偏移量已经落后了3s，所以在这3s内到达的消息会被重复处理。可以通过修改提交时间间隔来更频繁地提交偏移量，减小可能出现重复悄息的时间窗，不过这种情况是无也完全避免的。

4、Kafka和其它消息系统有一个不一样的设计，在consumer之上加了一层group。同一个group的consumer可以并行消费同一个topic的消息，但是同group的consumer，不会重复消费。

5、消息消费者从Kafka的broker中订阅topic并获取分配到的分区，然后从分区中拉取消息进行消费。Kafka支持多个消费者组，每个消费者组内的消费者共享一个topic的消息，但不会重复消费消息。

6、“sticky”这个单词可以翻译为“粘性的”，Kafka从0.1x版本开始引入这种分配策略，它主要有两个目的：为什么会重复消费：第一种可能是生产者重复发送消息。

2020-11-16-Kafka-3(面试题)

谈谈你对Kafka幂等性的理解？Producer的幂等性指的是当发送同一条消息时，数据在Server端只会被持久化一次，数据不丢不重，但是这里的幂等性是有条件的：Kafka是在0.11版本开始引入了事务支持。

生产者负载均衡 由于同一个Topic消息会被分区并将其分布在多个Broker上，因此，生产者需要将消息合理地发送到这些分布式的Broker上，那么如何实现生产者的负载均衡，Kafka支持传统的四层负载均衡，也支持Zookeeper方式实现负载均衡。

Kafka面试题谈谈你对Kafka幂等性的理解？Producer的幂等性指的是当发送同一条消息时，数据在Server端只会被持久化一次，数据不丢不重，但是这里的幂等性是有条件的：Kafka是在0.11版本开始引入了事务支持。

应使用 === 运算符来测试此函数的返回值。

一文解密Kafka,Kafka源码设计与实现原理剖析,真正的通俗易懂

1、Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流数据（ActivityStream）和运营数据处理管道（Pipeline）的基础。现在它已被多家公司作为多种类型的数据管道和消息系统使用。

2、Kafka采用发布/订阅模型，消息发布者将消息发送到Kafka的消息中心（broker）中，然后由订阅者从中心中读取消息。一个消息可以被多个订阅者同时读取。

3、Kafka里面每一条消息都有自己的逻辑offset(相对偏移量)以及存在物理磁盘上面实际的物理地址便宜量Position，也就是说在Kafka中一条消息有两个位置：offset(相对偏移量)和position(磁盘物理偏移地址)。

4、ApacheKafka是一套开源的消息系统，它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式，分区化，可复制的提交日志服务。现在，LinkedIn公司有三个同事离职创业，继续开发kafka。

5、kafka消息的有序性，是采用消息键保序策略来实现的。 一个topic，一个partition(分割)，一个consumer，内部单线程消费，写N个内存queue，然后N个线程分别消费一个内存queue。