kafkaack源码分析_kafka源码剖析

一文解密Kafka,Kafka源码设计与实现原理剖析,真正的通俗易懂

Kafka里面每一条消息都有自己的逻辑offset(相对偏移量)以及存在物理磁盘上面实际的物理地址便宜量Position，也就是说在Kafka中一条消息有两个位置：offset(相对偏移量)和position(磁盘物理偏移地址)。

ApacheKafka是一套开源的消息系统，它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式，分区化，可复制的提交日志服务。现在，LinkedIn公司有三个同事离职创业，继续开发kafka。

Kafka是一个高性能的分布式消息队列系统，它主要用于解决大规模数据处理中的消息传递问题。

简而言之，kafka 本质就是一个消息系统，与大多数的消息系统一样，主要的特点如下：与 ActiveMQ、RabbitMQ、RocketMQ 不同的地方在于，它有一个**分区 Partition **的概念。

kafka发送进行消息压缩有两个地方，分别是生产端压缩和Broker端压缩。

Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流数据（ActivityStream）和运营数据处理管道（Pipeline）的基础。现在它已被多家公司作为多种类型的数据管道和消息系统使用。

Kafka的ack机制

1、由于kafka生产者确认机制、失败重试机制的存在，kafka的消息不会丢失但是存在由于网络延迟等原因造成重复发送的可能性。 所以我们要考虑消息幂等性的设计。 kafka提供了幂等性Producer的方式来保证消息幂等性。

2、) kafka 奇数n节点场景，kafka服务端的动态同步副本列表ISR为n个，最小同步副本数min.insync.replicas均为(n+1)/2，生产者的副本数为(n+1)/2和ack=all。

3、③、kafka broker宕机，kafka会有自选择，所以宕机不会减少partition数量，也就不会影响partitionKey的sharding。

4、精确一次（Exactly Once） = 幂等性 + 至少一次（ ack=-1 + 分区副本数=2 + ISR最小副本数量=2）开启参数 enable.idempotence 默认为 true，false 关闭。

5、Kafka 的副本机制是多个服务端节点对其他节点的主题分区的日志进行复制。当集群中的某个节点出现故障，访问故障节点的请求会被转移到其他正常节点(这一过程通常叫 Reblance)。

6、是通过ack机制，类似于http的三次握手的方式。以上的引用是kafka官方对于参数 acks 的解释（在老版本中，该参数是 request.required.acks ）。

Kafka:如何高效运维之主题篇

1、Kafka 提供了数据段压缩的功能，按照相同 Key 只保留最新 Key 的策略，减少数据段大小，系统主题__consumer_offsets(用于存储消息进度的主题)其清除策略就是 compact。

2、Kafka按照接收顺序对归集的信息进行缓存，并加入待消费队列。Kafka的consumer读取队列信息，并一定的处理策略，将获取的信息更新到数据库。完成数据到数据中心的存储。

3、在0.1版本，Kafka对心跳机制进行了修改，将发送心跳与拉取消息进行分离，这样使得发送心跳的频率不受拉取的频率影响。

4、当前消费者需要提交的消费位移是offset+1 在旧消费者客户端中，消费位移是存储在 ZooKeeper 中的。而在新消费者客户端中，消费位移存储在 Kafka 内部的主题__consumer_offsets 中。

5、Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理大量的数据并且具备高并发能力。其核心思想是通过分布式的方式将消息发送给多个服务节点，从而实现高效的数据传输。

6、topic是kafka的生产者和消费者最小交互的单位，我们先从topic入手，创建第一个topic.或 所以执行上面命令将会创建一个名为mytest的topic，该topic下面有1个分区，并且该分区只有1个副本。

小记一次Kafka集群响应慢问题追查

1、某一天业务来找我，反映发数据到某一个Kafka集群特别慢。并且他们提供了一份自己的测试结果，结果显示发送数据到Kafka集群A的平均响应延迟在10ms以内，但是发送到Kafka集群B的平均响应延迟却达到了2000ms+。

2、kafka.acks = all，这里的ack有3个选项，0、all 。

3、Kafka 集群中有一个 broker 会被选举为 Controller，负责管理集群 broker 的上下线，所 有 topic 的分区副本分配和 leader 选举等工作。Controller 的管理工作都是依赖于 Zookeeper 的。

4、网络中的任何一台主机，都可以通过启动Broker进程而加入Kafka集群，能够接收Producer的消息，能够篡改消息并发送给Consumer。

5、一共用三台物理机器，搭建一个Kafka集群。每台服务器的硬盘划分都是一样的，每个独立的物理磁盘挂在一个单独的分区里面，这样很方便用于Kafka多个partition的数据读写与冗余。

ApacheKafka开源消息系统_kafka源码分析

1、ApacheKafka是一套开源的消息系统，它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式，分区化，可复制的提交日志服务。现在，LinkedIn公司有三个同事离职创业，继续开发kafka。

2、实际上 Topic 的创建在 Kafka 源码解析之 topic 创建过程（三） 中已经讲述过了，本篇与前面不同的是，本篇主要是从 Controller 角度来讲述，而且是把新建、扩容、删除这三个 Topic 级别的操作放在一起做一个总结。

3、作为一款典型的消息中间件产品，kafka系统仍然由producer、broker、consumer三部分组成。

4、Kafka是一个由Scala和Java编写的企业级的消息发布和订阅系统，最早是由Linkedin公司开发，最终开源到Apache软件基金会的项目。

《ApacheKafka源码剖析》pdf下载在线阅读,求百度网盘云资源

1、Neha Narkhede， Confluent联合创始人、CTO，曾在LinkedIn主导基于Kafka和Apache Samza构建流式基础设施，是Kafka作者之一。

2、ApacheKafka是一套开源的消息系统，它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式，分区化，可复制的提交日志服务。现在，LinkedIn公司有三个同事离职创业，继续开发kafka。

3、历经7年发展，2017年 11月，Apache Kafka正式演进到0时代，本书就是基于00版本来展开介绍Kafka的设计原理与实战的。