一探究竟：kafka的可用共识机制与raft算法

我们不想管控哪些微电脑普选视作Controller,而在kafka3总括都,我们可以通过配备份文件来自己登录哪些微电脑视作Controller,这样做的益处就是我们可以登录一些配备相当较低的微电脑作为Controller路由表,从而意味着controller路由表的稳健性。

被选中都的controller路由表参与软件包在资料自造降兵的普选，每个controller路由表要么是Active情况下，或者就是standBy情况下.

Process.Roles

适用KRaft方式也来直通kafka自造降兵的话，我们有一个配备又叫Process.Roles需要配备，这个数值有下述四个较大值可以透过配备

Process.Roles = Broker, 增值器端在KRaft方式也中都都是 Broker。 Process.Roles = Controller, 增值器端在KRaft方式也下都是 Controller。 Process.Roles = Broker,Controller，增值器端在KRaft方式也中都同时都是 Broker 和Controller。 如果process.roles 并仍未设立。那么自造降兵就并不一定是直通在ZooKeeper方式也下。

如果需从zookeeper方式也转换视作KRaft方式也，那么需透过非常进一步XML立体化。如果一个路由表同时是Broker和Controller路由表,那么就称做三组合路由表。

实质指导总括都，如果而无须的话，尽用量还是将Broker和Controller路由表透过分离重新部署。不必要由于增值器端资源不够的有可能会造成了OOM等一系列的有可能会

Quorum Voters

通过controller.quorum.voters配备来实习哪些路由表是Quorum的并转票表决路由表,所有想视作电源的路由表,都需要放到这个配备之中面。

每个Broker和每个Controller都需要配备Controller.quorum.voters，该配备总括都透过的路由表ID需要与透过给增值器端的路由表ID始终保持以在此在此不久。

每个Broker和每个Controller 都需要设立 controller.quorum.voters。需警惕的是，controller.quorum.voters 配备中都透过的路由表ID需要与透过给增值器端的路由表ID缓冲器。

比如在Controller1上，node.Id需要设立为1，三和。警惕，电源id不最弱制要求你从0或1开始。然而，非常进一步分配路由表ID的最恰当和最不非常容易混淆的步骤是给每个增值器端一个数字ID，然后从0开始。

2.1、下载并tar安装包在

bigdata01下载kafka的安装包在，并透过tar

[hadoop@bigdata01 kraft]$ cd /opt/soft/[hadoop@bigdata01 soft]$ wget _2.12-3.1.0.tgz[hadoop@bigdata01 soft]$ tar -zxf kafka_2.12-3.1.0.tgz -C /opt/install/

变动kafka的配备份文件broker.properties

[hadoop@bigdata01 kafka_2.12-3.1.0]$ cd /opt/install/kafka_2.12-3.1.0/config/kraft/[hadoop@bigdata01 kraft]$ vim broker.properties

变动主编主旨如下

node.id=1controller.quorum.voters=1@bigdata01:9093listeners=PLAINTEXT://bigdata01:9092advertised.listeners=PLAINTEXT://bigdata01:9092log.dirs=/opt/install/kafka_2.12-3.1.0/kraftlogs

成立两个份文件夹

[hadoop@bigdata01 kafka_2.12-3.1.0]$ mkdir -p /opt/install/kafka_2.12-3.1.0/kraftlogs[hadoop@bigdata01 kafka_2.12-3.1.0]$ mkdir -p /opt/install/kafka_2.12-3.1.0/topiclogs

该系统安装包在到其他微电脑右边去

2.2、增值器端自造降兵重启

重启kafka增值

[hadoop@bigdata01 kafka_2.12-3.1.0]$ ./bin/kafka-storage.sh random-uuidYkJwr6RESgSJv-sxa1R1mA[hadoop@bigdata01 kafka_2.12-3.1.0]$ ./bin/kafka-storage.sh format -t YkJwr6RESgSJv-sxa1R1mA -c ./config/kraft/server.propertiesFormatting /opt/install/kafka_2.12-3.1.0/topiclogs[hadoop@bigdata01 kafka_2.12-3.1.0]$ ./bin/kafka-server-start.sh ./config/kraft/server.properties 2.3、成立kafka的topic

自造降兵重启失败不久，就可以来成立kafka的topic了，适用下述下达来成立kafka的topic

./bin/kafka-topics.sh ；还有create ；还有topic kafka_test ；还有partitions 3 ；还有replication-factor 2 ；还有bootstrap-server bigdata01:9092,bigdata02:9092,bigdata03:9092 2.4、理论上一台微电脑查阅kafka的topic

三组成自造降兵不久，理论上一台微电脑就可以通过下述下达来查阅到同一时间成立的topic了

[hadoop@bigdata03 ~]$ cd /opt/install/kafka_2.12-3.1.0/[hadoop@bigdata03 kafka_2.12-3.1.0]$ bin/kafka-topics.sh ；还有list ；还有bootstrap-server bigdata01:9092,bigdata02:9092,bigdata03:9092 2.5、死讯采购与折扣

适用下达行来采购以及折扣kafka总括都的死讯

[hadoop@bigdata01 kafka_2.12-3.1.0]$ bin/kafka-console-producer.sh ；还有bootstrap-server bigdata01:9092,bigdata02:9092,bigdata03:9092 ；还有topic kafka_test[hadoop@bigdata02 kafka_2.12-3.1.0]$ bin/kafka-console-consumer.sh ；还有bootstrap-server bigdata01:9092,bigdata02:9092,bigdata03:9092 ；还有topic kafka_test ；还有from-beginning 3、Kafka总括都Raft的介绍 3.1、kafka最弱忽视zk所造成了的有可能会

在此在此不久面我们在此不久认出了kafka3自造降兵在并仍未zk自造降兵的忽视下，也可以警惕到异常直通，那么kafka2在zk总括都存留的各种正要软件包在资料个人信息，在kafka3总括都如何借助于存留的呢？

kafka以在此在此不久都是适用zk来管理工作自造降兵以及所有的topic的软件包在资料，并且适用了zk的最弱主张上性来普选自造降兵的controller，controller对整个自造降兵的管理工作至关正要，以外的区的新增，ISR一览表的确保，等等很多机能都需靠controller来借助于，然后适用zk来确保kafka的软件包在资料也不存在很多的有可能会以及不存在稳定性瓶颈。

下述是kafka将软件包在资料存留在zk总括都的诸多有可能会。

1、软件包在资料位址困难

软件包在资料的位址过于困难，每次非常进一步普选的controller需把整个自造降兵的软件包在资料非常进一步restore，非常的耗时且影响自造降兵的可用性。

2、软件包在资料修正因特网所需大

整个软件包在资料的修正操作者也是以全用量推的方式为透过，因特网的所需也时会非常大。

3、最弱振荡违背软件设计主张

Zookeeper 对于运维来说，确保Zookeeper也需一定的所需，并且kafka最弱振荡与zk也并不好，还得总能担心zk的宕机有可能会，违背软件设计的较低内聚，低振荡的主张。

4、因特网的区最优立体化较低

Zookeeper本身并不用考虑到到broker与broker之有数无线电的情况下，这就时会造成了因特网的区的最优立体化成拓扑学个数增长。

5、zk本身不简便做死讯字段

zookeeper不简便做死讯字段，因为 zookeeper有1M的死讯尺寸限制 zookeeper的children不算多时会非常大的影响稳定性znode不算大也时会影响稳定性 znode不算大时会造成了后续zkserver耗时10-15分钟 zookeeper仅适用闪存作为读取，所以不用读取不算多东西。

6、模版访问zk有可能会多

很好单线程操作者zk浏览器，不要模版，临界、竞态有可能会不算多

基于以上各种有可能会，所以提显现出了脱离zk的建议，转向自助研发最弱主张上性的软件包在资料解决建议，也就是KIP-500。

KIP-500议案提显现出了在Kafka中都处理事件软件包在资料的非常好步骤。基本马克思主义是"Kafka on Kafka"，将Kafka的软件包在资料读取在Kafka本身中都，需要降低额外的外部读取比如ZooKeeper等。

去zookeeper不久的kafka新架构

在KIP-500中都，Kafka电源时会将其软件包在资料读取在Kafka的区中都，而不是读取在ZooKeeper中都。但是，由于电源忽视于该的区，因此的区本身不用忽视电源来透过精神领袖普选之类的事情。而是，管理工作该的区的路由表需要借助于自我管理工作的Raft双方同意。

在kafka3.0的补丁总括都，适用了新KRaft两国政府，适用该两国政府来意味着在软件包在资料双方同意中都正确地的遗传物质软件包在资料，这个两国政府像是zk总括都的zab两国政府以及像是Raft两国政府，但是KRaft两国政府适用的是基于事件驱动的方式也，与ZAB两国政府和Raft两国政府还有一点不一样

在kafka3.0之在此在此不久的的原版总括都，主要是借助于controller来透过leader partition的普选，而在3.0两国政府总括都，适用了KRaft来借助于自己为了让leader，并终究令所有路由表达成歧见，这样重构了controller的普选全过程，优点非常加较低效。

3.2、kakfa3 Raft

在此在此不久面我们在此不久或许了在kafka3总括都可以并不需要再行忽视于zk来存留kafka总括都的软件包在资料了，转而适用Kafka Raft来借助于软件包在资料的主张上性，通称KRaft，并且将软件包在资料存留在kafka自己的增值器端总括都，大大提较低了kafka的软件包在资料管理工作的稳定性。

KRaft直通方式也的Kafka自造降兵，不时会将软件包在资料读取在 Apache ZooKeeper中都。即重新部署新自造降兵的时候，需要重新部署ZooKeeper自造降兵，因为Kafka将软件包在资料读取在 Controller 路由表的 KRaft Quorum中都。KRaft可以产生很多益处，比如可以拥护非常多的的区，非常短时有数速的切换Controller，也可以不必要Controller多线程的软件包在资料和Zookeeper读取的数据资料不主张上产生的一系列有可能会。

在补丁总括都，电源Controller路由表我们可以自己透过登录,这样较大的益处就是我们可以自己为了让一些配备相当好的微电脑视作Controller路由表，而不像在之在此在此不久的原版总括都，我们无法登录哪台微电脑视作Controller路由表，而且controller路由表与broker路由表可以直通在同一台微电脑上，并且电源controller路由表便行向broker自带修正死讯,而是让Broker从这个Controller Leader路由表透过纳去软件包在资料的修正。

3.3、如何查阅kafka3总括都的软件包在资料个人信息

在kafka3总括都，便行适用zk来存留软件包在资料个人信息了，那么在kafka3总括都如何查阅软件包在资料个人信息呢，我们也可以通过kafka除此以外的下达来透过查阅软件包在资料个人信息，在KRaft中都，有两个下达常用下达脚本语言，kafka-dump-log.sh和kakfa-metadata-shell.sh需我们来透过关注，因为我们可以通过这两个脚本语言来查阅kafka总括都存留的软件包在资料个人信息。

3.3.1、Kafka-dump-log.sh脚本语言来导显现出软件包在资料个人信息

KRaft方式也下，所有的软件包在资料个人信息都存留到了一个框架的topic右边，又叫@metadata，例如Broker的个人信息,Topic的个人信息等,我们都可以去到这个topic右边透过查阅,我们可以通过kafka-dump-log.sh这个脚本语言来透过查阅该topic的个人信息。

KRaft方式也下 ，原再行存留在Zookeeper上的数据资料，全部移转到到了一个框架的Topic：@metadata上了。比如Broker个人信息，Topic个人信息等等。所以我们需有一个工具查阅当在此在此不久的数据资料主旨。

Kafka-dump-log.sh是一个之在此在此不久就有的工具，用来查阅Topic的的份文件主旨。这工具加了一个数值；还有cluster-metadata-decoder用来，查阅软件包在资料记事，如下所示:

[hadoop@bigdata01 kafka_2.12-3.1.0]$ cd /opt/install/kafka_2.12-3.1.0[hadoop@bigdata01 kafka_2.12-3.1.0]$ bin/kafka-dump-log.sh ；还有cluster-metadata-decoder ；还有skip-record-metadata ；还有files /opt/install/kafka_2.12-3.1.0/topiclogs/紧接cluster_metadata-0/00000000000000000000.index,/opt/install/kafka_2.12-3.1.0/topiclogs/紧接cluster_metadata-0/00000000000000000000.log>>/opt/metadata.txt 3.3.2、kafka-metadata-shell.sh单独查阅软件包在资料个人信息

平时我们用zk的时候，习惯了用zk下达行查阅数据资料，恰当短时有数捷。bin目录下除此以外了kafka-metadata-shell.sh工具，可以允许你像zk一样方便的查阅数据资料。

适用kafka-metadata-shell.sh脚本语言转回kafka的软件包在资料浏览器

[hadoop@bigdata01 kafka_2.12-3.1.0]$ bin/kafka-metadata-shell.sh ；还有snapshot /opt/install/kafka_2.12-3.1.0/topiclogs/紧接cluster_metadata-0/00000000000000000000.log 4、Raft启发式介绍

raft启发式中都文原版翻译者介绍：_cn/blob/master/raft-zh_cn.md

闻名于世的CAP主张原指CAP定理的提显现出，真正奠基了地理分布式管理工作系统的诞生，CAP定理指的是在一个地理分布式管理工作系统中都，[主张上性]、[可用性]（Availability）、[的区容错性]（Partition tolerance），这三个要素最多情况下同时借助于双曲线，不有可能三者考虑到。

地理分布式管理工作系统为了提较低管理工作系统的耐用性，一般都时会为了让适用多原封不动的方式为来透过借助于，例如hdfs总括都数据资料的多原封不动，kafka自造降兵总括都的区的多原封不动等，但是一旦有了多原封不动的话，那么久陷于原封不动之有数主张上性的有可能会，而主张上性启发式就是 常用解决地理分布式状况下多原封不动的数据资料主张上性的有可能会。业界最闻名于世的主张上性启发式就是大名鼎鼎的Paxos，但是Paxos相当含蓄隐晦，不不算非常容易认知，所以还有一种又叫Raft的启发式，非常加恰当非常容易认知的借助于了主张上性启发式。

4.1、Raft两国政府的指导步骤 4.1.1、Raft两国政府总括都的角色地理分布

Raft两国政府将地理分布式管理工作系统总括都的角色分为Leader（精神领袖），Follower（跟从者）以及Candidate（候选者）

Leader：主路由表的角色，主要是转交浏览器恳求，并向Follower该系统记事，当记事该系统到过半及以上路由表不久，询问follower透过递交记事 Follower：从路由表的角色，接受并正因如此立体化Leader该系统的记事，在Leader汇报可以递交记事不久，透过递交存留的记事 Candidate：Leader普选全过程中都的临时角色。

4.1.2、Raft两国政府总括都的底层步骤

Raft两国政府总括都时会普并转票表决选自为Leader路由表，Leader作为主路由表，完毕全专责replicate log的管理工作。Leader专责接受所有浏览器的恳求，然后遗传物质到Follower路由表，如果leader故障，那么follower时会非常进一步普选leader，Raft两国政府的主张上性，说明了主要可以分为下述三个正要之外

Leader普选 记事遗传物质 安全和性

其中都Leader普选和记事遗传物质是Raft两国政府总括都最为正要的。

Raft两国政府要求管理工作系统总括都，理论上一个总能，只有一个leader，警惕到异常指导期有数，只有Leader和Follower角色，并且Raft两国政府运用于了多种不同因特网租期的方式为来透过管理工作确保整个自造降兵，Raft两国政府将时有数分为一个个的时有数段（term），也叫作行使职权，每一个行使职权都时会普选一个Leader来管理工作确保整个自造降兵，如果这个时有数段的Leader宕机，那么这一个行使职权结束，继续非常进一步普选leader。

Raft 启发式将时有数划分视作理论上不尽相同长度的行使职权（term）。行使职权用连续的数字透过对此。每一个行使职权的开始都是一次普选（election），一个或多个选自为前时会试由此可知视作领导人。如果一个选自为前赢取了普选，它就时会在该行使职权的下回受聘领导人。在某些有可能会下，选票时会被瓜分，有有可能并仍未并转票表决选自为领导人，那么，将时会开始另一个行使职权，并且正要开始下一次普选。Raft 启发式意味着在给定的一个行使职权最多只有一个领导人。

4.1.3、Leader普选的全过程

Raft适用发烧来透过诱发leader普选，当增值器端重启时，codice_为follower角色。leader向所有Follower收发周期性发烧，如果Follower在普选超强时有数内并仍未发出Leader的发烧，就时会并不认为leader宕机，稍后号召leader的普选。

每个Follower都时会有一个倒计时时钟，是一个随机的较大值，对此的是Follower回头视作Leader的时有数，倒计时时钟再行跑完毕，就时会卸任视作Lader，这样做得益处就是每一个路由表都有机时会视作Leader。

当充分利用下述三个前提之一时，Quorum中都的某个路由表就时会诱发普选：

向Leader收发Fetch恳求后，在超强时阈较大值quorum.fetch.timeout.ms不久无论如何并仍未得到Fetch叛离，对此Leader疑似惨败； 从当在此在此不久Leader发出了EndQuorumEpoch恳求，对此Leader已退位； Candidate情况下下，在超强时阈较大值quorum.election.timeout.ms不久无论如何并仍未发出大部份票，也并仍未Candidate赢取普选，对此此次普选作废，非常进一步透过普选。

完全一致详细全过程借助于描述如下：

-降低路由表本地的current term，切换到candidate情况下 自己给自己并转一票 给其他路由表收发RequestVote RPCs，要求其他路由表也并转自己一票 回头其他路由表的并转票表决回复

整个全过程中都的并转票表决全过程可以用下由此可知透过陈述

leader路由表普选的限制

每个路由表情况下并转一票，并转给自己或者并转给别人 选自为前所或许的记事个人信息，一定不用比自己的非常少，即能被普选视作leader路由表，一定还包在括了所有在此不久递交的记事 再行到再行得的主张 4.1.4、数据资料主张上性意味着（记事遗传物质有助于）

在此在此不久面通过普选有助于不久，普并转票表决选自为来了leader路由表，然后leader路由表实质上透过增值，所有的浏览器的恳求都时会收发到leader路由表，由leader路由表来作业这些模版恳求的处理事件次序，意味着所有路由表的情况下主张上，leader时会把恳求作为记事词条（Log entries）自三组到他的记事总括都，然后并行的向其他增值器端号召AppendEntries RPC遗传物质记事词条。当这条恳求记事被失败遗传物质到大大部份增值器端右边不久，Leader将这条记事应用领域到它的定时机并向浏览器来到执行者结果。

浏览器的每个恳求都还包在括被遗传物质定时机执行者的指令 leader将浏览器恳求作为一条心得记事添加到记事份文件中都，然后并行号召RPC给其他的增值器端，让他们遗传物质这条个人信息到自己的记事份文件中都存留。 如果这条记事被失败遗传物质，也就是大多的follower都存留好了执行者指令记事，leader就应用领域这条记事到自己的定时机中都，并来到给浏览器。 如果follower宕机或者直通缓慢或者数据资料取走，leader时会迅速地透过依此类推，年中所有在线的follower都失败遗传物质了所有的记事词条。

与确保Consumer offset的方式为多种不同，脱离ZK不久的Kafka自造降兵将软件包在资料普遍并不认为记事，存留在一个可选的Topic中都，且该Topic只有一个Partition。

软件包在资料记事的死讯XML与普通死讯并仍未不算大不尽相同，但需要携带Leader的纪元较大值(即之在此在此不久的Controller epoch)：

Record => Offset LeaderEpoch ControlType Key Value Timestamp

这样，Follower以纳方式也遗传物质Leader记事，就总和以Consumer角色折扣软件包在资料Topic，符合Kafka原生的句法。

那么在KRaft两国政府中都，是如何确保哪些软件包在资料记事在此不久递交——即在此不久失败遗传物质到大部份的Follower路由表上的呢？Kafka无论如何借用了原生原封不动有助于中都的概念——high watermark(HW，较低水量线)意味着记事不时会取走，HW的示意由此可知如下。

定时机说明了：

要让所有路由表达成主张上性的情况下，大多都是基于遗传物质定时机来借助于的（Replicated state machine）

恰当来说就是：初始相异的情况下 + 相异的回传全过程 = 相异的结束情况下，这个只不过也好认知，就像是一对双胞胎，显现出生时候就长得一样，然后肉的喝的用的穿的都一样，你自然很难判断。其中都最正要的就是一定要警惕中都有数的相异回传全过程，各个不尽相同路由表要以相异且确定性的线性来处理事件回传，而不要引入一个不确定的较大值。适用replicated log来借助于每个路由表都次序的存储浏览器恳求，然后次序的处理事件浏览器恳求，终究就一定都能超强越终究主张上性。

定时机安全和性意味着：

在安全和性方面，KRaft与传统观念Raft的普选安全和性、精神领袖只替换成、记事缓冲器和精神领袖完毕全性意味着都是几乎相异的。前面只恰当看看定时机安全和性是如何意味着的，无论如何自为论文中都的排外例子：

在总能a，路由表S1是Leader，epoch=2的记事只遗传物质给了S2就土崩瓦解了； 在总能b，S5被普选为Leader，epoch=3的记事还没到时遗传物质，也土崩瓦解了； 在总能c，S1又被普选为Leader，继续遗传物质记事，将epoch=2的记事给了S3。此时该记事遗传物质给了大部份路由表，但还仍未递交； 在总能d，S1又土崩瓦解，并且S5非常进一步被普选为精神领袖，将epoch=3的记事遗传物质给S0~S4。

此时记事与新Leader S5的记事发生了争执，如果按上由此可知中都d1的方式为处理事件，死讯2就时会取走。传统观念Raft两国政府的处理事件方式为是：在Leader行使职权开始时，正要递交一条自造的记事，所以上由此可知中都总能c的有可能会不时会发生，而是如同d2一样再行递交epoch=4的记事，连带递交epoch=2的记事。

与传统观念Raft不尽相同，KRaft另加了一个较最弱的约束：当新Leader被普并转票表决选自为来，但还并仍未失败递交分属它的epoch的记事时，不时会向在此在此不久加速HW。理论上，即使上由此可知中都总能c的有可能会发生了，死讯2也被普遍并不认为并仍未失败递交，所以按照d1方式为处理事件是安全和的。

记事XML说明了： 所有路由表正因如此立体化存留在本地的记事，大概就是像是这个脑袋，

上由此可知显示，共八条记事数据资料，其中都在此不久递交了7条，递交的记事都将通过定时机正因如此立体化到本地闪存总括都，防止宕机。

记事遗传物质的意味着有助于

如果两个路由表不尽相同的记事份文件总括都读取着**相异的查找和行使职权号，那么他们所读取的下达是相异的。（缘故：leader最多在一个行使职权之中的一个记事查找前方成立一条记事词条，记事词条所在的记事前方全都时会发生变立体化）。 如果不尽相同记事中都两个词条有着相异的查找和行使职权号，那么他们之在此在此不久的所有词条都是一样的（缘故：每次RPC收发另加记事时，leader时会把这条记事在此在此不久面的记事在此在此不久面和行使职权号一起收发给follower，如果follower发现和自己的记事不缓冲器，那么就表示同意这条记事，这个称做主张上性检查） 记事的不警惕到异常有可能会

一般有可能会下，Leader和Followers的记事始终保持主张上，因此 Append Entries 主张上性检查通常不时会惨败。然而，Leader土崩瓦解有可能时会造成了记事不主张上：旧的Leader有可能并仍未完毕全遗传物质完毕记事中都的所有词条。

下由此可知说明了了一些Followers有可能和新Leader记事不尽相同的有可能会。一个Follower有可能时会取走丢出Leader上的一些词条，也有有可能还包在括一些Leader并仍未的词条，也有有可能两者都时会发生。取走的或者多显现出来的词条有可能时会持续多个行使职权。

如何意味着记事的警惕到异常遗传物质

如果警惕到了上述leader宕机，造成了follower与leader记事不主张上的有可能会，那么就需透过处理事件，意味着follower上的记事与leader上的记事始终保持主张上，leader通过最弱制follower遗传物质它的记事来处理事件不主张上的有可能会，follower与leader不主张上的记事时会被最弱制散布。leader为了较大程度的意味着记事的主张上性，且意味着记事较大用量，leader时会寻找follower与他记事主张上的地方，然后散布follower不久的所有记事词条，从而借助于记事数据资料的主张上性。

完全一致的操作者就是：leader时会从后往在此在此不久迅速对比，每次Append Entries惨败后在此之后在此在此不久一个记事词条，直到失败寻找每个Follower的记事主张上的前方点，然后向该Follower所在前方不久的词条透过散布

详细全过程如下：

Leader确保了每个Follower路由表下一次要转交的记事的查找，即nextIndex Leader普选失败后将所有Follower的nextIndex设立为自己的再一一个记事词条+1 Leader将数据资料自带给Follower，如果Follower验证惨败（nextIndex不缓冲器），则在下一次自带记事时降低nextIndex，直到nextIndex验证通过

说明了一下就是：当 leader 和 follower 记事争执的时候，leader 将校验 follower 再一一条记事是否和 leader 缓冲器，如果不缓冲器，将递减查询，直到缓冲器，缓冲器后，删掉争执的记事。这样就借助于了非标准记事的主张上性。

4.2、Raft两国政府启发式字符串借助于

在此在此不久面我们在此不久大致了解到了Raft两国政府启发式的借助于步骤，如果我们要自己借助于一个Raft两国政府的启发式，只不过就是将我们说道的理论知识给翻译者视作字符串的全过程，完全一致的开发设计需考虑到的细节相当多，字符串用量肯定也相当大，好在有人在此不久借助于了Raft两国政府的启发式了，我们可以单独拿过来适用

成立maven工程并借助于jar包在转交者如下

Brownltdependencies> Brownltdependency> BrownltgroupIdBrowngtcom.github.wenweihu86.raft BrownltartifactIdBrowngtraft-java-core BrownltversionBrowngt1.8.0 Brownltdependency> BrownltgroupIdBrowngtcom.github.wenweihu86.rpc BrownltartifactIdBrowngtrpc-java BrownltversionBrowngt1.8.0 Brownltdependency> BrownltgroupIdBrowngtorg.rocksdb BrownltartifactIdBrowngtrocksdbjni BrownltversionBrowngt5.1.4 Brownltbuild> Brownltplugins> Brownltplugin> BrownltgroupIdBrowngtorg.apache.maven.plugins BrownltartifactIdBrowngtmaven-compiler-plugin BrownltversionBrowngt3.5.1 Brownltconfiguration> BrownltsourceBrowngt1.8 BrownlttargetBrowngt1.8

概念Server端字符串借助于：

public class Server1 { public static void main(String[] args) { // parse args // peers, format is Brownquothost:port:serverId,host2:port2:serverId2" //localhost:16010:1,localhost:16020:2,localhost:16030:3 localhost:16010:1 String servers = Brownquotlocalhost:16010:1,localhost:16020:2,localhost:16030:3" // local server RaftMessage.Server localServer = parseServer(Brownquotlocalhost:16010:1") String[] splitArray = servers.split(",") ListBrownltRaftMessage.Server> serverList = new ArrayList<> for (String serverString : splitArray) { RaftMessage.Server server = parseServer(serverString) serverList.add(server) } // codice_RPCServer RPCServer server = new RPCServer(localServer.getEndPoint.getPort) // 设立Raft选项，比如： // just for test snapshot RaftOptions raftOptions = new RaftOptions /* raftOptions.setSnapshotMinLogSize(10 * 1024) raftOptions.setSnapshotPeriodSeconds(30) raftOptions.setMaxSegmentFileSize(1024 * 1024)*/ // 应用领域定时机 ExampleStateMachine stateMachine = new ExampleStateMachine(raftOptions.getDataDir) // codice_RaftNode RaftNode raftNode = new RaftNode(raftOptions, serverList, localServer, stateMachine) raftNode.getLeaderId // 持有人Raft路由表之有数相互函数调用的增值 RaftConsensusService raftConsensusService = new RaftConsensusServiceImpl(raftNode) server.registerService(raftConsensusService) // 持有人给Client函数调用的Raft增值 RaftClientService raftClientService = new RaftClientServiceImpl(raftNode) server.registerService(raftClientService) // 持有人应用领域自己透过的增值 ExampleService exampleService = new ExampleServiceImpl(raftNode, stateMachine) server.registerService(exampleService) // 重启RPCServer，codice_Raft路由表 server.start raftNode.init } private static RaftMessage.Server parseServer(String serverString) { String[] splitServer = serverString.split(":") String host = splitServer[0] Integer port = Integer.parseInt(splitServer[1]) Integer serverId = Integer.parseInt(splitServer[2]) RaftMessage.EndPoint endPoint = RaftMessage.EndPoint.newBuilder .setHost(host).setPort(port).build RaftMessage.Server.Builder serverBuilder = RaftMessage.Server.newBuilder RaftMessage.Server server = serverBuilder.setServerId(serverId).setEndPoint(endPoint).build return server }}

概念浏览器字符串借助于如下：

public class ClientMain { public static void main(String[] args) { // parse args String ipPorts = args[0] String key = args[1] String value = null if (args.length> 2) { value = args[2] } // init rpc client RPCClient rpcClient = new RPCClient(ipPorts) ExampleService exampleService = RPCProxy.getProxy(rpcClient, ExampleService.class) final JsonFormat.Printer printer = JsonFormat.printer.omittingInsignificantWhitespace // set if (value != null) { ExampleMessage.SetRequest setRequest = ExampleMessage.SetRequest.newBuilder .setKey(key).setValue(value).build ExampleMessage.SetResponse setResponse = exampleService.set(setRequest) try { System.out.printf(Brownquotset request, key=%s value=%s response=%s", key, value, printer.print(setResponse)) } catch (Exception ex) { ex.printStackTrace } } else { // get ExampleMessage.GetRequest getRequest = ExampleMessage.GetRequest.newBuilder.setKey(key).build ExampleMessage.GetResponse getResponse = exampleService.get(getRequest) try { String value1 = getResponse.getValue System.out.println(value1) System.out.printf(Brownquotget request, key=%s, response=%s", key, printer.print(getResponse)) } catch (Exception ex) { ex.printStackTrace } } rpcClient.stop }}

再行重启增值器端，然后重启浏览器，就可以将借助于浏览器向增值器端收发死讯，并且增值器端时会向四台微电脑透过存留死讯了。

4、Kafka 常见有可能会 1.死讯字段假设或许吗?Kafka 是怎么算是拥护这两种假设的？

对于传统观念的死讯字段管理工作系统拥护两个假设：

1.点对点：也就是死讯情况下被一个折扣者折扣，折扣完毕后死讯删掉

kafka只不过就是通过Consumer Group同时拥护了这两个假设。

如果说所有折扣者都分属一个Group，死讯情况下被同一个Group内的一个折扣者折扣，那就是点对点方式也。

实质上，Kafka通过折扣者分三组的方式为敏捷的拥护了这两个假设。

2.能说说 Kafka 无线电全过程步骤吗?

2.的产品重启的时候时会登录bootstrap.servers，通过登录的broker转交者，Kafka就时会和这些broker成立TCP联接（通常我们并不需要配备所有的broker增值器端转交者，否则kafka时会和配备的所有broker都建立TCP联接）

3.随便联接到任何一台broker不久，然后再行收发恳求获取软件包在资料个人信息（还包在括有哪些主轴、主轴都有哪些的区、的区有哪些原封不动，的区的Leader原封不动等个人信息）

4.接着就时会成立和所有broker的TCP联接

5.不久就是收发死讯的全过程

6.折扣者和的产品一样，也时会登录bootstrap.servers一般来说，然后为了让一台broker成立TCP联接，收发恳求寻找互相配合者所在的broker

7.然后再行和互相配合者broker成立TCP联接，获取软件包在资料

8.根据的区Leader路由表所在的broker路由表，和这些broker分别成立联接

9.再一开始折扣死讯

3.那么收发死讯时如何为了让的区的?

主要有两种方式为：

1.轮询，按照次序死讯依次收发到不尽相同的的区

2.随机，随机收发到某个的区

如果死讯登录key，那么时会根据死讯的key透过hash，然后对partition的区数用量取模，决定拉到哪个的区上，所以，对于相异key的死讯来说，总是时会收发到同一个的区上，也是我们常说的死讯的区有序性。

很常见的布景就是我们愿意下单、支付死讯有次序，这样以订单ID作为key收发死讯就超强越了的区有序性的目标。

如果并仍未登录key，时会执行者可选的轮询过载互补方式为而，比如第一条死讯拉到P0，第二条死讯拉到P1，然后第三条又在P1。

除此之外，对于一些特定的经营范围布景和需求，还可以通过借助于Partitioner接口，正写configure和partition步骤来超强越自概念的区的优点。

4.为什么需的区?有什么益处?

这个有可能会很恰当，如果说不的区的话，我们发死讯写数据资料都情况下存留到一个路由表上，这样的话就算这个增值器端路由表稳定性再行好终究也支撑不住。

实质上地理分布式管理工作系统都陷于这个有可能会，要么发出死讯不久透过数据资料切分，要么提在此在此不久切分，kafka正是为了让了在此在此不久者，通过的区可以把数据资料匀地地理分布到不尽相同的路由表。

的区产生了过载互补和横向扩展到的能够。

收发死讯时可以根据的区的数用量拉到不尽相同的Kafka增值器端路由表上，提升了模版写死讯的稳定性，折扣死讯的时候又和折扣者适配了间的关系，可以从不尽相同路由表的不尽相同的区折扣死讯，提较低了读死讯的能够。

另外一个就是的区又引入了原封不动，缓冲器的原封不动意味着了Kafka的较低可用和较低正因如此性。

5.详细说说折扣者三组和折扣者正有利于？

当折扣者数用量小于的区数用量的时候，那么必然时会有一个折扣者折扣多个的区的死讯。

而折扣者数用量最少的区的数用量的时候，那么必然时会有折扣者并仍未的区可以折扣。

所以，折扣者三组的益处一方面在右边说到过，可以拥护多种死讯假设，另外的话根据折扣者和的区的折扣间的关系，支撑横向先期伸缩。

当我们或许折扣者如何折扣的区的时候，就或许时会有一个有可能会警惕到了，折扣者折扣的的区是怎么非常进一步分配的，有再行自三组的折扣者时候怎么办？

旧原版的正有利于全过程主要通过ZK国安局器的方式为来诱发，每个折扣者浏览器自己去执行者的区非常进一步分配启发式。

补丁则是通过互相配合者来完毕成，每一次新折扣者自三组都时会收发恳求给互相配合者去获取的区的非常进一步分配，这个的区非常进一步分配的启发式逻辑由互相配合者来完毕成。

而正有利于Rebalance就是指的有新折扣者自三组的有可能会，比如刚开始我们只有折扣者A在折扣死讯，过了一段时有数折扣者B和C自三组了，这时候的区就需非常进一步非常进一步分配，这就是正有利于，也可以又叫再行有利于，但是正有利于的全过程和我们的GC时候STW很像，时会造成了整个折扣群三组停止指导，正有利于期有数都无法死讯死讯。

另外，发生正有利于并不是只有这一种有可能会，因为折扣者和的区总数是不存在适配间的关系的，右边也说了，折扣者数用量很好和所有主轴的的区总数一样。

前面说说正有利于的全过程。

正有利于的有助于忽视折扣者和互相配合者之有数的发烧来保持稳定，折扣者时会有一个独立的线程去定时收发发烧给互相配合者，这个可以通过数值heartbeat.interval.ms来管控收发发烧的有数隔时有数。

1.每个折扣者第一次自三组三组的时候都时会向互相配合者收发JoinGroup恳求，第一个收发这个恳求的折扣者时会视作“群主”，互相配合者时会来到三组的三组织一览表给群主

2.群主执行者的区非常进一步分配方式为而，然后把非常进一步分配结果通过SyncGroup恳求收发给互相配合者，互相配合者发出的区非常进一步分配结果

3.其他三组内的三组织也向互相配合者收发SyncGroup，互相配合者把每个折扣者的的区非常进一步分配分别叛离给他们

6.完全一致讲讲的区非常进一步分配方式为而?

主要有3种非常进一步分配方式为而

Range

对的区透过先后顺序，先后顺序越少靠在此在此不久的的区都能非常进一步分配到非常多的的区。

比如有3个的区，折扣者A先后顺序非常靠在此在此不久，所以都能非常进一步分配到P0P1两个的区，折扣者B就情况下非常进一步分配到一个P2。

如果是4个的区的话，那么他们时会同一时间都是非常进一步分配到2个。

比如下由此可知中都两个主轴的P0P1都被非常进一步分配给了A，这样A有4个的区，而B只有2个，如果这样的主轴数用量越少多，那么不互补就越少严正。

RoundRobin

也就是我们常说的轮询了，这个就相当恰当了，不画由此可知你也能很非常容易认知。

这个时会根据所有的主轴透过轮询非常进一步分配，不时会警惕到Range那种主轴越少多有可能造成了的区非常进一步分配不互补的有可能会。

P0-BrowngtA，P1-BrowngtB，P1-BrowngtA。。。三和

Sticky

这个从字面看来意思就是粘性方式为而，大概是这个意思。主要考虑到的是在非常进一步分配互补的在此在此不久提下，让的区的非常进一步分配非常小的改动。

比如之在此在此不久P0P1非常进一步分配给折扣者A，那么下一次尽用量还是非常进一步分配给A。

这样的益处就是联接可以复用，要折扣死讯总是要和broker去联接的，如果都能始终保持上一次非常进一步分配的的区的话，那么就并不需要频繁的销毁成立联接了。

7.如何意味着死讯耐用性?

的产品收发死讯取走

kafka拥护3种方式为收发死讯，这也是常规的3种方式为，收发后不管结果、该系统收发、异步收发，基本上所有的死讯字段都是这样听音乐的。

1.收发并忘记，单独函数调用收发send步骤，不管结果，虽然可以重启定时依此类推，但是肯定时会有死讯取走的有可能

2.该系统收发，该系统收发来到Future对象，我们可以或许收发结果，然后透过处理事件

3.异步收发，收发死讯，同时登录一个难以实现线性，根据结果透过相应的处理事件

为了寿险起见，一般我们都时会适用异步收发隐含难以实现的方式为透过收发死讯，再行设立数值为收发死讯惨败不停地依此类推。

acks=all，这个数值有可以配备0|1|all。

0对此的产品存储死讯不管增值器端的叛离，有可能死讯还在因特网数据流，增值器端根本并仍未发出死讯，当然时会取走死讯。

1对此数有一个原封不动发出死讯才并不认为失败，一个原封不动那肯定就是自造降兵的Leader原封不动了，但是如果同一时间Leader原封不动所在的路由表挂了，Follower并仍未该系统这条死讯，死讯无论如何取走了。

配备all的话对此所有ISR都存储失败才会失败，那除非所有ISR之中的原封不动全挂了，死讯才时会取走。

retries=N，设立一个非常大的较大值，可以让的产品收发死讯惨败后不停依此类推

Kafka 自身死讯取走

kafka因为死讯存储是通过PageCache异步存储闪存的，因此无论如何不存在取走死讯的有可能。

因此针对kafka自身取走的有可能设立数值：

replication.factor=N，设立一个相当大的较大值，意味着数有2个或者以上的原封不动。

min.insync.replicas=N，都有死讯如何才能被并不认为是存储失败，设立远大于1的数，意味着数存储1个或者以上的原封不动才会存储死讯失败。

unclean.leader.election.enable=false，这个设立意味着并仍未完毕全该系统的的区原封不动不用视作Leader原封不动，如果是true的话，那些并仍未完毕全该系统Leader的原封不动视作Leader不久，就时会有死讯取走的不确定性。

折扣者死讯取走

折扣者取走的有可能就相当恰当，封闭定时递交位移即可，改为经营范围处理事件失败手动递交。

因为正有利于发生的时候，折扣者时会去读取上一次递交的插值，定时递交可选是每5秒一次，这时会造成了正复折扣或者取走死讯。

enable.auto.commit=false，设立为手动递交。

还有一个数值我们有可能也需考虑到进去的：

auto.offset.reset=earliest，这个数值都有并仍未插值可以递交或者broker上不不存在插值的时候，折扣者如何处理事件。earliest都有从的区的开始前方读取，有可能时会正复读取死讯，但是不时会取走，折扣方一般我们肯定要自己意味着幂等，另外一种latest对此从的区末尾读取，那就时会有概率取走死讯。

综合这几个数值设立，我们就能意味着死讯不时会取走，意味着了耐用性。

8.聊聊原封不动和它的该系统步骤吧?

Kafka原封不动的之在此在此不久说明过，分为Leader原封不动和Follower原封不动，也就是主原封不动和从原封不动，和其他的比如Mysql不一样的是，Kafka中都只有Leader原封不动时会实质上透过增值，Follower原封不动只是单纯地和Leader始终保持数据资料该系统，作为数据资料缓冲器容灾的起到。

在Kafka中都我们把所有原封不动的可数统称为AR（Assigned Replicas），和Leader原封不动始终保持该系统的原封不动可数称为ISR（InSyncReplicas）。

ISR是一个自适应的可数，保持稳定这个可数时会通过replica.lag.time.max.ms数值来管控，这个都有落后Leader原封不动的最长时有数，可选较大值10秒，所以只要Follower原封不动并仍未落后Leader原封不动最少10秒以上，就可以并不认为是和Leader该系统的（恰当可以并不认为就是该系统时有数差）。

另外还有两个关键的概念常用原封不动之有数的该系统：

HW（High Watermark）：较低水量，也又叫遗传物质点，对此原封不动有数该系统的前方。如下由此可知所示，0~4红色对此在此不久递交的死讯，这些死讯在此不久在原封不动之有数透过该系统，折扣者可以看不见这些死讯并且透过折扣，4~6黄色的则是对此仍未递交的死讯，有可能还并仍未在原封不动有数该系统，这些死讯对于折扣者是不必见的。

LEO（Log End Offset）：下一条待存储死讯的位移

原封不动有数该系统的全过程忽视的就是HW和LEO的修正，以他们的较大值变异来预览原封不动该系统死讯的全过程，红色对此Leader原封不动，黄色对此Follower原封不动。

首再行，的产品不停地向Leader存储数据资料，这时候Leader的LEO有可能在此不久超强越了10，但是HW依然是0，两个Follower向Leader恳求该系统数据资料，他们的较大值都是0。

此时，Follower再行次向Leader纳取数据资料，这时候Leader时会修正自己的HW较大值，取Follower中都的之比的LEO较大值来修正。

不久，Leader叛离自己的HW给Follower，Follower修正自己的HW较大值，因为又纳取到了死讯，所以再行次修正LEO，流程三和。

9.Kafka为什么短时有数?

主要是3个方面：

次序 IO

kafka写死讯到的区运用于替换成的方式为，也就是次序存储闪存，不是随机存储，这个速率比普通的随机IO短时有数非常多，几乎可以和因特网IO的速率相媲美。

Page Cache 和零原封不动

kafka在存储死讯数据资料的时候通过mmap闪存可概念的方式为，不是真正正要存储闪存，而是利用操作者管理工作系统的份文件多线程PageCache异步存储，提较低了存储死讯的稳定性，另外在折扣死讯的时候又通过sendfile借助于了零原封不动。

批用量处理事件和加速

Kafka在收发死讯的时候不是一条条的收发的，而是时会把多条死讯并入成一个批次透过处理事件收发，折扣死讯也是一个道理，一次纳取一批次的死讯透过折扣。

并且Producer、Broker、Consumer都适用了优立体化后的加速启发式，收发和死讯死讯适用加速节省了因特网传输的所需，Broker读取适用加速则降低了闪存读取的自造有数。

。

上海男科医院哪家最好
南京看儿科去哪好
得了肿瘤一般能活多久
南昌白癜风正规的医院
北京男科医院哪里比较好
口吃治疗
老人新冠
孕妇用药
孩子厌食
宫颈糜烂