首页 体育 教育 财经 社会 娱乐 军事 国内 科技 互联网 房产 国际 女人 汽车 游戏

美团技术总监经典总结:深入理解Apache Kafka

(来源:网站编辑 2019-08-11 06:53)
文章正文
总的来说,Kafka是一个,可水平扩展,容错的日志提交体系, 之,水平扩展经过添加更多的机器布置服务处理相似问题,

\\n

、容错

\\n

分布式体系被规划成可容许必定程序的过错,不像单点布置发作反常时全体服务都将不可用,有五个节点的Kafka实例,即便有个节点宕机了仍能继续作业, 为了使一个Topic的数据量不至过大,Kafka引进分区的概念,然后具有更好的功用和伸缩性,

\\n

、数据分布式和仿制

\\n

咱们来谈谈Kafka怎么完成容错以及怎么在节点间分配数据

\\n

Kafka将分区数据仿制仿制到多个Brokers节点上,防止某个Broker逝世导致数据不可达, 时每刻,一个Broker节点”具有”一个分区,而且是应用程序从该分区读取写入的节点,这称为分区leader,它将收到的数据仿制到其他N个Broker节点上,它们称为follower并预备好在leader节点逝世时被推举为leader,

\\n

其他节点接纳到告诉,了解到节点成为了新的控制器节点,除了还在GC暂停的节点,或许告诉压根没抵达的节点,也便是说节点不知道leadership现已发作了改变,它还认为自己是控制器节点, ,一起存在两个控制器,并行宣布或许存在抵触的指令,导致严峻的结果

文章评论
首页
评论
分享
Top