Kafka基础理论理解，欲走大数据之路必铺石阶，行走的kafka！

大数据编程理解理解大数据，实际上是件很困难的事，大数据需要掌握的技能太多了，get到的技能点也实际更多！

kafka作为一个大数据的必备内容，可以作为大数据的基本标志，下面我们将介绍如何学习大数据

简介

#作用：缓存地带

#消息系统适用场景

#架构

主要分为3部分

生产者（producer）,消费者（consumer）,kafka（broker）外加一个zookeeper来储存源数据

Broker 中可以包含多个topic ，topic 是一个逻辑存在的基本运行单元

topic 中可以包含多个partation, partition是真正存储数据的地方，类似于书架，一个partition是一个强有序的队列

partition是由segmend组成的

segmend由两部分组成

一部分是.log结尾的文件，作用存储kafka的数据

另一部分是.index结尾的文件，作用kafka存储数据的索引文件

#过程

生产者： 对数据的生产可以使用同步生产也可以使用异步生产，将生产完成的数据 push到kafka中kafka： kafka收到生产者生产的数据后，将数据保存到具体的partition中，将该批数据的元数据信息写到zookeeper上，

消费者： 当消费者要消费数据时,会先从zookeeper中获取数据偏移量以及元数据，获取之后，通过主动拉取的形式来消费数据。

#kafka数据生产的格式：

* (key,value)格式的数据:在对数据进行存储的时候，采用的存储策略是对key进行hashcode取模来进行具体分配到哪个partiton中进行存储

* string格式的数据:在对数据进行存储的时候，采用的策略是轮训策略。

如果以上的存储策略都不符合业务生产需求，可以自定义存储策略 需要集成Partitioner接口

要想启动，我们只需要修改kafka的配置文件就可以了

注意

1.外网地址尽量写ip,别写主机名，不然可能访问不到

2.本地地址如果写ip地址的话，启动producer，consumer 参数为本地ip

3.本地地址如果写localhost的话，启动producer，consumer参数为localhost

默认localhost

启动zookeeper服务 ./zookeeper-server-start.sh ../config/zookeeper.properties

启动kafka服务./kafka-server-start.sh ../config/server.properties

创建topic

./kafka-topics.sh --zookeeper localhost:2181 --create --topic test4 --partitions 3 --replication-factor 1

--zookeeperzookeepe连接地址：端口

--create 说明要创建

--topic topic名称

--partitions partitions数量

启动生产者

./kafka-console-producer.sh --broker-list localhost:9092 --topic test3

由于生产者并不依赖于zookeeper,但是生产者需要知道写入数据到那个broker中的

又因为topic 是运行的基本单元，因此需要指定topic以及broker所在地址

启动消费者

./kafka-console-consumer.sh --zookeeper localhost:2181 --topic test3

在生产者发送数据 可以看到消费者已经在消费

：觉得视频不错，如果你也想学习大数据即可关注私信我，赠送大数据基础学习！

（编辑：92站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!