监控日志文件生产到Kafka
案例:监控某个目录下的文件内容,将消息生产到Kafka中。
此案例使用到“TailFile”和“PublishKafka_1_0”处理器。
一、配置“TailFile”处理器
创建“TailFile”处理器并配置:
(资料图片仅供参考)
注意:以上需要在NiFi集群中的每个节点上创建“/root/test/logdata”文件,“logdata”是文件,而非目录。
二、配置“PublishKafka_1_0”处理器
“PublishKafka_1_0”处理器作用是使用Kafka 1.0生产者API将FlowFile的内容作为消息发送给Apache Kafka。发送的内容可以是单独的FlowFile,也可以通过用户指定分隔符分割的FlowFile内容。
关于“PublishKafka_1_0”处理器的“Properties”主要配置的说明如下:
配置项 | 默认值 | 允许值 | 描述 |
---|---|---|---|
Kafka Brokers(Kafka节点) | localhost:9092 | 逗号分割的Kafka集群Broker列表。格式:host:port | |
Topic Name(topic 名称) | 将消息生产到的Topic 名称。 | ||
Delivery Guarantee(数据传递保证) | 0 | 指定保证消息被发送到Kafka的要求。对应Kafka的"acks"属性。可以配置的项如下:Best Effort (尽力交付,相当于ack=0):在向Kafka节点写出消息后,FlowFile将被路由到成功,而不需要等待响应。这提供了最好的性能,但可能会导致数据丢失。例如:消息写出到Kafka节点,但是对应节点挂掉,这时将消息路由到成功。Guarantee Single Node Delivery(保证单节点交付,相当于ack=1,Kafka中的默认配置):KafkaProducer把消息发送出去,至少要等待leader已经成功将数据写入本地log,但是并没有等待所有follower是否成功写入。该情况下,如果follower没有成功备份数据,而此时leader刚好又挂掉了,就会导致消息丢失。该选项就是如果消息被单个Kafka节点接收到,FlowFile将被路由到成功,无论它是否被复制,但如果Kafka节点崩溃,可能会导致数据丢失。Guarantee Replicated Delivery(保证复制交付,相当于ack=-1):FlowFile数据写出后,Kafka topic ISR列表离跟leader保持同步的那些follower都要把消息同步过去,该消息才会被认为成功,否则路由到失败。 | |
Use Transactions(使用事务) | true | ▪true▪false | 指定NiFi是否应该在与Kafka通信时提供事务性保证。如果发送数据到Kafka有问题,并且这个属性设置为false,那么已经发送到Kafka的消息将继续发送,并被传递给消费者。如果这个设置为true,那么Kafka事务将被回滚,这样这些消息对消费者是不可用的。将此设置为true需要将 |
在向Kafka节点写出消息后,FlowFile将被路由到成功,而不需要等待响应。这提供了最好的性能,但可能会导致数据丢失。例如:消息写出到Kafka节点,但是对应节点挂掉,这时将消息路由到成功。
Guarantee Single Node Delivery(保证单节点交付,相当于ack=1,Kafka中的默认配置):KafkaProducer把消息发送出去,至少要等待leader已经成功将数据写入本地log,但是并没有等待所有follower是否成功写入。该情况下,如果follower没有成功备份数据,而此时leader刚好又挂掉了,就会导致消息丢失。该选项就是如果消息被单个Kafka节点接收到,FlowFile将被路由到成功,无论它是否被复制,但如果Kafka节点崩溃,可能会导致数据丢失。 Guarantee Replicated Delivery(保证复制交付,相当于ack=-1): FlowFile数据写出后,Kafka topic ISR列表离跟leader保持同步的那些follower都要把消息同步过去,该消息才会被认为成功,否则路由到失败。 Use Transactions(使用事务)true true false 指定NiFi是否应该在与Kafka通信时提供事务性保证。如果发送数据到Kafka有问题,并且这个属性设置为false,那么已经发送到Kafka的消息将继续发送,并被传递给消费者。如果这个设置为true,那么Kafka事务将被回滚,这样这些消息对消费者是不可用的。将此设置为true需要将
“PublishKafka_1_0”处理器配置如下:
1、创建“PublishKafka_1_0”处理器
2、配置“PROPERTIES”
注意:以上topic 可以在Kafka中创建好,也可以执行时自动创建。
3、连接“TailFile”处理器和“PublishKafka_1_0”处理器
连接“TailFile”处理器和“PublishKafka_1_0”处理器,并设置“PublishKafka_1_0”处理器“failure”和“success”路由关系为自动终止。
三、运行测试
1、启动Kafka集群,启动NiFi处理流程
2、向/root/test/logdata文件中写入数据并保存
向NiFi集群中的其中一台节点的“logdata”中写入以下数据即可
[root@node1 test]# echo "hello world1" > /root/test/logdata[root@node1 test]# echo "hello world2" >> /root/test/logdata[root@node1 test]# echo "hello world3" >> /root/test/logdata
3、查看Kafka中自动创建的“nifi_topic”中的数据
以上数据每写入一行,有个空行,这是由于“TailFile”处理器监控数据导致的,实际就是写入了3条数据,可以通过后期业务处理时,对数据进行trim处理即可。
关键词: Kafka
注意:以上需要在NiFi集群中的每个节点上创建“ root test logdata”文件,“logdata”是文件,而非目录。2023-03-06
1、死亡这件事固然令人生畏,但主动、坦然地谈论生死,在周围年轻人看来并不是坏事。很多因素导致两代人的生命观产生差异。比如,我们90后成长2023-03-06
货车司机骚操作,手套挡牌闯限行!面对北京交警却拿孩子当挡箭牌2023-03-06
1、北京华远达智能家科技有限公司是华远达控股旗下致力于在传统的电力系统基础上实现“能源互联、智慧低碳”的全产业链物联网综2023-03-06
●○前言○●“紫霞仙子”朱茵如今穷困潦倒?在港媒的追踪下,朱茵的现状被曝光在大众视野中,住农村的残屋、开二十多年前的破车,穿着打扮完2023-03-06
1、3月份预交时要做2笔分录:借:应缴税费-应交增值税(已交税金)170贷:银行存款1702023-03-05
昨日,淮阴师范学院举行“逐梦新时代建功新征程”江苏省2023届高校毕业生春季校园专场招聘会,220余家招聘单位应邀参加2023-03-05
1、看瓶子背面文字小棕瓶假货背面的文字字体印刷模糊,但是正品的文字字体印刷清晰,其实光从瓶子的颜色也能看出些端倪,假货的瓶子偏黑色一些2023-03-05
1、没法查看,CF会员到期的时候,腾讯就有系统信息通知你的CF会员快到期了。本文就为大家分享到这里,希望小伙伴们会喜欢。2023-03-05
联合国有会徽,联合国徽章最初的联合国徽章是由奥利弗·林肯·伦德奎斯特带领的设计师团队,在1945年的联合国国际组织会议期间设计完成,联合2023-03-05
为什么有些肺癌到了晚期也没有什么症状,不做体检发现不了2023-03-05
1、康迪嘚提斯。本文到此分享完毕,希望对大家有所帮助。2023-03-05
1、如果是网上购物,就无所谓你人在哪里。2、上天虹的网上商城就可以了。本文分享完毕,希望对大家有所帮助。2023-03-05
1、《Gentleman》是电视剧《爱情公寓4》的插曲,刘伟德(VictorLau)、戴爱玲演唱,发行于2014年1月21日,由刘伟德,WillzChien2023-03-05
1、星湖社区位于江苏省苏州市苏州工业园区,居委会于2012年3月成立。2、星湖花园地处美丽的金鸡湖畔,位于九华路123号2023-03-05
京滨铁路二期首根钻孔桩顺利开钻2023-03-04
1、《说句心里话》原唱是阎维文。这首歌曲是由石顺义作词,士心作曲。这首歌曲通过描写一个作为具有普通人的各种情感的解放军战士的心声,表达2023-03-04
福克斯33+7+7威少27+10小卡缺战国王送快船5连败,威少,小卡,快船队,美国篮球,威斯布鲁克,科怀·伦纳德,德阿隆·福克斯2023-03-04
专家:对违反规定者可顶格处罚驴友执意进入应为自己行为负责3月1日,北京怀柔蓝天救援队通报称该救援队一名经验丰富的救援队员刘金艺在箭扣长2023-03-04
1、方岩(真名聂延芳),男,汉族,1973年5月出生,1991年参加工作,郑州大学新闻传播学院本科学历,1994年32023-03-04
国机汽车(600335)03月02日在投资者关系平台上答复了投资者关心的问题。2023-03-02
波兰截肢球员奥莱克瑟赢得了2022年的FIFA普斯卡什奖,他在接受波兰媒体Meczyki的采访时表示很高兴能受到梅西和姆巴佩等球星的认可。本周一,一2023-03-02
1、1 梦里爱人2、2 腹黑竹马3、3 寂寞成泪4、4 酒伴孤独5、5 怪咖6、6 酷到无边7、7 爱过狗吗8、8 姐姐2023-03-02
截至2023年3月1日收盘,四川长虹(600839)报收于3 21元,下跌0 93%,换手率3 59%,成交量165 56万手,成交额5 29亿元。2023-03-02
12月21日,金喜善在自己的社交平台上晒出一组照片,照片中的金喜善也是非常休闲,随意躺在沙发上,从照片中也能够看出即便如今43岁的金喜善状2023-03-02