博学谷 > 资讯 > 大数据 > 大数据面试题:flume 与 kafka 的整合

原创 大数据面试题:flume 与 kafka 的整合

发布时间:2019-07-04 19:05:09 浏览 1252 来源:博学谷资讯 作者:照照

    当你面试的时候突然被问到:flume 与 kafka 的整合。你会怎么回答?其实面试官提问的时候主要是想考察你对storm的理解,下面小编带大家一起分析这个问题的解答方式!

     

    大数据面试题:flume 与 kafka 的整合

     

    实现 flume 监控某个目录下面的所有文件,然后将文件收集发送到 kafka 消息系统中

     

    第一步:flume 下载地址http://archive.apache.org/dist/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz 第二步:上传解压 flume

     

    第三步:配置 flume.conf

     

    为我们的 source channelsink 起名

     

    a1.sources = r1 a1.channels = c1 a1.sinks = k1

     

    指定我们的 source 收集到的数据发送到哪个管道

     

    a1.sources.r1.channels = c1

     

    指定我们的 source 数据收集策略a1.sources.r1.type = spooldir a1.sources.r1.spoolDir = /export/servers/flumedata a1.sources.r1.deletePolicy = never

     

    a1.sources.r1.fileSuffix = .COMPLETED a1.sources.r1.ignorePattern = ^(.)*\\.tmp$ a1.sources.r1.inputCharset = GBK

     

    指定我们的 channel 为 memory,即表示所有的数据都装进 memory当中a1.channels.c1.type = memory

     

    指定我们的 sink 为 kafkasink,并指定我们的 sink 从哪个 channel当中读取数据a1.sinks.k1.channel = c1

     

    a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.kafka.topic = test

     

    a1.sinks.k1.kafka.bootstrap.servers = node01: 9092, node02: 9092, node03: 9092

     

    a1.sinks.k1.kafka.flumeBatchSize = 20

     

    a1.sinks.k1.kafka.producer.acks = 1

     

    启动 flume

     

    bin/flume-ng agent --conf conf --conf-file conf/flume.conf --name a1

     

    -Dflume.root.logger=INFO, console

     

    把文件放到 flumeData 文件夹下,刷新,文件会自动变为.COMPLETED 文件

     

    以上就是关于flume 与 kafka 的整合的全部知识点了,大家都了解了吗?

上一篇:大数据Hbase面试宝典(下) 下一篇:大数据培训有哪些课程?

相关推荐 更多

最新文章

扫描二维码,回复"大数据"获取20G资料包

4887铁算结果开奖结果小说