Flume初识
Flume官方文档： http://flume.apache.org/FlumeUserGuide.html
1.Flume简介
1)Flume 提供一个分布式的,可靠的,对大数据量的日志进行高效收集、聚集、移动的服务 2)Flume 只能在 Unix 环境下运行 3)Flume 基于流式架构,容错性强,也很灵活简单 4)Flume、Kafka 用来实时进行数据收集,Spark、Storm 用来实时处理数据,impala 用来实时查询
2.Flume中的角色
Source：
用于采集数据, Source 是产生数据流的地方,同时 Source 会将产生的数据流传输到 Channel，这个有点类似于 Java IO 部分的 Channel
Channel：
用于桥接 Sources 和 Sinks,类似于一个队列
Sink：
从 Channel 收集数据，将数据写到目标源(可以是下一个 Source,也可以是 HDFS 或者 HBase)
Event：
传输单元,Flume 数据传输的基本单元,以事件的形式将数据从源头送至目的地
3.Flume传输过程
source 监控某个文件或数据流,数据源产生新的数据,拿到该数据后,将数据封装在一个Event 中,并 put 到 channel 后 commit 提交,channel 队列先进先出,sink 去 channel 队列中拉取数据,然后写入到 HDFS 中
最后修改于 2018-09-14
本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。