目录

参考

概念

Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。Flume 的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel)，待数据真正到达目的地(sink)后，flume 在删除自己缓存的数据。Flume 支持定制各类数据发送方，用于收集各类型数据；同时，Flume 支持定制各种数据接受方，用于最终存储数据。一般的采集需求，通过对 flume 的简单配置即可实现。针对特殊场景也具备良好的自定义扩展能力。因此，flume 可以适用于大部分的日常数据采集场景。

架构原理

运行单位Agent

Flume中最小的独立运行单位是Agent，Agent是一个JVM进程，运行在日志收集节点(服务器节点)，其包含三个组件Source(源)、Channel(通道)和Sink(接收地)。数据可以从外部数据源流入到这些组件，然后再输出到目的地。一个Flume单节点架构如图

传输基本单位Event

Flume中传输数据的基本单位是event(如果是文本文件，通常是一行记录)，event包括event头(headers)和event体(body)。一个 Source 可以对应多个 Channel。

多节点

Flume除了可以单节点直接采集数据外，也提供了多节点共同采集数据的功能，多个Agent位于不同的服务器上，每个Agent的Avro Sink将数据输出到了另一台服务器上的同一个Avro Source进行汇总，最终将数据输出到了HDFS文件系统中

多路复用

一个 Source 可以对应多个 Channel，一个 Channel 对应多个 Source，多对多的关系。一个 Channel 可以对应多个 Sink，一个 sink 不能对应多个 Channel，一对多的关系。

flume+Kafka实时计算