Flume概览

一.flume概览

1.概述:

    Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的架构。它具有可靠的可靠性机制和许多故障 转移和恢复机制，具有强大的容错性。它使用简单的可扩展数据模型，允许在线分析应用程序。

2.大数据架构

• 数据采集(爬虫\日志数据\flume)
• 数据存储(hdfs/hive/hbase(nosql))
• 数据计算(mapreduce/hive/sparkSQL/sparkStreaming/flink)
• 数据可视化

3.Flume基于流式架构，容错性强，也很灵活简单。

4.Flume、Kafka用来实时进行数据收集，Spark、Flink用来实时处理数据，impala用来实时查询。

二.flume角色

1.source

• 数据源，用户采集数据，source产生数据流，同时会把产生的数据流传输到channel。

2.channel

• 传输通道，用于桥接source和sink

3.sink

• 下沉，用于收集channel传输的数据，将数据源传递到目标源

4.event

• 在flume中使用事件作为传输的基本单元

5.Flume常用的Type

(1)source

(2)sink

(3)channel:

6.flume的启动参数

(1)命令

(2)全局选项

(3)Agent选项

日志相关：

• -Dflume.root.logger=INFO,console

该参数将会把flume的日志输出到console,为了将其输出到日志文件(默认在FLUME_HOME/logs),可以将console改为LOGFILE形式,具体的配置可以修改$FLUME_HOME/conf/log4j.properties

• -Dflume.log.file=./wchatAgent.logs

该参数直接输出日志到目标文件

(4)Avro客户端选项

启动Avro客户端要么指定–rpcProps，要么指定–host和–port

三.Flume传输过程：

    source监控某个文件或数据流，数据源产生新的数据，拿到该数据后，将数据封装在一个Event中，并put到channel后commit提交，channel队列先进先出，sink去channel队列中拉取数据，然后写入到HDFS中。