《课件8a-flume介绍》由会员分享，可在线阅读，更多相关《课件8a-flume介绍（25页珍藏版）》请在金锄头文库上搜索。
1、应用引领，快速支撑，助力网络运维转型 应用引领，快速支撑，助力网络运维转型 大数据系列培训大数据系列培训 第八讲第八讲 8.1 Flume8.1 Flume介绍介绍 2015年05月 讲师：集团系统集成公司 李文鸿 面向运维人员的IT技术系列课程 应用引领，快速支撑，助力网络运维转型 本节的主要内容和课程目标 主要内容： 介绍分布式日志收集系统Flume，分析Flume的架构设计、原理、安装部署与使用 课程目标： 掌握Flume的基本架构设计与原理，了解Flume的基本使用方法 应用引领，快速支撑，助力网络运维转型 Flume概述 Flume NG架构与核心组件 议题 Flume安装与使用 应
2、用引领，快速支撑，助力网络运维转型 Flume概述 Flume 是 Cloudera 提供的日志收集系统，具有分布式、高可靠、 高可用性等特点，对海量日志采集、聚合和传输，Flume 支持在 日志系统中定制各类数据发送方，同时，Flume提供对数据进行 简单处理，并写到各种数据接受方的能力。 Flume 初始的发行版本目前被统称为Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺 点暴露出来，为了解决这些问题，cloudera 完成了Flume-728， 对
3、Flume 进行了里程碑式的改动：重构核心组件、核心配置以 及代码架构，重构后的版本统称为 Flume NG（next generation）。 应用引领，快速支撑，助力网络运维转型 Flume OG设计目标 可靠性：当节点出现故障时，日志能够被传送到其他节点上 而不会丢失 可扩展性：Flume采用了三层架构，分别为agent，collector和 storage，每一层均可以水平扩展 可管理性：所有agent和Collector由master统一管理，这使得系 统便于维护 功能可扩展性：用户可以根据需要添加自己的agent， collector或者storage 应用引领，快速支撑，助力网络
4、运维转型 Flume OG 应用引领，快速支撑，助力网络运维转型 Flume NG 应用引领，快速支撑，助力网络运维转型 Flume NG架构与核心组件 Flume概述 议题 Flume安装与使用 应用引领，快速支撑，助力网络运维转型 Flume NG架构 Flume 的核心核心是把数据从数据源收集过来，再送到目的地 Flume 传输的数据基本单位数据基本单位是 Event，如果是文本文件，通常 是一行记录，这也是事务的基本单位 Flume 运行的核心是 Agent。它是一个完整的数据收集工具， 含有三个核心组件，分别是 source、channel、sink 应用引领，快速支撑，助力网络运维
5、转型 Flume NG核心组件Source Client端操作消费数据的来源，Flume 支持 Avro，log4j，syslog 和 http post(body为json格式)。对现有程序改动最小的使用方式 是使用是直接读取程序原来记录的日志文件，基本可以实现无 缝接入，不需要对现有程序进行任何改动。 对于直接读取文件 Source,有两种方式： ExecSource: 以运行 Linux 命令的方式，持续的输出最新的数据， 如 tail -F 文件名 指令，在这种方式下，取的文件名必须是指 定的。 SpoolSource: 监测配置的目录下新增的文件，并将文件中的数 据读取出来。 应用引
6、领，快速支撑，助力网络运维转型 Flume NG核心组件Channel 当前有几个 channel 可供选择，分别是 Memory Channel, JDBC Channel, File Channel, Psuedo Transaction Channel。 MemoryChannel 可以实现高速的吞吐，但是无法保证数据的 完整性。 MemoryRecoverChannel 在官方文档的建议上已经建义使用 FileChannel来替换。 FileChannel保证数据的完整性与一致性。在具体配置 FileChannel时，建议FileChannel设置的目录和程序日志文件保 存的目录设成不
7、同的磁盘，以便提高效率。 应用引领，快速支撑，助力网络运维转型 Flume NG核心组件Sink Sink在设置存储数据时，可以向文件系统、数据库、hadoop存 数据，在日志数据较少时，可以将数据存储在文件系中，并且 设定一定的时间间隔保存数据。在日志数据较多时，可以将相 应的日志数据存储到Hadoop中，便于日后进行相应的数据分析。 应用引领，快速支撑，助力网络运维转型 Flume安装与使用 Flume概述 议题 Flume NG架构与核心组件 应用引领，快速支撑，助力网络运维转型 Flume安装 1、下载解压flume软件安装包 tar -zxvf apache-flume-1.5.2-
8、bin.tar.gz mv apache-flume-1.5.2-bin flume 2、修改 flume-env.sh 配置文件，主要是JAVA_HOME变量设置 export JAVA_HOME=/usr/java/jdk1.7.0_71 3、验证安装是否成功 应用引领，快速支撑，助力网络运维转型 1、创建agent配置文件syslog_tcp.conf a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = syslogtcp a1.source
9、s.r1.port = 5140 a1.sources.r1.host = localhost a1.sources.r1.channels = c1 # Describe the sink a1.sinks.k1.type = logger # Use a channel which buffers events in memory a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 # Bind the source and sink to
10、the channel a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1 Flume使用案例监听TCP端口数据源 应用引领，快速支撑，助力网络运维转型 2、启动flume agent a1 ./flume-ng agent -c . -f /home/hadoop/flume/conf/syslog_tcp.conf - n a1 -Dflume.root.logger=INFO,console Flume使用案例监听TCP端口数据源 应用引领，快速支撑，助力网络运维转型 Flume使用案例监听TCP端口数据源 3、测试产生syslog
11、echo “hello flume“ | nc localhost 5140 4、查看控制台输出信息 15/04/22 14:50:55 INFO instrumentation.MonitoredCounterGroup: Component type: CHANNEL, name: c1 started 15/04/22 14:50:55 INFO node.Application: Starting Sink k1 15/04/22 14:50:55 INFO node.Application: Starting Source r1 15/04/22 14:50:55 INFO sour
12、ce.SyslogTcpSource: Syslog TCP Source starting. 15/04/22 14:51:05 WARN source.SyslogUtils: Event created from Invalid Syslog data. 15/04/22 14:51:05 INFO sink.LoggerSink: Event: headers:Severity=0, flume.syslog.status=Invalid, Facility=0 body: 68 65 6C 6C 6F 20 66 6C 75 6D 65 hello flume 应用引领，快速支撑，助
13、力网络运维转型 1、创建agent配置文件example.conf Flume使用案例将日志文件传输到HDFS 应用引领，快速支撑，助力网络运维转型 2、启动flume agent agent1 ./bin/flume-ng agent -c . -f example.conf -n agent1 - Dflume.root.logger=INFO,console Flume使用案例将日志文件传输到HDFS 应用引领，快速支撑，助力网络运维转型 3、产生日志文件 4、查看控制台输出信息 Flume使用案例将日志文件传输到HDFS 应用引领，快速支撑，助力网络运维转型 Flume项目应用实例AA
14、A话单数据传输 应用引领，快速支撑，助力网络运维转型 Flume项目应用实例AAA话单数据传输 应用引领，快速支撑，助力网络运维转型 Flume项目应用实例AAA话单数据传输 Collector AAAFilenameCollector AAARecordCollector EventServer AAAFilenameProcessor AAARecordProcessor /aaa file1 file2 Event 1、收集/aaa目录文件 2、将文件名封装为Event 3、收集file1文件记录 Event 4、将文件记录封装为Event AAARecordParser 5、将记录进行解析处理 应用引领，快速支撑，助力网络运维转型 小结 Flume OG和Flume NG Flume NG的架构与核心组件，包括Agent、Source、Channel、 Sink等概念 Flume的安装与使用案例，监听TCP端口数据源，将日志文件传 输到HDFS 应用引领，快速支撑，助力网络运维转型 谢谢！
