我要合购资源论坛-全网最大教程资源下载论坛!

搜索
 找回密码
 立即注册
查看: 236|回复: 10

Flume视频教程分布式的海量日志采集 云计算教程

[复制链接]

该用户从未签到

665

主题

677

帖子

2766

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
2766

推广达人宣传达人突出贡献优秀版主荣誉管理论坛元老论坛vip

发表于 2017-7-4 01:35:06 | 显示全部楼层 |阅读模式
Flume视频教程分布式的海量日志采集 云计算教程

Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。

当前Flume有两个版本Flume 0.9X版本的统称Flume-og,Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构,与Flume-og有很大不同,使用时请注意区分。


课程目录:
1flume简介-基础知识
讲述flume的基础知识包括flume的基本概念和核心组件。flume是一个分布式、可靠、高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据的简单处理,并写到各种数据接收方的能力。
2
flume安装与测试
讲述flume安装与测试,主要包括flume单机安装与测试、flume集群安装与测试、Arvo环境的搭建以及安装过程中的一些异常的解决方案讲解。
3
flume部署方式
讲述flume部署种类、流配置。其中详细讲解了单一代理、多代理、多路复用流的配置说明。
4
flume source相关配置及测试
讲述flume source相关的配置和案例分析,包括了Avro Source配置、Thrift Source配置、Exec Source配置、JMS Source配置、NetCat Source配置、Spooling Directory Source配置、Sequence Generator Source配置、Syslog TCP Source配置、Multiport Syslog TCP Source配置、Syslog UDP Source配置、Http Source配置、Custom Source配置。
5
flume sink相关配置及测试
讲述flume sink相关的配置以及flume channel配置和案例分析,包括了HDFS Sink配置、Logger Sink配置、Avro Sink配置、Thrift Sink配置、IRC Sink配置、File Roll Sink配置、Null Sink配置、Hbase Sink配置、AsyncHbase Sink配置、Custom Sink配置;Memory Channel配置、JDBC Channel配置、File Channel配置、Pseudo Transaction Channel配置、Custom Channel配置。

6
flume selector 相关配置与案例分析
讲述 flume selector相关配置和案例分析,包括了Replicating Channel Selector配置、Multiplexing Channel Selector配置、Custom Channel Selector配置。


7
Flume Sink Processors相关配置和案例分析
讲述 Flume Sink Processors相关配置和案例分析,包括了Default Sink Processor配置、Failover Sink Processor配置、Load balancing Sink Processor配置。


8
Flume Interceptors相关配置和案例分析
讲述 Flume Event Serializers、Flume Interceptors相关配置和案例分析,包括了Body Text Serializer配置、Avro Text Serializer配置、Timestamp Interceptor配置、Host Interceptor配置、Static Interceptor配置、Regex Filtering Interceptor配置。


9
Flume RPC Client开发
讲述如何进行 flume RPC Client开发,这个是在通常应用中使用的较多的一种方式。


10
Flume Sink和Flume Source开发
讲述如何进行 flume Sink、flume Source开发。


下载地址:
游客,如果您要查看本帖隐藏内容请回复





回复

使用道具 举报

该用户从未签到

0

主题

6

帖子

68

积分

注册会员

Rank: 2

积分
68
发表于 2018-2-1 23:29:07 | 显示全部楼层
无回帖,不论坛,这才是人道。
回复 支持 反对

使用道具 举报

该用户从未签到

0

主题

3084

帖子

9483

积分

论坛元老

Rank: 8Rank: 8

积分
9483
发表于 2018-2-4 01:08:53 | 显示全部楼层
激动人心,无法言表!
回复 支持 反对

使用道具 举报

该用户从未签到

0

主题

3084

帖子

9483

积分

论坛元老

Rank: 8Rank: 8

积分
9483
发表于 2018-2-12 22:40:19 | 显示全部楼层
淡定,淡定,淡定……
回复 支持 反对

使用道具 举报

该用户从未签到

0

主题

274

帖子

1029

积分

金牌会员

Rank: 6Rank: 6

积分
1029
发表于 2018-2-18 02:19:12 | 显示全部楼层
感恩无私的分享与奉献
回复 支持 反对

使用道具 举报

该用户从未签到

0

主题

3084

帖子

9483

积分

论坛元老

Rank: 8Rank: 8

积分
9483
发表于 2018-3-1 06:12:05 | 显示全部楼层
楼主加油,我们都看好你哦。
回复 支持 反对

使用道具 举报

该用户从未签到

0

主题

3084

帖子

9483

积分

论坛元老

Rank: 8Rank: 8

积分
9483
发表于 2018-3-21 19:11:52 | 显示全部楼层
太生气了,无法HOLD啦 >_<......
回复 支持 反对

使用道具 举报

该用户从未签到

0

主题

3084

帖子

9483

积分

论坛元老

Rank: 8Rank: 8

积分
9483
发表于 2018-3-26 23:39:41 | 显示全部楼层
真是被感动的痛哭流涕……
回复 支持 反对

使用道具 举报

该用户从未签到

0

主题

3084

帖子

9483

积分

论坛元老

Rank: 8Rank: 8

积分
9483
发表于 2018-4-8 01:00:08 | 显示全部楼层
真是难得给力的帖子啊。
回复 支持 反对

使用道具 举报

该用户从未签到

0

主题

3084

帖子

9483

积分

论坛元老

Rank: 8Rank: 8

积分
9483
发表于 2018-4-13 19:48:23 | 显示全部楼层
看到这帖子真是高兴!
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

 
 
技术支持
在线客服
点击这里给我发消息
点击这里给我发消息
我要合购资源1群:
我要合购资源1群
我要合购资源2群:
我要合购资源2群
工作时间:
8:00-22:00
 

QQ|Archiver|手机版|小黑屋|我要合购资源论坛 ( 粤ICP备15040278号-2

GMT+8, 2018-4-24 16:51 , Processed in 0.232934 second(s), 33 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表