大数据学习

Flume案例-自定义Source Source 是负责接收数据到 Flume Agent 的组件。 Source 组件可以处理各种类型、各种格式的日志数据， 包括 avro、 thrift、 exec、 jms、 spooling directory、 netcat、 sequencegenerator、 syslog、 http、 legacy。官方提供的 source 类型已经很多，但是有时候并不能满足实际开发当中的需求，此时我们就需要根据实际需求自定义某些 source。 官方也提供了自定义 source 的接口： https://flume.apache.org/FlumeDe

Flume案例-自定义Sink Sink不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。 Sink是完全事务性的。在从Channel批量删除数据之前，每个Sink用Channel启动一个事务。批量事件一旦成功写出到存储系统或下一个Flume Agent，Sink就利用Channel提交事务。事务一旦被提交，该Channel从自己的内部缓冲区删除事件。 Sink组件目的地包括hdfs、logger、avro、thrift、ipc、file、null、HBase、solr、自定义。官方提供的Sink类型已经很

Flume案例-自定义Interceptor 1）案例需求： 使用 Flume 采集服务器本地日志，需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。 2）需求分析： 在实际的开发中，一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到 Flume 拓扑结构中的 Multiplexing 结构， Multiplexing的原理是，根据 event 中 Header 的某个 key 的值，将不同的 event 发送到不同的 Channel中，所以我们需要自定义一个 Interceptor，为不同类型的 event 的 H

Flume案例-Ganglia的安装与部署 Ganglia 1.安装httpd服务与php [nbu@hadoop102 flume]$ sudo yum -y install httpd php 2.安装其他依赖 [nbu@hadoop102 flume]$ sudo yum -y install rrdtool perl-rrdtool rrdtool-devel[nbu@hadoop102 flume]$ sudo yum -y install apr-devel 3.安装 ganglia [nbu@hadoop102