Flume_基础Flume的定义 Flume 是一个分布式的、高可靠的、高可用的将大批量的不同数据源的日志数据收集、聚合、移动到数据中心（HDFS）进行存储的系统。即是日志采集和汇总的工具。 Flume的优势 可以高速采集数据，采集的数据能

Hadoop_支持LZO压缩第一步：安装 LZO库。（hadoop 用户在 home 目录下新建的文件夹 LZO，以下所有的安装均在这个目录下） 安装lzo：wget http://www.oberhumer.com/opensource

Hadoop伪分布式安装1：添加 hadoop 用户新增一个用户 hadoop ,以后就用 hadoop 这个用户对 Hadoop 进行管理。 新增hadoop 用户 ：adduser hadoop。 为hadoop 用户添加管理员权限：

Hadoop 基于 ZK 的高可用集群安装注意事项1、安装 ZooKeeper 配置注意事项 1、新建 data 文件夹，注意这个文件夹的权限。 2、新建文件 myid ,注意这个文件的权限。 3、要分别向 myid 写入1,2,3。

Hadoop常见错误1：安装Hadoop集群配置注意事项 配置hosts的时候注意主机名，不能使用带下划线的主机名。例如：worker_01，不能这样配置，要用worker01。配置worker_01，Hadoop集群会解析不到。 初次启动

Hadoop_YARNYARN主要架构 ResourceManager集群资源的协调者和管理者，负责给用户提交的所有程序分配资源。 NodeManager集群具体资源的管理者，负责节点内所有容器的生命周期的管理，资源监控。 具体： 启动时

Hadoop_MapReduce理解MapReduce Mapping: 对集合里的每个目标应用同一个操作。 Reducing：遍历集合中的元素来返回一个综合的结果。 计算框架 计算模型 在运行一个MapReduce计算任务时候，任

Hadoop基础HadoopHadoop主要分为三大模块，分别是 HDFS（文件分布系统）， MapReduce（分布式计算框架），YARN（资源调度管理）。 HDFSHDFS的组成 NameNode主要作用 存储数据 存储对应的元数据