L Q
  文章分类
Flume 2 HTTP 1 Hadoop 7 EFK 1 JAVA 基础 1 JAVA 多线程 2 JVM 1 JAVA 框架 1 Java 2 Kafka 5 Linux 2 Knife4j 1 MySQL 10 文件在线预览 1 Redis 2 SparkCore 5 Hive 1 JDBC 1 TXT 1 JSON 1 SparkSQL 2 SparkStreaming 3 SpringBoot 19 SpringCloud 2 Documents4j 1 PDFBox 1 Poi-tl 2 递归 1 二叉树遍历 1 设计模式 1 排序算法 1 项目经验 4 树 1 数据结构 1 代码经验 1 权限设计 1
Hadoop_支持LZO压缩 Hadoop_支持LZO压缩
Hadoop_支持LZO压缩第一步：安装 LZO库。（hadoop 用户在 home 目录下新建的文件夹 LZO，以下所有的安装均在这个目录下） 安装lzo：wget http://www.oberhumer.com/opensource
2020-11-15 Hadoop
支持LZO压缩
Hadoop_伪分布式安装 Hadoop_伪分布式安装
Hadoop伪分布式安装1：添加 hadoop 用户新增一个用户 hadoop ,以后就用 hadoop 这个用户对 Hadoop 进行管理。 新增hadoop 用户 ：adduser hadoop。 为hadoop 用户添加管理员权限：
2020-11-15 Hadoop
伪分布安装
Hadoop_基于ZK的高可用集群安装 Hadoop_基于ZK的高可用集群安装
Hadoop 基于 ZK 的高可用集群安装注意事项1、安装 ZooKeeper 配置注意事项 1、新建 data 文件夹，注意这个文件夹的权限。 2、新建文件 myid ,注意这个文件的权限。 3、要分别向 myid 写入1,2,3。
2020-11-15 Hadoop
基于ZK的高可用伪分布式安装
Hadoop_常见错误 Hadoop_常见错误
Hadoop常见错误1：安装Hadoop集群配置注意事项 配置hosts的时候注意主机名，不能使用带下划线的主机名。例如：worker_01，不能这样配置，要用worker01。配置worker_01，Hadoop集群会解析不到。 初次启动
2020-11-15 Hadoop
常见错误
Hadoop_YARN Hadoop_YARN
Hadoop_YARNYARN主要架构 ResourceManager集群资源的协调者和管理者，负责给用户提交的所有程序分配资源。 NodeManager集群具体资源的管理者，负责节点内所有容器的生命周期的管理，资源监控。 具体： 启动时
2020-11-15 Hadoop
YARN
Hadoop_MapReduce Hadoop_MapReduce
Hadoop_MapReduce理解MapReduce Mapping: 对集合里的每个目标应用同一个操作。 Reducing：遍历集合中的元素来返回一个综合的结果。 计算框架 计算模型 在运行一个MapReduce计算任务时候，任
2020-11-15 Hadoop
MapReduce
Hadoop_HDFS Hadoop_HDFS
Hadoop基础HadoopHadoop主要分为三大模块，分别是 HDFS（文件分布系统）， MapReduce（分布式计算框架），YARN（资源调度管理）。 HDFSHDFS的组成 NameNode主要作用 存储数据 存储对应的元数据
2020-11-15 Hadoop
HDFS