L Q
11
15
Hadoop_伪分布式安装 Hadoop_伪分布式安装
Hadoop伪分布式安装1:添加 hadoop 用户新增一个用户 hadoop ,以后就用 hadoop 这个用户对 Hadoop 进行管理。 新增hadoop 用户 :adduser hadoop。 为hadoop 用户添加管理员权限:
2020-11-15
15
15
Hadoop_常见错误 Hadoop_常见错误
Hadoop常见错误1:安装Hadoop集群配置注意事项 配置hosts的时候注意主机名,不能使用带下划线的主机名。例如:worker_01,不能这样配置,要用worker01。配置worker_01,Hadoop集群会解析不到。 初次启动
2020-11-15
15
Hadoop_YARN Hadoop_YARN
Hadoop_YARNYARN主要架构 ResourceManager集群资源的协调者和管理者,负责给用户提交的所有程序分配资源。 NodeManager集群具体资源的管理者,负责节点内所有容器的生命周期的管理,资源监控。 具体: 启动时
2020-11-15
15
Hadoop_MapReduce Hadoop_MapReduce
Hadoop_MapReduce理解MapReduce Mapping: 对集合里的每个目标应用同一个操作。 Reducing:遍历集合中的元素来返回一个综合的结果。 计算框架 计算模型 在运行一个MapReduce计算任务时候,任
2020-11-15
15
Hadoop_HDFS Hadoop_HDFS
Hadoop基础HadoopHadoop主要分为三大模块,分别是 HDFS(文件分布系统), MapReduce(分布式计算框架),YARN(资源调度管理)。 HDFSHDFS的组成 NameNode主要作用 存储数据 存储对应的元数据
2020-11-15
8 / 8