Hadoop_常见错误


Hadoop常见错误

1:安装Hadoop集群配置注意事项

  • 配置hosts的时候注意主机名,不能使用带下划线的主机名。例如:worker_01,不能这样配置,要用worker01。配置worker_01Hadoop集群会解析不到。
  • 初次启动的时候应该严格按照启动顺序来进行。初次启动的启动顺序为:

1、启动ZK

zkServer.sh start

2、启动Journalnode

hadoop-daemon.sh start journalnode

3、格式化HDFS

hdfs namenode -format
  • (在Master上格式化,格式化成功后需要将 NameNode 元数据目录的内容,复制到其他未格式化的 NameNode 上。元数据存储目录就是我们在 hdfs-site.xml 中使用 dfs.namenode.name.dir 属性指定的目录。)
scp -r /home/hadoop/namenode/data worker01:/home/hadoop/namenode/

4、格式化ZKFC

hdfs zkfc -formatZK

5、启动HDFS

start-dfs.sh

6、启动YARN

start-yarn.sh
  • (一般情况下worker03 上的ResourceManager启动不起来,需要单独启动)
yarn-daemon.sh start resourcemanager

2:Hadoop 集群部署在了Linux虚拟机上,然后在Win上编程测试。

2.1、(出现连接不成功的问题)(192.168.48.129) 是虚拟机的IP

解决:

  • 1:代码里
private static final String HDFS_PATH = "hdfs://192.168.48.129:9000";

写成IP地址和端口的形式。

  • 2:配置 core-site.xml 里也配置成IP和端口的形式。
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.48.129:9000</value>
</property>

文章作者: L Q
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 L Q !
  目录