Hadoop常见错误

1：安装Hadoop集群配置注意事项

• 配置hosts的时候注意主机名，不能使用带下划线的主机名。例如：worker_01，不能这样配置，要用worker01。配置worker_01，Hadoop集群会解析不到。
• 初次启动的时候应该严格按照启动顺序来进行。初次启动的启动顺序为：

1、启动ZK

zkServer.sh start

2、启动Journalnode

hadoop-daemon.sh start journalnode

3、格式化HDFS

hdfs namenode -format

• （在Master上格式化，格式化成功后需要将 NameNode 元数据目录的内容，复制到其他未格式化的 NameNode 上。元数据存储目录就是我们在 hdfs-site.xml 中使用 dfs.namenode.name.dir 属性指定的目录。）

scp -r /home/hadoop/namenode/data worker01:/home/hadoop/namenode/

4、格式化ZKFC

hdfs zkfc -formatZK

5、启动HDFS

start-dfs.sh

6、启动YARN

start-yarn.sh

• （一般情况下worker03 上的ResourceManager启动不起来，需要单独启动）

yarn-daemon.sh start resourcemanager

2：Hadoop 集群部署在了Linux虚拟机上，然后在Win上编程测试。

2.1、（出现连接不成功的问题）(192.168.48.129) 是虚拟机的IP。

解决：

• 1：代码里

private static final String HDFS_PATH = "hdfs://192.168.48.129:9000";

写成IP地址和端口的形式。

• 2：配置 core-site.xml 里也配置成IP和端口的形式。

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.48.129:9000</value>
</property>