Hadoop常见错误
1:安装Hadoop
集群配置注意事项
- 配置
hosts
的时候注意主机名,不能使用带下划线的主机名。例如:worker_01
,不能这样配置,要用worker01
。配置worker_01
,Hadoop
集群会解析不到。 - 初次启动的时候应该严格按照启动顺序来进行。初次启动的启动顺序为:
1、启动ZK
zkServer.sh start
2、启动Journalnode
hadoop-daemon.sh start journalnode
3、格式化HDFS
hdfs namenode -format
- (在
Master
上格式化,格式化成功后需要将NameNode
元数据目录的内容,复制到其他未格式化的NameNode
上。元数据存储目录就是我们在hdfs-site.xml
中使用dfs.namenode.name.dir
属性指定的目录。)
scp -r /home/hadoop/namenode/data worker01:/home/hadoop/namenode/
4、格式化ZKFC
hdfs zkfc -formatZK
5、启动HDFS
start-dfs.sh
6、启动YARN
start-yarn.sh
- (一般情况下
worker03
上的ResourceManager
启动不起来,需要单独启动)
yarn-daemon.sh start resourcemanager
2:Hadoop
集群部署在了Linux
虚拟机上,然后在Win
上编程测试。
2.1、(出现连接不成功的问题)(192.168.48.129
) 是虚拟机的IP
。
解决:
- 1:代码里
private static final String HDFS_PATH = "hdfs://192.168.48.129:9000";
写成IP
地址和端口的形式。
- 2:配置
core-site.xml
里也配置成IP和端口的形式。
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.48.129:9000</value>
</property>