hadoop高可用搭建

一.NameNode高可用搭建1.首先给需要搭建的服务器设置免密登录,先生成密钥(ssh-keygen -t rsa),然后向每台服务器发送密钥ssh-copy-id hadoop11ssh-copy-id hadoop12ssh-copy-id hadoop132.在每台服务器上同时安装psmisc,如果在主服务器上配置有xcall命令(xcall yum install -y psmisc)3.检查jdk以及zookeeper是否在每台服务器安装4.检查是否安装hadoop集群如果以前安装有则需要清空数据先停止集群stop-all.sh清理集群中的data数据xcall rm -rf /opt/installs/hadoop3.1.4/data /opt/installs/hadoop3.1.4/logs/5.配置hadoop-env.shexport JAVA_HOME/opt/installs/jdk1.8export HDFS_NAMENODE_USERrootexport HDFS_DATANODE_USERrootexport HDFS_SECONDARYNAMENODE_USERrootexport YARN_RESOURCEMANAGER_USERrootexport YARN_NODEMANAGER_USERrootexport HDFS_JOURNALNODE_USERrootexport HDFS_ZKFC_USERroot主服务器修改后需同步给其他服务器6.修改core-site.xml7.修改hdfs-site.xml8.检查workers文件中服务器的数量是否满足9.同步core-site.xml和hdfs-site.xml到其他服务器10.首次启动1、启动zookeeperzk.sh start2. 初始化ZKFC在zk中的Znode信息【第一次启动需要做】在hadoop11上进行即可hdfs zkfc -formatZK3、在三台服务器上启动jn【journalnode 主要用于存储namenode的元数据】xcall hdfs --daemon start journalnode否则报8345这个为什么在这个时候启动原因是第四步格式化的时候需要用到journalnode否则报8485连接超时的问题格式化会失败的。4、对集群进行namenode的格式化hdfs namenode -format5、启动hdfsstart-dfs.sh这个服务默认会启动journalnode但是由于你之前已经单独启动过了所以启动它会报三个警告可以忽略无所谓。6、启动第二个namenode需要在hadoop12上运行第一次需要运行如下命令以后不需要hdfs namenode -bootstrapStandby接着启动第二个namenode:hdfs --daemon start namenode11.通过网站查看namenode状态12.测试是否高可用二.搭建resourcemanager高可用第一步检查mapred-site.xml ,里面只有yarn配置和historyServer的配置不需要修改第二步修改yarn-site.xml第三步将mapred-site.xml 和 yarn-site.xml进行同步第四步启动yarn