hadoop完全分布式搭建

之前的文章都是伪分布式的hadoop集群搭建，而完全分布式集群搭建可以在之前伪分布式的基础上进行修改，但是下面介绍的是完全从零开始搭建的

首先要搭建完全分布式集群，至少要三台机器，这里使用的是三台虚拟机，然后进行规划，例如namenode,resourcemanager要放在哪台机器上，下面是我的三台机器的规划

机器一: 静态ip:192.168.157.110：namenode datanode nodemanager

机器二: 静态ip:192.168.157.111: datanode resourcemanager nodemanager

机器三: 静态ip:192.168.157.112: datanode nodemanager secondarynamenode historyserver

从上边可以看出namenode是在机器一上，resourcemanager是在机器二上，而historyserver是在机器三上，下边就在配置文件中进行相应配置

下面是我的配置文件，这里除了主从节点的配置外还进行了其他的配置，例如日志回收的时间，内存的分配等

core-site.xml:

fs.defaultFS hdfs://192.168.157.110:8020 hadoop.tmp.dir /opt/app/hadoop-2.5.0/data/tmp fs.trash.interval 10080

hdfs-site.xml:

dfs.namenode.secondary.http-address 192.168.157.112:50090

slave:

192.168.157.110

192.168.157.111

192.168.157.112

mapred-site.xml:

mapreduce.framework.name yarn

yarn-site.xml:

yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname 192.168.157.111 yarn.log-aggregation-enable true yarn.log-aggregation.retain-seconds 640800 yarn.nodemanager.resource.memory-mb 4096 yarn.nodemanager.resource.cpu-vcores 4

上边的配置好后首先将三台机器进行ssh无密码登录设置，主要就是

ssh-keygen -t rsa

ssh-copy-id ip

这两个命令，主节点为namenode和resourcemanager，所以有主节点的机器要能够无密码登录其他所有机器，然后就可以直接在主节点上启动从节点，注意启动前要记得初始化hdfs

最后修改于 2018-06-08

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。