hadoop完全分布式模式

1.下载、上传、解压，添加环境变量。

tar zxf /opt/software/hadoop-2.7.6.tar.gz  -C /usr/local/src
2.JAVA_HOME

hadoop-env.sh ：修改JAVA_HOME

1. export JAVA_HOME=/usr/local/src/jdk1.8.0_181

复制代码

3.NameNode

hdfs-site.xml ：namenode命令的存放路径； namenode的数据存放路径；  设置备份数

1. <configuration>
2.   <property>
3.     <name>dfs.namenode.name.dir</name>
4.     <value>file:/usr/local/src/hadoop/dfs/name</value>
5.    </property>
6.   <property>
7.     <name>dfs.datanode.data.dir</name>   
8.     <value>file:/usr/local/src/hadoop/dfs/data</value>
9.    </property>
10.   <property>
11.     <name>dfs.replication</name>
12.     <value>3</value>
13.    </property>
14. </configuration>

复制代码

4.HDFS

core-site.xml ：hdfs的访问地址和端口；设置缓存大小；临时文件存放路径

1. <configuration>
2.   <property>
3.     <name>fs.defaultFS</name>
4.     <value>hdfs://master:9000</value>
5.    </property>
6.   <property>
7.     <name>io.file.buffer.size</name>
8.     <value>131072</value>
9.    </property>
10.   <property>
11.     <name>hadoop.tmp.dir</name>
12.     <value>file:/usr/local/src/hadoop/tmp</value>
13.    </property>
15. </configuration>

复制代码

5.MapReduce

cp mapred-site.xml.template mapred-site.xml
mapred-site.xml ： 设置MapReduce的资源管理器；设置MapReduce执行历史存放路径；MapReduce提供的web访问地址

1. <configuration>
2.   <property>
3.     <name>mapreduce.framework.name</name>
4.     <value>yarn</value>
5.    </property>
6.   <property>
7.     <name>mapreduce.jobhistory.address</name>
8.     <value>master:10020</value>
9.    </property>
10.   <property>
11.     <name>mapreduce.jobhistory.webapp.address</name>
12.     <value>master:19888</value>
13.    </property>
14. </configuration>

复制代码

6.YARN

yarn-site ： 设置yarn为客户端提供服务时进入的地址和端口；设置yarn访问MapReduce作业的进入端口；yarn汇报存活的发送端口；yarn接收对管理员命令的进入端口；yarn提供Web查看的端口；yarn允许通过nodemanager节点自定义服务

1. <configuration>
2.   <property>
3.     <name>yarn.resourcemanager.address</name>
4.     <value>master:8032</value>
5.    </property>
6.   <property>
7.     <name>yarn.resourcemanager.scheduler.address</name>
8.     <value>master:8030</value>
9.    </property>
10.   <property>
11.     <name>yarn.resourcemanager.resource-tracker.address</name>
12.     <value>master:8031</value>
13.    </property>
14.   <property>
15.     <name>yarn.resourcemanager.admin.address</name>
16.     <value>master:8033</value>
17.    </property>
18.   <property>
19.     <name>yarn.resourcemanager.webapp.address</name>
20.     <value>master:8080</value>
21.    </property>
22.   <property>
23.     <name>yarn.nodemanager.aux-services</name>
24.     <value>mapreduce_shuffle</value>
25.    </property>
26.   <property>
27.     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
28.     <value>org.apache.hadoop.mapred.ShuffleHandler</value>
29.    </property>
30. </configuration>

复制代码

7.masters

vi masters

1. 192.168.28.130

复制代码

8.slavers

vi slaves

1. 192.168.28.130
2. 192.168.28.131
3. 192.168.28.132

复制代码

9.分发、添加环境变量

1. scp -r /usr/local/src/hadoop-2.7.6 root@slaver1:/usr/local/src/
2. scp -r /usr/local/src/hadoop-2.7.6 root@slaver2:/usr/local/src/

复制代码

10.初始化

1. hdfs namenode -format

复制代码

11.启动集群

start-all.sh

1. start-dfs.sh ; start-yarn.sh

复制代码

ps：

1. 协议：
2. file: 本地协议
3. hdfs:// hdfs协议

复制代码

pps:
查看java环境变量所指位置： echo $JAVA_HOME
打tar包: tar zcvf etc.tar.gz etc
标签里不能有空格，否则节点启动不起来，会报这个错误：Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured.Starting namenodes on []

1. NameNode  主
2. DataNode  从
3. SecondaryNameNode 主备
4. NodeManager  每一台机器管理自己节点的
5. ResourceManager  资源管理器
6. Jps  查看命令本身

复制代码

重做以前先关闭所有节点 stop-all.sh  stop-dfs.sh ; stop-yarn.sh
slaves不能关闭master的所有节点
ppps：
重新格式化：rm -rf /usr/local/src/hadoop;hdfs namenode -format



下载链接：
配置文件

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！