Hadoop完全分布式配置(二)

群起集群

单节点启动,需要我们手动去每个机器启动,过于繁琐。

1、配置workers

1)配置/opt/module/hadoop-3.2.1/etc/hadoop下的workers文件(hadoop3.0以后slaves更名为workers)
在该文件中增加如下内容:

hadoop101
hadoop102
hadoop103

注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。
2)同步所有节点配置文件

scp -r /opt/module/hadoop-3.2.1/etc/hadoop root@192.168.114.102:/opt/module/hadoop-3.2.1/etc
scp -r /opt/module/hadoop-3.2.1/etc/hadoop root@192.168.114.103:/opt/module/hadoop-3.2.1/etc

2、启动集群

如果集群是第一次启动,需要格式化NameNode(注意格式化之前,一定要先停止上次启动的所有namenode和datanode进程,然后再删除data和log数据)

hdfs namenode -format

启动HDFS

start-dfs.sh

[root@hadoop101 ~]# jps
7506 DataNode
7386 NameNode
9418 Jps

[root@hadoop102 ~]# jps
9562 Jps
7439 DataNode

[root@hadoop102 ~]# jps
9562 Jps
7439 DataNode

[root@hadoop103 ~]# jps
7266 SecondaryNameNode
10920 Jps
8428 DataNode

启动YARN

[root@hadoop102 ~]# start-yarn.sh

注意:NameNode和ResourceManger如果不是同一台机器,不能在NameNode上启动 YARN,应该在ResouceManager所在的机器上启动YARN。

Web端查看

1)HDFS文件系统

4)JobHistory
启动JobHistory

[root@hadoop101 ~]# mr-jobhistory-daemon.sh start historyserver
WARNING: Use of this script to start the MR JobHistory daemon is deprecated.
WARNING: Attempting to execute replacement "mapred --daemon start" instead.
[root@hadoop101 ~]# jps
7506 DataNode
9686 JobHistoryServer
9497 NodeManager
9705 Jps
7386 NameNode

 

 

文章链接: https://www.mfisp.com/20737.html

文章标题:Hadoop完全分布式配置(二)

文章版权:梦飞科技所发布的内容,部分为原创文章,转载请注明来源,网络转载文章如有侵权请联系我们!

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

给TA打赏
共{{data.count}}人
人已打赏
建站教程

Hadoop完全分布式配置

2023-5-24 12:35:56

建站教程

hadoop伪分布配置

2023-5-26 13:12:18

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
客户经理
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索

梦飞科技 - 最新云主机促销服务器租用优惠