Web 界面查看 Nodes 信息

Web 界面查看 Nodes 信息

成功启动后,可以访问 Web 界面:  查看 NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件。

(6)运行 Hadoop 伪分布式实例(grep 例子)
①创建实例目录 user/hadoop 上面的单机模式,grep 例子读取的是本地数据,伪分布式读取的则是 HDFS 上的数据。 要使用 HDFS,首先需要在 HDFS 中创建用户目录:

 ./bin/hdfs dfs -mkdir -p /user/hadoop

接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中,即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。
我们使用的是 hadoop 用户,并且已创建相应的用户目录 /user/hadoop ,因此在命令中就可 以使用相对路径如 input,其对应的绝对路径就是 /user/hadoop/input

②创建实例目录 user/hadoop/input,并复制所有的.xml 文件

 ./bin/hdfs dfs -mkdir input ./bin/hdfs dfs -put ./etc/hadoop/*.xml input 

复制完成后,可以通过如下命令查看文件列表:
./bin/hdfs dfs -ls input
伪分布式运行 MapReduce 作业的方式跟单机模式相同,区别在于伪分布式读取的是 HDFS 中的文件(可以将单机步骤中创建的本地 input 文件夹,输出结果 output 文件夹都删掉来 验证这一点)。

③运行实例
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep input output 'dfs[a-z.]+'
查看运行结果的命令(查看的是位于 HDFS 中的输出结果):
 ./bin/hdfs dfs -cat output/* 

结果如下,注意到刚才我们已经更改了配置文件,所以运行结果不同。

④下载文件 我们也可以将运行结果取回到本地:

 rm -r ./output    # 先删除本地的 output 文件夹(如果存在)
 ./bin/hdfs dfs -get output ./output     # 将 HDFS 上的 output 文件夹拷贝到本机 
 cat ./output/* 

Hadoop 运 行 程 序 时 , 输 出 目 录 不 能 存 在 , 否 则 会 提 示 错 误

    org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory
    hdfs://localhost:9000/user/hadoop/output already exists

,因此若要再次执行,需要执行如 下命令删除 output 文件夹:

 ./bin/hdfs dfs -rm -r output    # 删除 output 文件夹 

错误:运行程序时,输出目录不能存在

运行 Hadoop 程序时,为了防止覆盖结果,程序指定的输出目录(如 output) 不能存在,否则会提示错误,因此运行前需要先删除输出目录。在实际开发应 用程序时,可考虑在程序中加上如下代码,能在每次运行时自动删除输出目 录,避免繁琐的命令行操作:
Configuration conf = new Configuration(); 
Job job = new Job(conf); 
/* 删除输出目录 */ 
Path outputPath = new Path(args[1]); outputPath.getFileSystem(conf).delete(outputPath, true); 

Configuration conf = new Configuration(); 
Job job = new Job(conf); 
/* 删除输出目录 */ 
Path outputPath = new Path(args[1]); outputPath.getFileSystem(conf).delete(outputPath, true); 

 

文章链接: https://www.mfisp.com/20809.html

文章标题:Web 界面查看 Nodes 信息

文章版权:梦飞科技所发布的内容,部分为原创文章,转载请注明来源,网络转载文章如有侵权请联系我们!

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

给TA打赏
共{{data.count}}人
人已打赏
建站教程

Hadoop 配置文件说明

2023-5-26 13:17:00

建站教程

docker搭建私有仓库

2023-5-29 14:27:09

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
客户经理
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索

梦飞科技 - 最新云主机促销服务器租用优惠