# Web 界面查看 Nodes 信息

> 来源：梦飞idc云平台 | 原文：https://www.mfisp.com/20809.html | 发布：2023-05-26 | 更新：2023-05-26 | 分类：建站教程

Web 界面查看 Nodes 信息

 

成功启动后，可以访问 Web 界面: 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。

 

（6）运行 Hadoop 伪分布式实例（grep 例子）  
①创建实例目录 user/hadoop 上面的单机模式，grep 例子读取的是本地数据，伪分布式读取的则是 HDFS 上的数据。 要使用 HDFS，首先需要在 HDFS 中创建用户目录：

 

./bin/hdfs dfs -mkdir -p /user/hadoop

 

接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中，即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。  
我们使用的是 hadoop 用户，并且已创建相应的用户目录 /user/hadoop ，因此在命令中就可 以使用相对路径如 input，其对应的绝对路径就是 /user/hadoop/input

 

②创建实例目录 user/hadoop/input,并复制所有的.xml 文件

 

./bin/hdfs dfs -mkdir input ./bin/hdfs dfs -put ./etc/hadoop/*.xml input

 

复制完成后，可以通过如下命令查看文件列表：  
./bin/hdfs dfs -ls input  
伪分布式运行 MapReduce 作业的方式跟单机模式相同，区别在于伪分布式读取的是 HDFS 中的文件（可以将单机步骤中创建的本地 input 文件夹，输出结果 output 文件夹都删掉来 验证这一点）。

 

③运行实例  
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep input output 'dfs[a-z.]+'  
查看运行结果的命令（查看的是位于 HDFS 中的输出结果）：  
 ./bin/hdfs dfs -cat output/*

 

结果如下，注意到刚才我们已经更改了配置文件，所以运行结果不同。

 

④下载文件 我们也可以将运行结果取回到本地：

 

rm -r ./output # 先删除本地的 output 文件夹（如果存在）  
 ./bin/hdfs dfs -get output ./output # 将 HDFS 上的 output 文件夹拷贝到本机   
 cat ./output/*

 

Hadoop 运 行 程 序 时 ， 输 出 目 录 不 能 存 在 ， 否 则 会 提 示 错 误

 

org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory  
 hdfs://localhost:9000/user/hadoop/output already exists

 

，因此若要再次执行，需要执行如 下命令删除 output 文件夹:

 

./bin/hdfs dfs -rm -r output # 删除 output 文件夹

 

错误：运行程序时，输出目录不能存在

 

运行 Hadoop 程序时，为了防止覆盖结果，程序指定的输出目录（如 output） 不能存在，否则会提示错误，因此运行前需要先删除输出目录。在实际开发应 用程序时，可考虑在程序中加上如下代码，能在每次运行时自动删除输出目 录，避免繁琐的命令行操作：  
Configuration conf = new Configuration();   
Job job = new Job(conf);   
/* 删除输出目录 */   
Path outputPath = new Path(args[1]); outputPath.getFileSystem(conf).delete(outputPath, true);

 

Configuration conf = new Configuration();   
Job job = new Job(conf);   
/* 删除输出目录 */   
Path outputPath = new Path(args[1]); outputPath.getFileSystem(conf).delete(outputPath, true);

---
本页由 梦飞idc云平台（https://www.mfisp.com）提供。站点导航见 https://www.mfisp.com/llms.txt
