首先需要配置上面画红框的几个文件

1、core-site.xml文件

1 
     
       2 
      
        3 
       
        fs.defaultFS
        4 
       
        hdfs://localhost:9000
        5 
       6  7 
      
        8 
       
        hadoop.tmp.dir
        9 
       
        /soft/hadoop-3.1.1/data
       10 
      11 12 
     

2、hdfs-site.xml文件

1 
     
       2 
      
        3 
       
        dfs.namenode.http-address
        4 
       
        localhost:50070
        5 
       6  7  8 
      
        9 
       
        dfs.replication
       10 
       
        1
       11 
      12 
     

3、yarn-stie.xml文件

1 
     
       2 
      
       yarn.resourcemanager.hostname
       3 
      
       localhost
       4 
      5  6 
     
       7 
      
       yarn.nodemanager.aux-services
       8 
      
       mapreduce_shuffle
       9 
     10 11 
     
      12 
      
       mapreduce.framework.name
      13 
      
       local
      14 
     15 

4、mapred-site.xml文件

1 
     
      2 
      
       3 
       
        mapreduce.framework.name
       4 
       
        yarn
       5 
      
     

5、hadoop-env.sh文件

1 # 这个地方设置为你java的安装目录2 JAVA_HOME=/soft/jdk1.8.0_191

 

二、启动hadoop运行环境

2.1 首先初始化一下hadoop文件系统

1 hadoop namenode format

2.2 运行hadoop

1 start-all.sh

我们这里需要确认一下是否运行成功，使用下面的命令

jps

 

这里尤其要注意一下这个DataNode是否运行

成功运行以后，应该可以在浏览器输入下面两个网址

 

3 测试wordcount程序

3.1 首先在本地随便新建一个input.txt文件，input.txt文件中随便输入一些单词

hello worldhello worldhello boyhello grilhellohellohellohellohello

3.2 在hadoop根文件系统中，新建一个文件夹

1 hadoop fs -mkdir /wordcount

3.3 将本地的input.txt文件上传到hadoop文件中

1 hadoop fs -put input.txt /wordcount/input

3.4 运行hadoop提供wordcount程序

hadoop提供许多测试程序，具体在hadoop安装目录的share目录下

hadoop jar /soft/hadoop-3.1.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar wordcount /wordcount/input /output/wordcount

上面的/out/wordcount表示输出文件的位置

3.5 查看运行的结果

1 hadoop fs -cat /wordcount/part-r-00000

1 boy    22 girl    23 hello    104 world    1