Linux安装 hadoop-3.3.1

1 下载安装包

  wget --no-check-certificate  https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

2 解压

tar -zxvf hadoop-3.3.1.tar.gz

3  修改 hadoop-env.sh配置文件

 vim  /hadoop-3.3.1/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/data/jdk1.8.0_141

4 修改core-site.xml

 vi  /hadoop-3.3.1/etc/hadoop/core-site.xml

     

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://10.52.0.107:9000/</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/APP/hadoop</value>
</property>

4   修改 hdfs-site.xml 配置文件

`

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<!--分块大小-->
<property>
  <name>dfs.blocksize</name>
  <value>698351616</value>
</property>
<!--NameNode存储目录，没有则新建-->
<property>
  <name>dfs.name.dir</name>
  <value>/APP/hdfs/name</value>
</property>
<!--DateNode存储目录，没有则新建-->
<property>
  <name>dfs.data.dir</name>
  <value>/APP/hdfs/data</value>
</property>
<property>
  <name>dfs.secondary.http.address</name>
  <value>0.0.0.0:6002</value>
</property>
<property>
  <name>dfs.datanode.address</name>
  <value>0.0.0.0:9686</value>
</property>

   

 5  初始化namedata

 进入安装目录

     /hadoop-3.3.1/bin

./hdfs namenode -format

 6 start-dfs.sh ||stop-dfs.sh 

   文件开头加入

   

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root