腾讯云centos7.5部署hadoop伪分布式

测试环境 服务器配置：1 核 1 GB 1 Mbps系统盘：高性能云硬盘网络  标准型S2
腾讯云 centos7.5 ， hadoop版本2.7.3  ，jdk版本1.8.0_65

第一步：修改主机名 

vim /etc/sysconfig/network

第二步 ：vi  /etc/hosts

测试主机名是否可以通信

第三步：创建一个用户：hadoop   #用户自定义

第四步：上传 hadoop和jdk到/soft目录
链接：https://pan.baidu.com/s/1Emwrvy6UavPU0crp6PEbug
提取码：i6v4

第五步：解压

tar -zxvf hadoop-2.7.3.tar.gz
tar -zxvf jdk-8u65-linux-x64.tar.g

第六步：创建软连接

ln -s hadoop-2.7.3 hadoop
ln -s jdk1.8.0_65 jd

第七步：配置环境变量 sudo vim /etc/profile 在最后添加如下内容：

第八步：让配置的环境变量生效

sudo source /etc/profile

第九步：验证   分别执行如下命令可看见相应版本

java -version

第十步：进入 /soft/hadoop/etc/hadoop目录

cd /soft/hadoop/etc/hadoo

找到JAVA_HOME修改为JAVA_HOME=/soft/jdk

编辑core-site.xml 文件添加如下内容

vi core-site.xml

<configuration>
    <property>

        <name>fs.defaultFS</name>
<value>hdfs://localhost:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/soft/hadoop/hadoop_tmp</value>
</property>
</configuration>
编辑hdfs-site.xml文件添加如下内容

vi hdfs-site.xml

<configuration>
       <property>
          <name>dfs.replication</name>
          <value>1</value>
      </property>
      <property>
           <name>dfs.namenode.name.dir</name>
          <value>/soft/hadoop_nn1,/soft/hadoop_nn2</value>
       </property>
      <property>
           <name>dfs.datanode.data.dir</name>
          <value>/soft/hadoop_dn1,/soft/hadoop_dn2</value>
       </property>
       <property>
           <name>dfs.namenode.http-address</name>
          <value>0.0.0.0:50070</value>
       </property>
<configuration>  
编辑mapred-site.xml文件添加如下内容

vi mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
     </property>
</configuration>
编辑yarn-site.xml文件内容如下

vi yarn-site.xml

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
     </property>
</configuration>
第十一步：设置免密登录

cd
cd .ssh
ssh-keygen -t rsa  #一直下一步回车即可
cat id_rsa.pub >> authorized_keys
chmod 644 authorized_key

第十二步：格式化文件系统

hadoop namenode -forma

第十三步： 启动hadoop伪分布式

      start-all.sh        #全部启动
      start-dfs.sh      #启动dfs
      start-yarn.sh    #启动yar

第十四步： 查看进程

• NodeManager
• NameNode
• DataNode
• SecondaryNameNode
• ResourceManager

第十五步 ：打开腾讯云控制台—>云服务器—> 安全组 —>新建—>放通全部端口
第十六步： 选择实例—>找到服务器—>ID/实例名—安全组—>绑定

访问HDFS webui :公网ip:50070

喜欢 (0)赏

[]

分享 (0)