• 欢迎访问本站网站,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站,如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

腾讯云centos7.5部署hadoop伪分布式

大数据技术与原理 admin 3个月前 (10-18) 79次浏览 已收录 0个评论 扫描二维码

测试环境 服务器配置:1 核 1 GB 1 Mbps系统盘:高性能云硬盘网络  标准型S2
腾讯云 centos7.5 , hadoop版本2.7.3  ,jdk版本1.8.0_65

第一步:修改主机名 

vim /etc/sysconfig/network
  1. NETWORKING=yes
  2. HOSTNAME=s201     #s201是主机

第二步 :vi  /etc/hosts

  1. 公网IP地址+主机

测试主机名是否可以通信

  1. 命令  ping s20

第三步:创建一个用户:hadoop   #用户自定义

  1. 创建用户 :useradd hadoop
  2. 修改密码 :passwd hadoo

第四步:上传 hadoop和jdk到/soft目录
链接:https://pan.baidu.com/s/1Emwrvy6UavPU0crp6PEbug
提取码:i6v4

第五步:解压

tar -zxvf hadoop-2.7.3.tar.gz
tar -zxvf jdk-8u65-linux-x64.tar.g

第六步:创建软连接

ln -s hadoop-2.7.3 hadoop
ln -s jdk1.8.0_65 jd

第七步:配置环境变量 sudo vim /etc/profile 在最后添加如下内容:

  1. export JAVA_HOME=/soft/jdk
  2. export HADOOP_HOME=/soft/hadoop
  3. export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbi

第八步:让配置的环境变量生效

sudo source /etc/profile

###没有报错则生效##

第九步:验证   分别执行如下命令可看见相应版本

java -version

第十步:进入 /soft/hadoop/etc/hadoop目录

cd /soft/hadoop/etc/hadoo

找到JAVA_HOME修改为JAVA_HOME=/soft/jdk

编辑core-site.xml 文件添加如下内容

vi core-site.xml

<configuration>
    <property>

        <name>fs.defaultFS</name>
<value>hdfs://localhost:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/soft/hadoop/hadoop_tmp</value>
</property>
</configuration>

编辑hdfs-site.xml文件添加如下内容

vi hdfs-site.xml

<configuration>
       <property>
          <name>dfs.replication</name>
          <value>1</value>
      </property>
      <property>
           <name>dfs.namenode.name.dir</name>
          <value>/soft/hadoop_nn1,/soft/hadoop_nn2</value>
       </property>
      <property>
           <name>dfs.datanode.data.dir</name>
          <value>/soft/hadoop_dn1,/soft/hadoop_dn2</value>
       </property>
       <property>
           <name>dfs.namenode.http-address</name>
          <value>0.0.0.0:50070</value>
       </property>
<configuration>  
编辑mapred-site.xml文件添加如下内容

vi mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
     </property>
</configuration>
编辑yarn-site.xml文件内容如下

vi yarn-site.xml

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
     </property>
</configuration>
第十一步:设置免密登录

免密登录

cd
cd .ssh
ssh-keygen -t rsa  #一直下一步回车即可
cat id_rsa.pub >> authorized_keys
chmod 644 authorized_key

 

第十二步:格式化文件系统

hadoop namenode -forma

 

第十三步: 启动hadoop伪分布式

      start-all.sh        #全部启动
      start-dfs.sh      #启动dfs
      start-yarn.sh    #启动yar

第十四步: 查看进程

  • NodeManager
  • NameNode
  • DataNode
  • SecondaryNameNode
  • ResourceManager

第十五步 :打开腾讯云控制台—>云服务器—> 安全组 —>新建—>放通全部端口
第十六步: 选择实例—>找到服务器—>ID/实例名—安全组—>绑定

访问HDFS webui :公网ip:50070


本站的文章和资源来自互联网或者站长的原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:腾讯云centos7.5部署hadoop伪分布式
喜欢 (0)
[]
分享 (0)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址