测试环境 服务器配置:1 核 1 GB 1 Mbps系统盘:高性能云硬盘网络 标准型S2
腾讯云 centos7.5 , hadoop版本2.7.3 ,jdk版本1.8.0_65
第一步:修改主机名
vim /etc/sysconfig/network
- NETWORKING=yes
- HOSTNAME=s201 #s201是主机
第二步 :vi /etc/hosts
- 公网IP地址+主机
测试主机名是否可以通信
- 命令 ping s20
第三步:创建一个用户:hadoop #用户自定义
- 创建用户 :useradd hadoop
- 修改密码 :passwd hadoo
第四步:上传 hadoop和jdk到/soft目录
链接:https://pan.baidu.com/s/1Emwrvy6UavPU0crp6PEbug
提取码:i6v4
第五步:解压
tar -zxvf hadoop-2.7.3.tar.gz
tar -zxvf jdk-8u65-linux-x64.tar.g
第六步:创建软连接
ln -s hadoop-2.7.3 hadoop
ln -s jdk1.8.0_65 jd
第七步:配置环境变量 sudo vim /etc/profile 在最后添加如下内容:
- export JAVA_HOME=/soft/jdk
- export HADOOP_HOME=/soft/hadoop
- export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbi
第八步:让配置的环境变量生效
sudo source /etc/profile
###没有报错则生效##
第九步:验证 分别执行如下命令可看见相应版本
java -version
第十步:进入 /soft/hadoop/etc/hadoop目录
cd /soft/hadoop/etc/hadoo
找到JAVA_HOME修改为JAVA_HOME=/soft/jdk
编辑core-site.xml 文件添加如下内容
vi core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/soft/hadoop/hadoop_tmp</value>
</property>
</configuration>
编辑hdfs-site.xml文件添加如下内容
vi hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/soft/hadoop_nn1,/soft/hadoop_nn2</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/soft/hadoop_dn1,/soft/hadoop_dn2</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>0.0.0.0:50070</value>
</property>
<configuration>
编辑mapred-site.xml文件添加如下内容
vi mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
编辑yarn-site.xml文件内容如下
vi yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
第十一步:设置免密登录
免密登录
cd
cd .ssh
ssh-keygen -t rsa #一直下一步回车即可
cat id_rsa.pub >> authorized_keys
chmod 644 authorized_key
第十二步:格式化文件系统
hadoop namenode -forma
第十三步: 启动hadoop伪分布式
start-all.sh #全部启动
start-dfs.sh #启动dfs
start-yarn.sh #启动yar
第十四步: 查看进程
- NodeManager
- NameNode
- DataNode
- SecondaryNameNode
- ResourceManager
第十五步 :打开腾讯云控制台—>云服务器—> 安全组 —>新建—>放通全部端口
第十六步: 选择实例—>找到服务器—>ID/实例名—安全组—>绑定
访问HDFS webui :公网ip:50070