Hadoop 分布式环境搭建

2016/11/18 posted in  软件配置 comments

安装环境

CentOS 7.3.1611
JDK 1.8.0_131
Hadoop 2.8.0

三台设备:master,slave1,slave2

系统环境配置

  1. /etc/profile.d/ 目录下新建一个文件,如 custom-env.sh
export JAVA_HOME=/usr/lib/jvm/jre
export PATH=$PATH:/opt/hadoop/bin:/opt/hadoop/sbin
  1. /etc/hosts 配置三台设备 IP 与主机名的映射
  2. 配置 master 到 slave1,slave2 的 SSH 免密码登录

Hadoop 配置

弃用的配置属性

  1. 配置 core-site.xml,设置 HDFS 的地址和端口号

    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop-${user.name}</value>
    </property>
    <property>
        <name>fs.defaultFS</name>             
        <value>hdfs://master:9000</value>          
    </property>
    
  2. 配置 hdfs-core.xml,设置 HDFS 的备份数为 1,默认为 3

    <property>  
        <name>dfs.replication</name>             
        <value>1</value>          
    </property>
    
  1. 格式化 HDFS(仅在 master 上第一次运行)

    hdfs namenode -format
    
  2. 启动

    start-dfs.sh
    start-yarn.sh
    
  3. 运行 jps 查看状态