Mac 下安装配置 Hadoop 伪分布式环境

2016/11/18 posted in  软件配置  

安装环境

macOS 10.12.1
Homebrew 1.1.1
JDK 1.8.0_112
Hadoop 2.7.3

配置伪分布式

  1. 配置 core-site.xml,设置 HDFS 的地址和端口号

    <property>  
        <name>fs.defaultFS</name>             
        <value>hdfs://localhost:9000</value>          
    </property>
    
  2. 配置 hdfs-core.xml,设置 HDFS 的备份数为 1,默认为 3

    <property>  
        <name>dfs.replication</name>             
        <value>1</value>          
    </property>
    
  1. 格式化 HDFS

    hdfs namenode -format
    
  2. 启动

    start-dfs.sh
    start-yarn.sh
    
  3. 查看状态