使用 Harbor 搭建企业级 Docker 仓库

前期准备

安装配置

  1. 解压 Harbor 安装文件

  2. 基本配置

    仅配置 required parametersoptional parameters 建议在界面上配置,因为 optional parameters 仅第一次启动时从配置文件读取

    • 配置 hostname 为网络中所有主机可以访问的 IP 地址或域名
    • 配置 db_password,建议生成环境修改默认密码

默认 Harbor 会存储数据到 /data/,并存储日志到 /var/log/harbor/

Read more   2017/6/30 posted in  软件配置

在 CentOS 上通过 Rancher 搭建 Kubernetes 集群

安装配置 Docker 环境

# 安装 docker,net-tools(可选,方便查看端口)
yum install -y net-tools docker
# 关闭防火墙
systemctl stop firewalld
# 禁止防火墙开机启动
systemctl disable firewalld

# 调整内核参数,防止部署时出现 "Can not set cookie: dm_task_set_cookie failed" 报错
echo "printf '250\t32000\t32\t8192' > /proc/sys/kernel/sem" >> /etc/rc.d/rc.local
chmod +x /etc/rc.d/rc.local

# 禁用 selinux 需要重启系统
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

# 配置 docker 
建议生成环境使用 direct-lvm 方式存储 volume,
direct-lvm 配置方式参考:https://docs.docker.com/engine/userguide/storagedriver/device-mapper-driver/#increase-capacity-on-a-running-device

tee /etc/docker/daemon.json <<-'EOF'
{
  # 配置 direct-lvm
  "storage-driver": "devicemapper",
  "storage-opts": [
    "dm.thinpooldev=/dev/mapper/docker-thinpool",
    "dm.use_deferred_removal=true",
    "dm.use_deferred_deletion=true"
  ],
  # 配置阿里云镜像加速
  "registry-mirrors": ["https://jxus37ad.mirror.aliyuncs.com"]
}
EOF

# 启动 docker 并设置开机启动
systemctl start docker
systemctl enable docker

如果私有仓库通过 HTTPS 访问,需要在 /etc/docker/certs.d/域名或IP/ 下配置私有证书,无需重启 docker 立即生效。

Read more   2017/6/27 posted in  软件配置

Hive 环境搭建

前提

  1. 已经搭建并启动 Hadoop 集群。
  2. hadoop 命令已经加入到 PATH 中,否则需要手动配置 HADOOP_HOME
  3. 下载并解压 apache-hive-2.1.1-bin.tar.gz,并把 Hive 的 bin 加入到 PATH 中
  4. 已安装并启动 MySQL 数据库
  5. 下载对应的 JDBC 驱动(如:mysql-connector-java-5.1.41.jar),然后放到 Hive 的 lib 目录下

配置

编辑 conf/hive-site.xml

Read more   2017/6/22 posted in  软件配置

常用的 Shell 脚本命令集合

获取脚本位置信息

  1. $0 获取当前运行脚本的相对路径
  2. ${BASH_SOURCE[0]} 获取当前脚本的相对路径
WORKDIR=$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )
# 获取目录为链接目录所链接的真实目录
WORKDIR="$( cd -P "$( dirname "${BASH_SOURCE[0]}" )" && pwd )"
Read more   2017/6/12 posted in  软件配置

Hadoop 分布式环境搭建

安装环境

CentOS 7.3.1611
JDK 1.8.0_131
Hadoop 2.8.0

三台设备:master,slave1,slave2

系统环境配置

  1. /etc/profile.d/ 目录下新建一个文件,如 custom-env.sh
export JAVA_HOME=/usr/lib/jvm/jre
export PATH=$PATH:/opt/hadoop/bin:/opt/hadoop/sbin
  1. /etc/hosts 配置三台设备 IP 与主机名的映射
  2. 配置 master 到 slave1,slave2 的 SSH 免密码登录
Read more   2016/11/18 posted in  软件配置