分布式存储系统VeSpace_server安装指南 (分离部署方案for5.1)

分离部署,指VeSpace 服务分离部署在不同的服务节点上,服务器策略节点只作为策略节点,服务器存储节点只作为存储节点,服务器应用节点只作为应用节点。下面以9 台服务器(3 策略节点+3 存储节点+3 应用节点)分离部署为例进行进行说明

 

 

一、安装依赖包,在每一台服务器都安装依赖包

 

apt install libaio-dev nfs-kernel-server samba
 

二、集群和策略主机部署

 

1.1 将安装包vespace_release5.1.tar.gz 拷贝到每一个服务器/home,解压并进入解压后目录依次运行每台主机目录下的setup.sh 脚本,根据提示输入正确的信息:root@ubuntu:/home/vespace_release5.1# ./setup.sh

请输入集群主机ip:192.168.14.7          #按照提示输入所有集群IP
是否还有其他集群主机,Yes or NO:yes      #是否还有其他集群主机
请输入集群主机ip:192.168.14.23
是否还有其他集群主机,Yes or NO:yes      #是否还有其他集群主机
请输入集群主机ip:192.168.14.24
是否还有其他集群主机,Yes or NO:no       #是否还有其他集群主机
strategyAddr = 192.168.14.7:9876,192.168.14.23:9876,192.168.14.24:9876,
Set Clusterhost IP address success !     #出现上述提示表示操作成功

部署三节点etcd 策略集群

 

 

1.2 配置三台服务器的/var/lib/vespace/strategy/etcd.conf,第一次配置需手动添加etcd.conf 文件并设置etcd 集群,文件内容如下

 

服务器192.168.14.22 (节点etcd1)

[etcd]
name = etcd1
peer_size = 2
peers = etcd2,etcd3
etcd1.name = etcd1
etcd1.addr = 192.168.14.22:2380
etcd2.name = etcd2
etcd2.addr = 192.168.14.23:2380
etcd3.name = etcd3
etcd3.addr = 192.168.14.24:2380
 

服务器192.168.14.23 (节点etcd2)

[etcd]
name = etcd2
peer_size = 2
peers = etcd1,etcd3
etcd1.name = etcd1
etcd1.addr = 192.168.14. 22:2380
etcd2.name = etcd2
etcd2.addr = 192.168.14.23:2380
etcd3.name = etcd3
etcd3.addr = 192.168.14.24:2380

 

服务器192.168.14.24 (节点etcd3)
[etcd]

name = etcd3
peer_size = 2
peers = etcd1,etcd2
etcd1.name = etcd1
etcd1.addr = 192.168.14.22:2380
etcd2.name = etcd2
etcd2.addr = 192.168.14.23:2380
etcd3.name = etcd3
etcd3.addr = 192.168.14.24:2380

 

1.3 三台服务器配置完成后都执行如下命令


/var/lib/vespace/strategy/etcd_start.sh #启动etcd 模块
 

查看etcd 集群状态是否正常:

 

etcdctl cluster-health

 

1.4 启动策略节点服务


systemctl start cmonitor-server cmonitor-agent cosrv


查看服务状态是否正常:


systemctl status cmonitor-server cmonitor-agent cosrv
 

二、存储主机部署


安装存储主机,将vespace_release5.1.tar.gz 上传到3 台服务器/home 目录并解压,进入解压后的目录

2.1 创建vespace 使用目录:


mkdir /var/log/vespace /var/lib/vespace /var/lib/vespace/monitor /var/lib/vespace/monitor/agent
/var/lib/vespace/engine


2.2 拷贝文件到指定路径


cp ./cbd/cbd ./cmonitor/cmonitor ./costor/costor ./costor/targetadm ./costor/targetd ./cmonitor/start_monitor ./
cmonitor/stop_monitor /usr/local/bin && cp vespace.conf /var/lib/vespace && cp costor-engine.service
cmonitor-agent.service /etc/systemd/system


2.3 修改配置文件/var/lib/vespace/vespace.conf


将strategyAddr 字段的值改为步骤1.1 设置的etcd 集群IP,如:
strategyAddr = 192.168.14.22:9876,192.168.14.23:9876,192.168.14.24:9876


2.4 启动存储节点服务


systemctl start cmonitor-agent costor-engine

查看服务状态是否正常


systemctl status cmonitor-agent

三、应用主机部署

 

安装存储主机,将vespace_release5.1.tar.gz 上传到3 台服务器/home 目录并解压,进入解压后的目录


3.1 创建vespace 使用目录:


mkdir /var/log/vespace /var/lib/vespace /var/lib/vespace/monitor /var/lib/vespace/monitor/agent
/var/lib/vespace/controller /var/lib/vespace/gateway /var/lib/vespace/cbd


3.2 拷贝文件到指定路径


cp ./cbd/cbd ./cmonitor/cmonitor ./costor/costor ./costor/targetadm ./costor/targetd ./cmonitor/start_monitor ./
cmonitor/stop_monitor vscli /usr/local/bin && cp costor-controller.service cmonitor-agent.service
/etc/systemd/system && cp vespace.conf /var/lib/vespace && cp ./cbd/cbd.conf /var/lib/vespace/cbd/


3.3 修改配置文件(同步骤2.3)

 

3.4 启动应用节点服务


systemctl start cmonitor-agent costor-controller


查看服务状态是否正常


systemctl status cmonitor-agent costor-controller

 

到此一个9 台服务器分离部署的集群后端安装部署完毕

 

四、部署管理子系统Manager

 

选择集群其中一台服务器部署Manager


4.1、nginx 安装与配置


4.1.1、安装nginx

 

apt install nginx


4.1.2、替换和修改/etc/nginx/nginx.conf 配置文件


推荐在/opt 解压管理系统安装包manager.tar.gz,然后把解压的文件根目录下的nginx.conf替换原服务器的/etc/nginx/nginx.conf 配置文件

 

nginx.conf 中找到http 字段,然后加入下列字段至http 中,如下:
http {
server {
listen 8080;
server_name localhost; #localhost 可修改为manager 主机ip
location / {
root /opt/manager/dist; #dist 目录路径(前端代码路径)
index index.html index.htm;
try_files $uri $uri/ /index.html;

4.2、启动nginx 服务nginx 重新载入配置文件


nginx -s reload


检查nginx 是否启动


ps aux | grep nginx


4.3 安装mysql


4.3.1 用户名和密码为root,如果不为root,可修改配置文件


sudo apt-get install mysql-server mysql-client libmysqlclient-dev


五、Manager 部署


5.1 推荐在/opt 解压管理系统安装包manager.tar.gz


5.2 配置文件修改

 

sudo vim /opt/manager/server/conf/app.conf
配置文件[Mail]字段修改用户发送告警邮件的信息,例如:
[Mail]

host = smtp.youruncloud.com
port = 465
user = youremail@youruncloud.com
password = password
from = youremail@youruncloud.com
配置文件[MYSQL]字段的用户名和密码不为root, 可修改如下配置:
[MYSQL]
user = "root"
pass = "root"

 

5.3 配置Strategy 子系统的告警推送地址


注意:部署完成并启动manager 之后,一定要修改每一台服务器的后端配置文件,修改/var/lib/vespace/
目录下的vespace.conf 文件


在vespace.conf 文件[strategy]字段添加manager 部署地址,例如:


manager_addr = localhost(或访问ip):10001


在vespace.conf 文件[monitor_server]字段添加manager 部署地址,例如:


manager_addr = localhost(或访问ip):10001

5.4 进入manager/server 目录下,运行manager 服务


nohup ./server &


检查server 是否运行成功


ps aux | grep server

 

5.5 使用管理界面


5.5.1 推荐使用55.0 版本以上的Chrome 浏览器打开管理界面地址,如:192.168.14.23:8080


输入超级管理员默认账号admin ,默认密码admin 即可成功登录VeSpace 管理界面,初次登录会提示用户创建集群

 

 

输入集群名称,集群IP 输入任意策略节点IP 即可创建集群成功;创建集群成功后使用试用许可证.license
激活集群

5.5.2 添加主机


通过【硬件管理】.【存储主机】添加步骤二部署的3 台存储主机


通过【硬件管理】.【应用主机】添加步骤三部署的3 台应用主机;


到此一个9 台服务器分离部署的集群安装部署完毕

 

 

分享:分布式存储系统VeSpace_server安装指南 (分离部署方案for5.1)

有容云-构筑企业容器云 www.youruncloud.com

温馨提示

对Docker容器技术或容器生产实施感兴趣的朋友欢迎加群讨论。我们汇集了Docker容器技术落地实施团队精英及业内技术派高人,在线为您分享Docker技术干货。我们的宗旨是为了大家拥有更专业的平台交流Docker实战技术,我们将定期邀请嘉宾做各类话题分享及回顾,共同实践研究Docker容器生态圈。

加微信群方法:

1.关注【有容云】公众号

2.留言”我要加群”

QQ群号:454565480

有容云微信二维码