-
实验环境信息(时长: 2 mins)
我们将在三台RHEL8.3版本的x86服务器上安装Spectrum Scale 5.1.1版本
三台服务器已经预先进行了如下配置
(1)RHEL安装盘作为本地YUM源
(2)节点间互信,免密码登录
(3)/etc/hosts中添加主机名称和IP地址信息
(4)防火墙关闭且SELINUX=disabled
(5)预安装以下rpm包
yum install kernel-devel cpp gcc gcc-c++ glibc sssd ypbind openldap-clients krb5-workstation elfutils elfutils-devel make
-
提取GPFS所需基本包(时长: 1 min)
注意:此后如没有特殊说明,都只在gpfs101节点上执行即可
其中参数--silent 表示以静默方式提取,如果不加该参数需要输入数字“1”,同意相关协议
/root/Spectrum_Scale_Advanced-5.1.1.0-x86_64-Linux-install --silent
-
配置 Install 节点(时长: 1 min)
cd /usr/lpp/mmfs/5.1.1.0/ansible-toolkit/
./spectrumscale setup -s 192.168.1.101
-
添加节点并查看配置(时长: 2 mins)
其中参数-a表示admin节点、-g表示GUI节点,-n表示NSD节点,-m表示manager节点,-q表示quorum节点
./spectrumscale node add gpfs101 -a -g -n -m -q
./spectrumscale node add gpfs102 -a -g -n -q
./spectrumscale node add gpfs103 -n -q
./spectrumscale node list
-
增加NSD磁盘空间,并查看(时长: 1 min)
其中参数-p表示主NSD节点,-fs表示创建的文件系统,-fg表示所在的Failure Group,-po表示存储池,-u表示存储的数据类型,“/dev/sdx”表示磁盘设备,实验中3个NSD节点各有3块本地磁盘sdb/sdc/sdd用于创建NSD。以下命令创建了一个Filesystem(gpfs);3个Pool(system/pool01/pool02);3个Failure Group(101/102/103)
./spectrumscale nsd add -p gpfs101 -fs gpfs -fg 101 -po system -u dataAndMetadata "/dev/sdb"
./spectrumscale nsd add -p gpfs101 -fs gpfs -fg 101 -po pool01 -u dataOnly "/dev/sdc"
./spectrumscale nsd add -p gpfs101 -fs gpfs -fg 101 -po pool02 -u dataOnly "/dev/sdd"
./spectrumscale nsd add -p gpfs102 -fs gpfs -fg 102 -po system -u dataAndMetadata "/dev/sdb"
./spectrumscale nsd add -p gpfs102 -fs gpfs -fg 102 -po pool01 -u dataOnly "/dev/sdc"
./spectrumscale nsd add -p gpfs102 -fs gpfs -fg 102 -po pool02 -u dataOnly "/dev/sdd"
./spectrumscale nsd add -p gpfs103 -fs gpfs -fg 103 -po system -u dataAndMetadata "/dev/sdb"
./spectrumscale nsd add -p gpfs103 -fs gpfs -fg 103 -po pool01 -u dataOnly "/dev/sdc"
./spectrumscale nsd add -p gpfs103 -fs gpfs -fg 103 -po pool02 -u dataOnly "/dev/sdd"
./spectrumscale nsd list
-
查看文件系统,调整副本数量与挂载点(时长: 1 min)
其中参数 -mr表示metadata当前副本数,-MR表示metadata最大副本数,-r表示当前数据副本数,-R表示最大数据副本数,-m表示挂载点位置。这里可以通过list命令,查看副本数和挂载点修改前后的对比
./spectrumscale filesystem list
./spectrumscale filesystem modify gpfs -mr 2 -MR 3 -r 2 -R 3 -m /gpfs
./spectrumscale filesystem list
-
配置性能监控功能(时长: 2 mins)
开启性能监控,默认已经打开
./spectrumscale config perfmon -r on
-
配置GPFS 集群名、通讯端口并查看(时长: 1 min)
其中参数-c表示集群名称,-e表示GPFS Daemon通讯端口范围
./spectrumscale config gpfs -c gpfsdemo -e 60000-61000
./spectrumscale config gpfs --list
-
配置 Callhome 功能(时长: 2 mins)
这里我们把callhome功能关闭
./spectrumscale callhome disable
-
查看并检查GPFS集群配置信息(时长: 2 mins)
./spectrumscale install --precheck
-
开始安装GPFS集群(时长: 16 mins)
包括NSD,性能监控,GUI,文件系统等安装
注意:前述步骤只是进行配置,当前步骤才开始按照前述配置执行安装
./spectrumscale install
该命令运行时间较长,请耐心等待16分钟
-
配置 GUI 账户(时长: 4 mins)
创建admin账户,并添加到Administrator和SecurityAdmin组中
/usr/lpp/mmfs/gui/cli/mkuser admin -g Administrator,SecurityAdmin
之后输入两次密码,例如:admin001,在浏览器中可以通过 http://192.168.1.101 访问GUI界面
注:GUI界面的使用不在本实验演示范围,接下来请回到命令行界面继续实验
-
为CES服务修改 Hosts 文件(时长: 2 mins)
注意:该步需要在所有节点执行
在所有节点的hosts文件中,写入CES的IP地址
Tips:Cluster Export Services(CES)可以提供高可用的文件和对象服务,包括NFS、SMB和Object
echo "192.168.1.104 ces104.cscdemo.cn ces104">>/etc/hosts
echo "192.168.1.105 ces105.cscdemo.cn ces105">>/etc/hosts
echo "192.168.1.106 ces106.cscdemo.cn ces106">>/etc/hosts
-
添加协议服务节点并查看(时长: 3 mins)
配置gpfs101/gpfs102/gpfs103为协议服务节点
./spectrumscale node add gpfs101 -p
./spectrumscale node add gpfs102 -p
./spectrumscale node add gpfs103 -p
./spectrumscale node list
-
分配CES协议服务IP地址(时长: 2 mins)
./spectrumscale config protocols -e 192.168.1.104,192.168.1.105,192.168.1.106
-
配置cesShareRoot(时长: 5 mins)
其中参数-f表示放置的文件系统,-m表示挂载路径
./spectrumscale config protocols -f gpfs -m /gpfs
-
配置开启NFS和SMB服务协议(时长: 1 min)
./spectrumscale enable nfs
./spectrumscale enable smb
-
检查协议配置信息(时长: 2 mins)
./spectrumscale deploy --precheck
-
部署协议服务(时长: 10 mins)
部署包括CES,NFS和SMB
./spectrumscale deploy
该命令运行时间较长,请耐心等待10分钟
-
配置协议服务认证方式(时长: 2 mins)
这里采用本地认证方式
/usr/lpp/mmfs/bin/mmuserauth service create --data-access-method file --type userdefined
-
添加认证用户(时长: 3 mins)
注意:该步需要在所有节点执行
创建本地用户,下面创建了 cscdemo 用户并且输入password作为密码
useradd cscdemo
/usr/lpp/mmfs/bin/smbpasswd -a cscdemo
-
发布SMB共享目录(时长: 3 mins)
创建smbshare1目录,给 cscdemo 用户设置该目录权限,并发布共享
mkdir /gpfs/smbshare1
chown cscdemo /gpfs/smbshare1
/usr/lpp/mmfs/bin/mmsmb export add smbshare1 /gpfs/smbshare1
-
访问SMB目录(时长: 2 mins)
在桌面右上角选择 Applications -> File Manager 然后输入
smb://192.168.1.104/smbshare1 回车(请等待几秒钟,回车一次就好,待弹出对话框)
选择 Connect as user ,输入用户名(Username): cscdemo ,密码(Password): password 点击 Connect
在打开的目录中,尝试创建任何文件或目录,返回gpfs101的/gpfs/smbshare1可以查看到