Netapp EF600 infiniband存储配置
- HPC存储
- 2024-05-24
- 333热度
- 0评论
简介
Netapp EF600 是全NVME+IB架构的存储，可以提供很高高吞吐量的存储系统，本文就详细介绍配置和调试，虽然这是针对Netapp EF600的配置，其对于别的任何基于IB的存储都会有很好的参考价值；
配置步骤
服务器端基本配置
1、 查看EF600兼容性列表
确保操作系统,HBA(Mallenox)fw和driver版本
2、 安装HBA driver
mount -o loop MLNX\_OFED\_LINUX-5.1-2.3.7.1-rhel7.7-x86\_64.iso /mnt
./mlnxofedinstall --with-nvmf
一定要带--with-nvmf，否则nvme\_rdma kernel 不能正常安装
image.png3、 modprobe -r nvme-rdma nvme-fabrics nvme nvme-core 然后安装modprobe nvme-rdma，否则会报错
image.png查看lsmod | grep nvme，一定要确保nvme\_rdma 是依托在nvme\_fabrics model 上
image.pngSystemctl restart opensmd
4、安装nvme
yum install nvme-cli
EF600端基本配置
登录EF600控制器IP
配置控制器A
image.png配置控制器B
服务器链接存储配置
执行nvme discover -t rdma -a 192.168.132.101
image.png链接到controller ：
nvme connect -t rdma -a 192.168.132.101 -n nqn.1992-08.com.netapp:6000.6d039ea0003efd51000000005f9b939a -Q 1024 -l 3600
image.png在host上遇到问题
1、执行nvme discover -t rdma -a 192.168.132.102
Failed to open /dev/nvme-fabrics: No such file or directory
执行modprobe nvme-fabrics后报
nvme discover -t rdma -a 192.168.132.102
Failed to write to /dev/nvme-fabrics: Invalid argument
image.png通过查看kernel model 确认nvme\_rdma 没有依附于nvme\_fabrics model,主要是安装mallenox 驱动时候没有带nvmf参数
EF600端添加服务器
登录到EF600，
添加host
image.png建立vloume
image.pngHost 查看新增的卷 不需要重启服务器，直接就可以查看
image.png要确保2个端口都能够正常运行
[root@localhost \~]# ibstat -p
0x1c34da030054a034
0x1c34da0300549da0
编辑/etc/rc.d/rc.local
image.pngopensm -B -g 0x1c34da030054a034 -p 15 -f /var/log/opensm-ib0.log
opensm -B -g 0x1c34da0300549da0 -p 1 -f /var/log/opensm-ib1.log
如果不运行上面步骤，第二个ib端口一直处于down状态
image.png通过ibstat 其状态为initializing.
正常状态
转载申明
转载请注明出处：365文档
