简介

Netapp EF600 是全NVME+IB架构的存储，可以提供很高高吞吐量的存储系统，本文就详细介绍配置和调试，虽然这是针对Netapp EF600的配置，其对于别的任何基于IB的存储都会有很好的参考价值；

配置步骤

服务器端基本配置

1、 查看EF600兼容性列表

确保操作系统,HBA(Mallenox)fw和driver版本

2、 安装HBA driver

mount -o loop MLNX\_OFED\_LINUX-5.1-2.3.7.1-rhel7.7-x86\_64.iso /mnt

./mlnxofedinstall --with-nvmf

一定要带--with-nvmf，否则nvme\_rdma kernel 不能正常安装

3、 modprobe -r nvme-rdma nvme-fabrics nvme nvme-core 然后安装modprobe nvme-rdma，否则会报错

查看lsmod | grep nvme，一定要确保nvme\_rdma 是依托在nvme\_fabrics model 上

Systemctl restart opensmd

4、安装nvme

yum install nvme-cli

EF600端基本配置

登录EF600控制器IP

配置控制器A

配置控制器B

服务器链接存储配置

执行nvme discover -t rdma -a 192.168.132.101

链接到controller ：

nvme connect -t rdma -a 192.168.132.101 -n nqn.1992-08.com.netapp:6000.6d039ea0003efd51000000005f9b939a -Q 1024 -l 3600

在host上遇到问题

1、执行nvme discover -t rdma -a 192.168.132.102

Failed to open /dev/nvme-fabrics: No such file or directory

执行modprobe nvme-fabrics后报

nvme discover -t rdma -a 192.168.132.102

Failed to write to /dev/nvme-fabrics: Invalid argument

通过查看kernel model 确认nvme\_rdma 没有依附于nvme\_fabrics model,主要是安装mallenox 驱动时候没有带nvmf参数

EF600端添加服务器

登录到EF600，

添加host

建立vloume

Host 查看新增的卷 不需要重启服务器，直接就可以查看

要确保2个端口都能够正常运行

[root@localhost \~]# ibstat -p

0x1c34da030054a034

0x1c34da0300549da0

编辑/etc/rc.d/rc.local

opensm -B -g 0x1c34da030054a034 -p 15 -f /var/log/opensm-ib0.log

opensm -B -g 0x1c34da0300549da0 -p 1 -f /var/log/opensm-ib1.log

如果不运行上面步骤，第二个ib端口一直处于down状态

通过ibstat 其状态为initializing.

正常状态

转载申明

转载请注明出处：365文档