一、目的
Lenovo 解决方案能够助客户有效地简化运作，同时最大限度地降低风险，为那些不断经历变化的企业提供更高的性能和可扩展性。借助于产品、技术和合作伙伴的良好组合，Lenovo 解决方案有助于解决最为迫切的IT 和业务问题，同时最大限度地提高投资回报率。
本指南是为初次使用Lenovo存储系统的人员编写的基本管理知识，目标是指导维护人员如何进行每天的健康检查。详细的存储系统和命令管理参见随机手册,在线帮助及http://support.Lenovo.com/。
二、硬件设备说明
前端：
后端：
| 端口名称 | 端口用途及描述 |
|---|---|
| 0a-0d | 3Gb或6Gb SAS接口 用于连接Lenovo存储后端SAS或SATA磁盘柜 |
| 0e-0h | 16Gb FC或10Gb Ethernet用于连接集群交换机或前端主机 |
| e0c-e0d | 10Gb网络接口 用于接前端交换机或前端主机 |
| e0M、SP | 1000Mb网络接口 其中e0M口用于远程网络管理端口；SP口为远程串口 |
| solt1\~solt2 | 扩展槽位，用于接10Mb/100Mb/1000Mb/10Gb以太网卡网卡（10Gb以太网卡支持FCoE）、2Gb/4Gb/8Gb光纤卡、3Gb/6Gb SAS卡、256GB/512GB/1TB PAM II卡、或者SCSI卡； |
机架/电源/磁盘
盘柜电源图
三、配置存储方式
通过System Manager 图形管理接口配置
System Manager是一个图形管理界面，使您能够从 Web 浏览器中管理存储系统和存储对象（例如磁盘、卷和聚合）以及执行与存储系统相关的常见管理任务。作为集群管理员，您可以使用 System Manager 管理整个集群及其资源。
通过命令行(CLI)配置
您可以用CONSOLE口 (将PC机的串口与Lenovo随机带的console线连在filer的CONSOLE口, 打开windows里的hyperterminal或其它仿真终端，波特率设置为default: 115200波特率, 8位,无校验,1位停止位)。缺省管理员账号为admin，密码一般在安装时设置，可以使用security login password命令修改。或者通过SSH协议远程登录SP，输入system console转至console口管理。输入?或者help可以看到全部命令。
命令行使用方法
cluster::> ?
up Go up one directory
cluster> Manage clusters
dashboard> Display dashboards
event> Manage system events
exit Quit the CLI session
history Show the history of commands for this CLI session
job> Manage jobs and job schedules
lun> Manage LUNs
man Display the on-line manual pages
network> Manage physical and virtual network connections
qos> QoS settings
redo Execute a previous command
rows Show/Set the rows for this CLI session
run Run interactive or non-interactive commands in the node shell
security> The security directory
set Display/Set CLI session settings
sis Manage volume efficiency
snapmirror> Manage SnapMirror
statistics> Display operational statistics
storage> Manage physical storage, including disks, aggregates, and failover
system> The system directory
top Go to the top-level directory
volume> Manage virtual storage, including volumes, snapshots, and mirrors
vserver> Manage Vservers
命令的详细参数和使用方法可以通过 ? 得到，例如：
cluster::> cluster ?
contact-info> Manage contact information for the cluster.
create Create a cluster
date> Manage cluster's date and time setting
ha> Manage high-availability configuration
identity> Manage the cluster's attributes, including name and serial number
join Join an existing cluster using the specified member's IP address
modify Modify cluster node membership attributes
peer> Manage cluster peer relationships
setup Setup wizard
show Display cluster node members
statistics> Display cluster statistics
设备正常开关机顺序
开机顺序：
1、 开启集群交换机；
2、 按照磁盘柜的Shelf ID号依次开启磁盘柜的电源，大概20秒后再开启存储控制器；
3、 开启接有Lenovo存储的以太网交换机或者光纤交换机；
4、 开启有挂载Lenovo存储空间的服务器或者磁带库；
关机顺序：
1、 确认所有连接的应用程序已经关闭（包括通过FCP或ISCSI连接到存储的Oracle Server等服务，和通过NAS连接到存储的应用）；
2、 确认连接到存储的服务器已关闭（通过FCP或ISCSI连接的服务器）；
3、 通过串口或SSH以root用户或者其它管理员账户登陆到系统；
4、 分别对两个机头输入system node halt -inhibit-takeover true命令,并且回到Loader>状态；
5、 先关控制器电源，在依次倒着按照Shelf ID 号关闭磁盘柜电源。
四、Lenovo设备日常操作
System Manager图形界面操作
现在作为 Web 服务随 Clustered Data ONTAP提供，默认情况下处于启用状态，您可以使用浏览器并输入Cluster管IP(https://172.18.200.30)进行访问。输入用户名和密码(admin/Lenovo123)，点击Sign in图标进入System Manager管理界面。（缺省管理员为admin，密码在初始安装时可以设定
集群模式分为：（Dashboard）信息板；（Applications & Tiers）应用程序和层;(Storage)存储；(network)网络；(Protection)保护；(Events&Jobs)事件和作业；(Configuration)配置
创建存储池（Aggregate）
创建新的Aggr，此操作在扩容时候用的上，一般由PSE或者代理工程师完成此步操作；给新建aggr 起名为aggr\_test，选择添加多少颗磁盘到aggr\_test存储池中，注意：添加磁盘至同一个aggregate（存储池）时，必须选择同样类型、大小和转速的磁盘，否则将于转速最慢，大小最小的磁盘类型为上限；当然，不可以将SATA磁盘加入到SAS 磁盘的Aggr中，反之一样也不行。
1、点击Storage->Aggregates&Disks，点击Create，
2、点击Change，raidtype选择为 Raid\_dp，选择Raid Group Size。点击Save保存退出。
注明：FC /SAS磁盘的RaidSize 默认为16
3、点击Create ，完成存储池创建.
到此，存储池已经创建好，下面开始新建卷
创建存储虚拟机（Storage Virtual Machines）
Storage Virtual Machine（SVM，以前称为 Vserver） 由若干个数据卷以及一个或多个用于向客户端提供数据的 LIF 组成。Storage Virtual Machine可为客户端提供数据访问，不受物理存储或控制器限制，这一点与其他任何存储系统类似。SVM 可提供诸多优势，例如，无中断运行、可扩展性、安全性和统一存储。
1、创建SVM，选中Storage Virtual Machine，点击Create，输入SVM Name：svm\_test，选择此SVM需要使用的协议，及DNS信息，点击Submit&Continue。
注意：选择协议时，如没有相应License，则对应协议无法选择并使用。
2、 此处分别配置CIFS/NFS协议，可以先行跳过，后续再配置，点击Skip。
3、根据需要配置基于SVM层面的管理端口。
4、点击OK，完成SVM的配置
创建逻辑端口（Logic InterFace）
从Clustered Data ONTAP 8.3起，前端应用基于SVM的LIF访问数据，需要对每个SVM建立基于SVM的数据访问LIF。
1、点击Network(网络)，选中Netwrok Interfaces（网络接口）子菜单，点击Create
输入LIF name:lif\_test，端口类型：Servers Data，SVM选择之前新建的svm\_test，协议选择相应的类型，Assign IP Address选择自定义IP或者从Subnets池中自动选择。
2、选择前端业务访问的端口，端口类型可选择物理port，ifgrp，或者vlan。
3、点击Create，创建LIF结束。
创建灵活卷（Flex Volume）
由于集群模式的volume是基于SVM并提供给前端访问，因此在创建volume之前先要确定所在的SVM。
[1]()、创建Flex volume，[点击Storage Virtual Machines，选择]()Storage（存储）->volumes（卷），Create volume菜单
2、填写Volume Name为vol\_test，选择之前新建的aggr\_test，
3、选择其为“NAS”或“SAN”共享方式，并调整cifs\_test的大小，设置快照预留空间等操作（快照预留Snapshot Reserves可以灵活调整，0为不预留）
4、点击 “Storage Efficient”，选择是否开启a-sis（重复数据删除功能），是否开启重复数据删除功能具体需要看前端应用，比如前端业务为虚拟桌面、或者邮件系统，则建议开启重复数据删除功能，起到存储最优使用效率；
5、完成volume\_test卷创建；到此步骤，Volume卷创建完成；我们可以正式开始配置NAS（CIFS或NFS）的空间规划配置；
创建NAS 共享（CIFS/NFS）
1、 创建CIFS协议文件共享
A、Clustered Data ONTAP系统，必须要有AD域控服务器才能提供CIFS服务（ONTAP 9.X后可以基于workgroup访问），所以SVM需要先加进域。点击SVM，选择SVM setup(SVM 设置)->SiteA\_SVM-> CIFS，点击Setup
B、输入NetBios Name：cifs\_server，填写Domain，并输入具有管理员权限的用户名及密码。至此，CIFS协议已正常启用。
C、选择Storage Virtual Machines
Storage(存储)->Shares（共享），点击 “Create Shares（创建共享）”按钮，新建一个CIFS 共享。
D、选择之前新建的vol\_test卷建立共享。
E、更改Share Name为cifs\_share，默认为volume的名称，并对其进行描述，以便日后更方便识别。
F、点击“Create”按钮。完成CIFS 共享创建。
G、权限设置，选择cifs\_share享路径，点击“Edit”进行共享权限设置；Lenovo存储中权限设置只有三种：full control、read and write、read only；点击“Permission”，设置用户权限；选择“add”并添加”administrators”组用户，选择“remove”则是删除某个用户或组的使用权限；
H、点击“options”进行高级options设置;可设置是否允许共享文件夹的内外部超级链接，以及结合内部病毒服务器进行设置病毒扫描；点击“save and close”完成CIFS 共享的权限设置。
注意：若将Lenovo 存储加入Windows的域环境中，那么其权限设置操作则可以完全通过Windows AD 的Administrator 来管理设置；
I、Windows 主机端操作
选择映射网络驱动器，输入存储IP地址（之前创建的lif\_test的IP）或System Name（SVM加域时命名的的cifs\_server）及共享名，并勾上“登陆时重新连接”。第一次连接需要输入用户名密码，选择记住密码，下次登陆时候将可直接连接到共享空间；若不是当前用户可点击different username，以指定的用户名口令登陆（和当前windows用户不同）
[2、 创建NFS协议文件共享]()
A、选择DM5000H->svm\_test->Configuration->Protocols->NFS，首先Enable NFS协议。
B、选择DM5000H->svm\_test->Policies->Export Polucies，编辑Export Policy，在default默认策略中新建rule，指定Client为0.0.0.0/0。
C、新建策略名为export\_policy\_test的策略，新建角色，可指定Client为某一个或多个IP或某个网段，但是不能设置同一个网段中某些联系的IP。点击“Create”新建包含角色的策略完成。
D、点击Storage Virtual Machines，
选择Storage（存储）->Namespace（接合路径），改vol\_test卷的Export Policy为test。
E、Linux 主机端mount操作
Snapshot配置管理
Lenovo 存储的快照可对aggregate 和volume两个层面而言，适用最小对象为volume，当然平时用户使用最多的基于volume层面的快照备份及恢复；以下是对vol\_test卷创建快照的实例：
[1]()、Protection (保护)->Snapshot Policies（snapshot策略），创建快照备份策略，快照保留份数以及快照备份时间点（可自定义或者使用系统默认配置）
2、Storage(存储)->Volumes（卷），选中vol\_test卷，点击Snapshot Copies中的Configure，设置快照大小，选择上一步新建的snapshot\_policy\_test策略。
注：系统默认快照保留大小为该快照卷的5%，默认显示快照路径，默认default策略保留6份hourly的快照和2份nightly的快照；
3、快照恢复。点击SnapShot Copies中的Restore，选择需要具体恢复到哪一个时间点。提示是否确认将该volume的数据恢复到拍快照的那个时间点，点确认，则恢复到快照备份时间点，若放弃则不恢复；注意：这个恢复是针对整个volume而言，而不是针对单个文件；当然也可以用命令针对某单个文件进行恢复（filer>snap restore -t file -s test /vol/vol1/test/test.txt）。
目录配额配置管理
1、Storage（存储）->Quotas（配额），点击Create
2、选择新建针对某个volume的配额
3、选择配置配额的volume或者qtree，配额类型有3中，即分别可对qtree、user或group 进行做配额，点击Next
4、Hard Limit 设置为1g ，soft limit 800MB，Threshold 750MB， 分别是指所有用户最大可用到1G ，用到750MB时候会有告警提示，用到时候800MB 会提示用户已经无可用空间，但此时还能继续用知道数据存放到1GB为止；File Count 中的 Hard limit 和soft Limit，分别是指该共享路径下面最多包含100000×1000个文件，用到8000×1000个时候会提示文件个数已经用完；点击Next
5、再次点击Next并Finsish，针对vol\_test卷，完成quota的配置。
创建SAN共享 （以FCP协议为例）
1、确认FC协议状态，点击Storage Virtual Machines，选择SVM->svm Settings（SVM设置）->FC/FCoE，点击Start，开启FC协议。
2、为了前端主机能通过光纤交换机访问到存储，需要创建fc lif，每个控制器的每个FC创建一个fc lif。
点击Network，选中Netwrok Interfaces子菜单，点击Create
创建fc，选择svm\_test，选择控制器的fc端口，点击Create，依次类推，创建多个fc lif。
3、创建Portsets，点击Storage Virtual Machines，选择Storage(存储)->LUNs->Portsets（端口集），选中Portsets子菜单，点击Create
4、创建Initiator Groups（启动程序组），点击Storage Virtual Machines，选择Storage->LUNs->Initiator创建，选择系统类型以及传输协议，注意：若选择FC/FCoE，在无特殊条件下建议开启ALUA功能；选择Portset为之前创建的fc，添加前端主机HBA卡的wwpn号或对应的IQN号。
5、创建lun，点击Storage Virtual Machines，选择Storage（存储）->LUNs->LUN Management（LUN 管理），点击Create
6、点击Next，新建lun 名字，lun 类型及大小；
7、点击Next，选择lun存储在的aggr为aggr\_test，默认新建lun\_test\_test的volume，点击next；
8、选择之前新建的A11\_S3 ，LUN ID可为空，系统自动添加。
9、点击Next，确认是否配置Storage Quality of Service
10、核对我们新建lun的配置信息；点击next，完成lun的创建；
11、点击Finish，完成；
12、配置光纤交换机，Clustered Data ONTAP不支持port zone，需要划wwpn zone，前端主机根据系统类型安装多路径软件，扫描新增加磁盘，格式化分区并使用。
CLI 命令行操作
用SecureCRT/Putty等工具，使用ssh或者Telnet协议，ssh /telnet存储e0M口远程管理地址，其登陆用户名为：admin，密码为：xxxxxx，也可以用ssh/telnet 存储SP口远程串口地址，具备串口一样功能， 其登陆用户名为：admin，密码为跟admin的密码一致；（Lenovo存储默认telnet协议是关闭状态）
创建存储池（Aggregate）
Data OnTap 8.0以后，根据不同的硬件型号，最大的Aggregate可用容量可以达到100TB。
新创建aggregate：storage aggregate create -aggregate
在node DM5000H-02下创建一个64位系统的aggr\_test，raidsize为16，raid类型为raid\_dp,共包括10颗FCAL的磁盘。
参看创建成功后存储池情况：
1、为现有的Aggregate增加磁盘：storage aggregate add -aggregate
storage aggregate show 察看结果
例如：往aggr\_test存储池中添加2颗磁盘；
2、修改Aggregate快照保留
storage aggregate modify -aggregate
例如：关闭aggr\_test的快照功能，并且取消策略；
参看默认情况：
调整后情况：
3、修改Aggregate名称 Aggr rename –aggregate
例如：将aggr\_test名改为aggr1
4、修改aggr的raid group的大小(对之前raidsize的不做影响)
aggr modify –aggregate
例如：将aggr\_test的raidsize调整为12
创建存储虚拟机（Storage Virtual Machines）
vserver create -vserver
例如：新建svm\_test，根卷为svm\_test\_root并位于aggr\_test
创建逻辑端口（Logic InterFace）
1、创建基于svm的lif用户数据访问
network interface create -vserver
例如：新建lif\_test，home node为DM5000H-02的e0d端口，ip为172.16.1.104，netmask为255.255.255.0，状态为up
2、Clustered Data ONTAP中为了实现lif的高可用，引入failover group功能，lif在某个端口出现故障问题时，lif会自动迁移至failover group中下一可用端口，此步骤仅能通过命令行模式操作。
新建failover-group：failover-groups create -vserver
向新建的failover-group增加端口：failover-groups add-targets -vserver
例如：新建failover\_group\_svm\_test，第一个端口为fas80x0-02:e0d，增加另一个端口为fas80x0-01:e0d
3、将新建的lif放进新建的failover group中，以实现网络的高可用。
创建灵活卷（Flex Volume）
1、参看现有卷使用情况：df
例如：
2、创建vol ： vol create
例如：在aggr\_test上创建一个1g的vol\_test卷.
3、调整volsize：vol size
例如：将vol\_test 大小调整为2g
4、删除快照：snapshot delete –vserver
例如：删除vol\_test中所有快照;
5、删除vol：vol offline
例如：把vol\_test卷删除；
创建NAS共享（CIFS/NFS）
1、 创建CIFS协议文件共享
A、在加域之前，确认dns已经正确配置。
B、将svm\_test添加进域控，
C、将vol\_test卷mount至根目录
D、新建share目录
例如：将vol\_test已cifs\_share名共享出来，默认权限为everyone的Full Controll
E、修改共享权限
例如：将everyone的Full Controll权限更改成readonly
F、将共享路径添加为网络映射盘，该操作详见4.1.6章节的第J小节的Windows 端主机操作
2、 创建NFS协议文件共享
A、确认NFS协议已经启用
B、新建针对vol\_test卷的NFS共享策略，为了前端能够mount到数据卷，需要将根的策略设为0.0.0.0/0，否则前端mount报权限受限。
C、将新建的export\_policy\_test策略应用给vol\_test卷
D、Linux主机mount测试
Snapshot 配置管理
1、参看快照策略
集群模式的快照管理和7模式不同，首先需要先建立一个快照策略。从下图可以得知，一共有三个快照策略，default、default-1weekly、none；
2、为volume选择快照策略
例如：vol\_test卷选择快照策略default-1weekly，需要与周为单位的快照保留1份，与天为单位的快照保留2份，与小时为单位的快照保留6份，备份时间点分别为8:00、12:00、16:00、20:00、23:00，快照预留空间设置为占该卷的5%；
3、取消快照策略及取消快照预留空间
例如：取消vol\_test的快照策略及取消快照预留空间；
目录配额配置管理
1、参看目录配额
例如：
从上图可以得知，该套存储目前尚未做目录配额；
2、限制用户(/用户组)使用 vol(/qtree)空间
例如： quota的类型选择用户；
例如：针对所有用户应用quota；
例如：限制所有访问vol\_test的用户只能使用20MB空间；
至此，quota设置完成。
3、取消目录配额，quota off /vol/volname(/qtreename)
例如：取消vol\_test的目录配额
创建SAN 共享 （以FCP协议为例）
1、确认FCP服务已经启用
2、参看LUN使用情况lun show
从上图，表明目前该套存储未配置SAN环境存储；
3、创建LUN
lun create -vserver [ -path /vol/
例如：在svm\_test下创建1个名为lun\_test大小为50m LUN，并且挂载给windows主机；
4、创建FC LIF
5、创建Portset
6、创建igroup
igroup create -igroup
7、lun 映射
lun map -vserver
8、配置光纤交换机，Clustered Data ONTAP不支持port zone，需要划wwpn zone，前端主机根据系统类型安装多路径软件，扫描新增加磁盘，格式化分区并使用。
五、Lenovo设备日常维护
观察指示灯
现场首先进行指示灯和LCD面板检查，判断是否有异常情况发生。
硬件状态检查
system health alert show 检查告警情况
DM5000H::*> dashboard health vserver show
DM5000H::*> cluster show
DM5000H::*> event log show –nodes * -severity ERROR,CRITICAL,EMERGENCY
DM5000H::> set diag
DM5000H::*> cluster ring show
正常情况：
无告警
非正常情况：
任何一个node没有一个spare disk或者有failed Disk，就是非正常情况。
DM5000H::> environment sensors show 检查所有硬件
以上显示结果应该没有failed,error,warning等字样
检查故障硬盘状态及将更换后的硬盘assign至控制器
DM5000H::> storage show disk –broken #查看故障硬盘属于哪个node
DM5000H::> run –node
DM5000H-01 > disk assign
检查网络是否正常
从存储设备指定lif ping ip
地址，输入：
network ping –lif
检查FILERNAME 机头的网络连通性。
正常情况：
有相应，无丢包。
非正常情况：
ping不通或者丢包严重。
DM5000H::> network port show 主要网口状态应为up
DM5000H::> network interface show 所有的LIF都在home port上
检查Cluster HA状态是否正常
DM5000H::*> storage failover show
正常情况：
2个节点状态应该为enable
非正常情况：
任何一个机头显示非如上所示，就属于非正常情况。
检查卷容量是否正常
使用aggr show或者vol show检查空间使用状况。
正常情况：
capacity 低于或等于80%。
非正常情况：
capacity 高于80%。
Inode数量检查
使用df –i命令检查inode数据使用情况
正常情况：
Inode值低于或等于80%
非正常情况：
Inode值高于80%
建议使用“vol modify -volume
例如: vol modify -volume vol1 –files 20000 将卷vol1的inode数值更改为20000
性能检查
DM5000H::*> statistics show-periodic CPU利用率应该在80%以下
[日志文件检查]()
event log show –nodes * -severity ERROR,CRITICAL,EMERGENCY
命令会自动检查是否有failed,error,warning等字样.
如有,则会显示出来
收集autosupport信息
system autosupport invoke -type all 触发最新autosupport信息
system autosupport history show 显示最近触发的asup的时间和进度
https://
cDot8.2 以后可以直接通过http浏览器直接下载autosupport
常用命令
查看网络配置信息：
network interface show –vserver
查看SAN LIF
network interface show -data-protocol iscsi|fcp
检查Node
cluster::> storage failover show
cluster::> storage aggregate show
cluster::> storage volume show
cluster::> cluster ha show
cluster::> cluster show
查看Disk：
cluster::> storage aggregate show
cluster::> storage disk show –state broken
cluster::> storage disk show –state reconstructing -longop
cluster::> storage disk show –state zeroing -longop
集群交换机检查
cluster::*> ping-cluster -node
cluster::>network interface show -role cluster
cluster::>system cluster-switch show
电源、磁盘柜、控制器检查
cluster::>system environment sensors show
链路检查
cluster::> node run –node * sysconfig
