Post Views: 702 众所周知，大模型的训练需要大量的显存资源，单卡很容易就爆了，于是就有了单机多卡、多机多卡的训练方案。本文主要是介绍如何使用deepspeed框架做多机多卡的分布式训练。   由于PyTorch、NVIDIA、CUDA等运行环境搭建也是很繁琐，所以这次我们用docker来快速搭建，但是deepspeed多机训练是通过ssh来通讯的，不同服务器的docker容

Post Views: 1,097 一，背景知识 1.1，LLM 应用的难点 1，模型训练时间过长 伴随着 Transformer 结构的提出，后续 LLM 参数开始从亿级到百亿、乃至万亿级增长，与超高速增长到模型参数量相比， GPU 显存的增长实属有限，有数据显示每 18 个月仅翻了 1.7 倍。模型参数量的增长和硬件的显存的增长之间的差距越来越大，但从目前趋势看，超大的计算量和参数量是目前 L

Post Views: 415 一、测试背景和目的 随着硬件和OS的发展，一些新的RAID卡不支持安装老的操作系统。但有些客户可能需要在新的RAID卡上安装老的操作系统。此时需要编译RAID卡驱动，在安装操作系统时使用linux dd来手工加载RAID卡驱动。本手册以联想服务器530-8i RAID驱动编译为例，进行介绍 二、测试环境 2.1 网络拓扑图 略 2.2软硬件配置 设备名字 数量 名称

Post Views: 303 简介 本文详细介绍了怎么通过shell脚本实现一个linux系统的全面性能分析，包括磁盘，cpu，内存，文件系统等性能 详细展示 1.利用select循环实现系统工具箱 select格式和for格式一致，但是select 变量名 in xxx xxx都将打印成菜单 #!/bin/bash PS3=“enter parment: ” select xtgjx in d

Post Views: 321 简介 本文详细介绍ansible怎么批量初始化服务器，包括ansible批量初始化服务器详细配置和步骤，有需要的小伙伴们可以参考借鉴，希望对大家有所帮助。 详细步骤 1、ansible要初始化的主机 # tail -3 /etc/ansible/hosts   #要初始的主机如下 192.168.20.4 192

Post Views: 572 最近十年，Elasticsearch 已经成为了最受欢迎的开源检索引擎，其作为离线数仓、近线检索、B端检索的经典基建，已沉淀了大量的实践案例及优化总结。然而在高并发、高可用、大数据量的 C 端场景，目前可参考的资料并不多。因此，我们希望通过分享在外卖搜索场景下的优化实践，能为大家提供 Elasticsearch 优化思路上的一些借鉴。 美团在外卖搜索业务场景中大规模

Post Views: 464 导读 美团视觉面向本地生活服务，在众多场景上落地应用了文字识别、图像质量评价、视频理解等视觉AI技术。此前，在线推理服务使用的GPU资源不断增加，但服务GPU利用率普遍较低，浪费大量计算资源，增加了视觉AI应用成本，这是美团也是很多企业亟需解决的问题。 美团视觉智能部通过实验分析发现，造成视觉推理服务GPU利用率低下的一个重要原因是模型结构问题：模型中预处理或者后处

Post Views: 355 适用： XCC Web界面微码批量更新，通过NFS或CIFS存储库更新所有适用于此服务器的固件微码，实现减少操作步骤，缩短时间周期。 更新事项 更新所有符合XCC更新规则的固件微码，包括UEFI、XCC、LXPM、网卡、RAID卡、RAID HBA卡、FC HBA卡等。 注意 注意 服务器需开机状态，UEFI需跟XCC同步完成后才能操作！目前非 ThinkSyste

Post Views: 615 图片MG-Soft公司是一家老牌的监控工具，是目前全球领先的网络管理，SNMP监控的领导厂商； 我发现很多客户都在使用该软件，比如近期参加的某大型企业招标测试就使用的该软件，该软件比我之前写的ireasoning MIB Browser 的使用方法要复杂些，需要将MIB库编译进软件，以下介绍如何使用该软件，希望对大家有用； PS：提前准备，真的会万事大吉，哈哈哈哈哈

Post Views: 465 重要提醒 --- 数据安全--- 备份 备份 备份！！！ 一、RAID工具Storcli Storcli管理工具下载 https://download.lenovo.com/servers/mig/2022/06/01/55714/lnvgy\\_utl\\_raid\\_mr3.storcli-007.2008.0000.0000-0\\_linux\\_x86-64.tg