Loading...
1. 前言大模型技术的横空出世给行业及技术应用带来了全新的变革。今天要讲的场景是“知识库”、“企业搜索”相关场景。在大模型出现以前，我们针对这样的业务往往采用传统的搜索引擎如ES来解决，或者更高级一些，引入NLP和KG技术，可以做出较...
**在过去的数月中，亚马逊云科技已经推出了多篇 Blog，来介绍如何在亚马逊云科技上构建基于 MVP（LLM+Vector+Prompt）架构打造企业下一代知识库。为了帮助客户快速、安全地在亚马逊云科技上构建、部署和管理应用程序，众多...
第一部分：为什么要写SOP？在雄哥团队，在一个项目开始之前，或者一个新人加入公司，他要熟悉某个项目的进度，或者安排工作给他！雄哥要做的第一件事就是教他怎样思考，怎样去思考一个项目！写sop——按照sop去执行——反馈工作流程中不足的点...
只用一个工具，实现一键部署llama2+chatglm2，一键微调训练大模型！牛不牛工具名称：text-generation-webui开发者：oobaboogahttps://github.com/oobabooga/text-ge...
45天！落地LLM到企微/飞书的实操复现项目，本次分教育+医疗2组，动手实操做复现！全程覆盖五大板块:①微信/飞书接入、②API管理、③数据集预处理、④大模型选择及调优、⑤知识库搭建**1.1 服务内容非常重要！想清楚你提供什么样的服...
解释说明这个问题一直困扰智云海博站长很长时间，由于中国大陆特殊的互联网环境导致解决此问题变得较为困难。本文将介绍我解决此问题的经历和解决方案。智云海博刚刚接入Google广告的那段时间广告显示没有任何异常，因无效流量被停用账户解封之后...
一，模型压缩技术概述1.1，模型压缩问题定义因为嵌入式设备的算力和内存有限，因此深度学习模型需要经过模型压缩后，方才能部署到嵌入式设备上。模型压缩问题的定义可以从 3 角度出发:模型压缩的收益:计算: 减少浮点运算量（FLOPs），降...
一，剪枝分类所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。关于什么参数才是“不必要的”，这是一个目前依然在研究的领域。1.1，非结构化剪枝非结构化剪枝（Unstructured...
LangChain 介绍随着各种开源大模型的发布，越来越多的人开始尝试接触和使用大模型。在感叹大模型带来的惊人表现的同时，也发现一些问题，比如没法查询到最新的信息，有时候问一些数学问题时候，会出现错误答案，还有一些专业领域类问题甚至编...
众所周知，大模型的训练需要大量的显存资源，单卡很容易就爆了，于是就有了单机多卡、多机多卡的训练方案。本文主要是介绍如何使用deepspeed框架做多机多卡的分布式训练。由于PyTorch、NVIDIA、CUDA等运行环境搭建也是很繁琐...
一，背景知识1.1，LLM 应用的难点1，模型训练时间过长伴随着 Transformer 结构的提出，后续 LLM 参数开始从亿级到百亿、乃至万亿级增长，与超高速增长到模型参数量相比， GPU 显存的增长实属有限，有数据显示每 18 ...
一、测试背景和目的随着硬件和OS的发展，一些新的RAID卡不支持安装老的操作系统。但有些客户可能需要在新的RAID卡上安装老的操作系统。此时需要编译RAID卡驱动，在安装操作系统时使用linux dd来手工加载RAID卡驱动。本手册以...
简介本文详细介绍了怎么通过shell脚本实现一个linux系统的全面性能分析，包括磁盘，cpu，内存，文件系统等性能详细展示1.利用select循环实现系统工具箱select格式和for格式一致，但是select 变量名 in xxx...
简介本文详细使用ansible批量安装Zabbix-agent，在客户端比较多，结合ansible进行批量安装，将非常重要，省时高效，并且能够加稳定安装步骤1、安装关联组件[root@centos78 \~]# yum install...
简介本文详细介绍ansible怎么批量初始化服务器，包括ansible批量初始化服务器详细配置和步骤，有需要的小伙伴们可以参考借鉴，希望对大家有所帮助。详细步骤1、ansible要初始化的主机[root@nginx ansible]#...
一、目的Lenovo 解决方案能够助客户有效地简化运作，同时最大限度地降低风险，为那些不断经历变化的企业提供更高的性能和可扩展性。借助于产品、技术和合作伙伴的良好组合，Lenovo 解决方案有助于解决最为迫切的IT 和业务问题，同时最...
Citrix虚拟桌面部署，在线pdf阅读！
华为hadoop调优手册，当前最全面的hadoop调优手册！
一、添加远程桌面授权服务服务器管理 - 添加角色和功能打开“添加角色和功能向导”窗口，选择基于角色或给予功能安装：打开服务器管理，打开角色和功能，添加远程回话主机和远程桌面授权以上配置完成后使用期限为120天，再次登陆会有如下提示：二...
