分类 AIGC 下的文章

**在过去的数月中，亚马逊云科技已经推出了多篇 Blog，来介绍如何在亚马逊云科技上构建基于 MVP（LLM+Vector+Prompt）架构打造企业下一代知识库。为了帮助客户快速、安全地在亚马逊云科技上构建、部署和管理应用程序，众多...

第一部分：为什么要写SOP？在雄哥团队，在一个项目开始之前，或者一个新人加入公司，他要熟悉某个项目的进度，或者安排工作给他！雄哥要做的第一件事就是教他怎样思考，怎样去思考一个项目！写sop——按照sop去执行——反馈工作流程中不足的点...

只用一个工具，实现一键部署llama2+chatglm2，一键微调训练大模型！牛不牛工具名称：text-generation-webui开发者：oobaboogahttps://github.com/oobabooga/text-ge...

45天！落地LLM到企微/飞书的实操复现项目，本次分教育+医疗2组，动手实操做复现！全程覆盖五大板块:①微信/飞书接入、②API管理、③数据集预处理、④大模型选择及调优、⑤知识库搭建**1.1 服务内容非常重要！想清楚你提供什么样的服...

一，模型压缩技术概述1.1，模型压缩问题定义因为嵌入式设备的算力和内存有限，因此深度学习模型需要经过模型压缩后，方才能部署到嵌入式设备上。模型压缩问题的定义可以从 3 角度出发:模型压缩的收益:计算: 减少浮点运算量（FLOPs），降...

一，剪枝分类所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。关于什么参数才是“不必要的”，这是一个目前依然在研究的领域。1.1，非结构化剪枝非结构化剪枝（Unstructured...

LangChain 介绍随着各种开源大模型的发布，越来越多的人开始尝试接触和使用大模型。在感叹大模型带来的惊人表现的同时，也发现一些问题，比如没法查询到最新的信息，有时候问一些数学问题时候，会出现错误答案，还有一些专业领域类问题甚至编...

众所周知，大模型的训练需要大量的显存资源，单卡很容易就爆了，于是就有了单机多卡、多机多卡的训练方案。本文主要是介绍如何使用deepspeed框架做多机多卡的分布式训练。由于PyTorch、NVIDIA、CUDA等运行环境搭建也是很繁琐...

一，背景知识1.1，LLM 应用的难点1，模型训练时间过长伴随着 Transformer 结构的提出，后续 LLM 参数开始从亿级到百亿、乃至万亿级增长，与超高速增长到模型参数量相比， GPU 显存的增长实属有限，有数据显示每 18 ...

安装Ubuntu 20.04.3 LTS版本安装Ubuntu 20.04按照安装提示，仔细选择每一项，基本默认即可。系统中查看GPU信息系统安装完成之后，进入系统，使用lspci 命令查询一下GPU是否存在、型号信息是什么。bpang...

简介数据标注，正迎来关键洗牌时刻。大模型时代到来，以数据为中心的AI开发模式加速走向台前，数据的价值从未向今天这样被充分挖掘——大模型从训练到部署应用迭代，AIGC众多垂直场景落地，通用智能、具身智能等前沿领域探索，都与高质量、专业化...

0. 导读美团视觉面向本地生活服务，在众多场景上落地应用了文字识别、图像质量评价、视频理解等视觉AI技术。此前，在线推理服务使用的GPU资源不断增加，但服务GPU利用率普遍较低，浪费大量计算资源，增加了视觉AI应用成本，这是美团也是很...

前言近期，智能AI绘画因其低成本、高效率、多风格、易操作等特点而受到全网的热烈追捧，对原画、平面设计等领域产生了巨大的冲击。据报道，许多公司（特别是游戏公司）已经将AI绘画引入到他们的工作流程中，有的公司甚至裁掉了原画师的一半。趁着A...

N1 深度学习到底是如何训练数据的？深度学习训练的算法叫做反向传 播。即通过神经网络得到预测结果，把预测结果跟标注Label进行比对，发现误差；然后得到神经网络里每个神经元权重导数；接着通过算法得到每个神经元导数，再更新神经元的权重以...