• 最新文章
  • 最新资讯
  • 大模型
  • AIGC
  • HPC存储
  • 云计算
  • 系统运维
  • 网站建设优化
  • 操作系统
  • 大数据
  • 服务器管理

OpenConnect 在ubuntu下安装步骤

Post Views: 159 介绍 OpenConnect是一个支持多种协议的跨平台SSL VPN 客户端,其支持以下VPN protocols: Cisco AnyConnect (--protocol=anyconnect) Array Networks SSL VPN (--protocol=array) Juniper SSL VPN (--protocol=nc) Pulse Conn
OpenConnect 在ubuntu下安装步骤

100,000 个 H100 集群:电源、网络拓扑、以太网与 InfiniBand、可靠性、故障、检查点

Post Views: 254 原文:https//www.semianalysis.com/p/100000-h100-clusters-power-network 前沿模型扩展挑战和要求、通过内存重建进行故障恢复、机架布局 有一个阵营认为,自 GPT-4 发布以来,人工智能能力就陷入了停滞。这通常是正确的,但这只是因为没有人能够大规模增加专用于单个模型的计算量。已发布的每个模型大致为 GPT-
100,000 个 H100 集群:电源、网络拓扑、以太网与 InfiniBand、可靠性、故障、检查点

AI时代的GPU集群网络算力分析

Post Views: 413 引言在生成式AI(GenAI)和大模型时代,不仅需要关注单个GPU卡的算力,更要关注GPU集群的总有效算力。单个GPU卡的有效算力可以通过该卡的峰值算力来测算,例如,对于Nvidia A100,峰值FP16/BF16稠密算力是312 TFLOPS,单卡有效算力约为~298 TFLOPS 。本篇将聊聊GPU集群网络配置和GPU集群规模以及总有效算力,重点讨
AI时代的GPU集群网络算力分析

GPT推理token生成机制中的kvcache详解

Post Views: 309 一句话介绍 kvcache是一种以空间换时间的策略,能够加快语言模型的生成速度。 要明白kvcache,需要弄明清楚两个细节——GPT 的生成机制以及注意力掩码 (attention mask)。 GPT的生成机制 在介绍 kvcache之前,我们需要先了解生成式预训练模型(GPT)的生成机制。GPT 是泛指所有生成式语言模型,而非特指 OpenAI 的 GPT 产
GPT推理token生成机制中的kvcache详解

大模型训练显存分析

Post Views: 185 数据类型 float32(FP32):32 位浮点数,也称为单精度。 float16(FP16):16 位浮点数,表示范围较小,也被称为半精度。 bfloat16(BF16):扩大了指数位数,缩小了小数位数,因此表示的范围更大,精度更弱。 一般采用 16 位的表示,那么一个参数占用 2byte,即 2B。 FP16 的精度高,但是表示范围小,容易上溢; BF16 的
大模型训练显存分析

使用 ColPali 和视觉语言模型 Groq(Llava) 和 Qwen2-VL 实现多模态 RAG

Post Views: 333 多模态 RAG 管道 介绍 在标准 RAG 中,输入文档由文本数据组成。LLM 利用上下文学习,通过检索与所提查询上下文相匹配的文本文档块来提供更相关、更准确的答案。 但是如果文档除了文本数据之外还包含图像、表格、图表等怎么办? 不同的文档格式 PDF(便携式文档格式):通常用于跨平台共享保留其格式的文档,但由于其布局非结构化,因此很难从中提取数据。 Microso
使用 ColPali 和视觉语言模型 Groq(Llava) 和 Qwen2-VL 实现多模态 RAG

基于多向量检索器的多模态RAG 实现

Post Views: 200 长话短说 下面三个 LangChain 示例代码,展示了如何使用 LangChain 多向量检索器(Multi-Vector Retriever)对多内容类型的文档实现更好的 RAG 效果。后面两个示例还涵盖了一些配合多模态 LLM 的多矢量检索器用法,以实现针对图像的 RAG。 半结构化数据 (tables + text) RAG 多模态 (text + tabl
基于多向量检索器的多模态RAG 实现

DB-GPT应用部署测试

Post Views: 195 环境要求 启动模式 CPU * MEM GPU 备注 代理模型 4C*8G 代理模型不依赖GPU 本地模型 8C*32G 24G 本地启动最好有24G以上GPU conda环境安装 默认数据库使用SQLite,因此默认启动模式下,无需安装数据库。 如果需要使用其他数据库,可以看后面的高级教程。 我们推荐通过conda的虚拟环境来进行Python虚拟环境的安装。关于M
DB-GPT应用部署测试