AsteraLabs：CXL内存扩展在推理场景的应用
关键要点1. CXL内存优化了AI推理性能和系统性能。2. AI模型需要大量的内存和网络带宽来存储上下文窗口和键值对缓存。3. 使用CXL内存可以提高GPU利用率并降低CPU使用率。4. CXL内存可..........
CXL内存池与NVIDIA H100 GPU显存协同工作
Post Views: 38 引言与研究背景 AI大模型训练与推理的\"内存墙\"挑战 近年来，以GPT系列、LLaMA等为代表的大型语言模型在自然语言处理领域取得了突破性进展。然而，模型的性能提升往往伴随着参数量的爆炸式增长，从数十亿到数万亿。这给计算基础设施带来了前所未有的压力，其中最突出的是内存容量限制。 以当前最先进的NVIDIA H100 GPU为例，其搭载了高达80GB的HBM3高带宽内存
【人工智能-AI训练场景】CXL内存池与GPU显存的协同工作
一、人工智能-AI训练场景
1.1 CXL内存池与GPU显存的协同工作
在AI训练场景中，CXL内存池与GPU显存的协同工作主要通过分层内存架构和硬件级缓存一致性协议实现..........
MCP协议赋能大模型-MCP+Milvus+LLM Agent详细操作指南
Post Views: 44 前言\"大模型虽具备卓越的智能，但在解决复杂现实问题时仍显力不从心。\"——这已成为众多AI从业者的共识。 以DeepSeek为例，当被问及清明节习俗时，AI可引经据典给出详尽解答；但若要求其制定三天两晚的清明旅行规划，输出结果往往差强人意。究其根源，大模型在执行旅行规划这类复杂任务时，缺乏天气数据、交通信息、酒店资源等关键外部数据的实时接入，犹如拥有聪慧大脑却缺失感
olmOCR |一款免费开源的专门用于训练语言模型以处理 PDF 文档工具包
Post Views: 38 简介 olmOCR 是一款专门用于训练语言模型以处理 PDF 文档的工具包，具备自然文本解析、版本对比、内容过滤、模型微调及 PDF 处理等多种功能，助力于 PDF 文档相关的工作效率提升。 官网地址 Github地址：https://github.com/allenai/olmocr 体验地址：https://olmocr.allenai.org/ &
Presenton|2025年最新AI生成PPT免费工具（支持OpenAI/Gemini+自定义模型）
Post Views: 63 简介 Presenton是一款开源的AI生成PPT免费工具，通过集成OpenAI、Google Gemini等主流模型（或用户自定义的Ollama托管模型），实现从内容生成到模板设计的全流程自动化。用户只需上传现有PPTX文件，即可快速生成专业文稿，并通过HTML和Tailwind CSS深度自定义样式，支持PPTX/PDF导出及DALL-E 3/Pexels图像集成
FastbuildAI|一款 Coze、Dify 类开源 AI 应用快速构建工具
Post Views: 115 简介 FastbuildAI 是一个面向 超级个体 / 小团队 的开源 AI 应用快速构建工具。主打 可视化零代码 搭建与 商业闭环：内置算力计费、用户充值、营销与收款能力；支持插件扩展与自定义界面/域名，分钟级完成部署并上线运营。 当前版本：beta.1（工作流、智能体、知识库、插件市场将陆续推出） Githup地址：https://github.com/MaoT
2025国内六大AI模型对比：豆包/文心一言/千问/Kimi/秘塔/DeepSeek功能全解析
Post Views: 9,579 豆包大模型 豆包大模型（原名云雀）是字节跳动旗下火山引擎推出的自研大语言模型，2024年5月正式发布。依托字节内部50+业务场景的千亿级Tokens使用量打磨，已形成包含通用模型、语音合成、文生图等在内的完整模型家族。 功能特性 多模态交互：支持语音理解与生成一体化，实现端到端语音对话，时延低至0.5秒 专业场景适配： 角色扮演模型：支持多轮记忆与人设保持 语音
