Lyra Exporter|多平台AI对话导出工具，支持Claude/Gemini数据备份
Post Views: 19 简介 Lyra Exporter是一款专为AI对话管理设计的跨平台数据导出工具，能够帮助用户高效整合和备份来自多个主流AI服务的对话记录。该工具支持Claude、Gemini、NotebookLM及Google AI Studio等平台的对话数据导出，为用户提供了一个统一的对话管理解决方案，确保有价值AI交流内容得到妥善保存与整理。 功能特性 多平台数据整合：支持导入
详细分析大模型推理为什么要PD分离-看完本文就明白!
Post Views: 27 15 一、背景：大模型推理的两大阶段 阶段 主要工作 资源特征 Prefill（全量填充） 把用户的完整 Prompt（数百到数千 token）一次性送入 Transformer，计算出对应的 Key‑Value（KV）Cache 并生成第一个 token。 计算密集型（矩阵乘法占主导），对显存需求相对较小，但对算力（GPU/ NPU）利用率要求高。 Decode（增
大模型推理过程中KV Cache 分层/层次化处理方案介绍
Post Views: 24 一、KV Cache 为什么会随会话增长而膨胀 在自回归解码时，每生成一个 token，模型的每一层都会产生对应的 Key 与 Value 向量并追加到 KV Cache 中。 如果一次会话的上下文长度为 （包括用户输入、模型已生成的 token），模型层数为 ，每层的注意力头数为 ，每个头的隐藏维度为 ，使用的数值精度为 字节（FP16 = 2 B），则 KV C
PromptMate：开源免费的AI提示词管理神器，助力高效管理与优化提示词
Post Views: 40 简介 PromptMate，作为一款开源且免费的AI提示词管理工具，致力于帮助用户更便捷、高效地管理与优化提示词（Prompts），进而提升使用AI工具的整体效率。其主要功能涵盖多层级分类管理、卡片式视觉呈现、变量化与表单编辑等，为用户带来全新的提示词管理体验。 功能特性 SQLBot|依托大模型与RAG的智能问数利器，开启高效数据库交互新纪元 该工具具备强大的多层级
MathModelAgent：AI赋能的数学建模设计利器，一键生成学术论文新选择
Post Views: 62 简介 MathModelAgent，作为一款前沿的数学建模设计AI Agent，专注于实现数学建模的自动化流程，并直接输出符合规范的学术论文。借助先进的AI人工智能技术，该工具能够在极短时间内高效完成复杂的数学建模任务，从而显著提升工作效率。 功能特性 SQLBot|依托大模型与RAG的智能问数利器，开启高效数据库交互新纪元 自动化建模：MathModelAgent能
SQLBot|依托大模型与RAG的智能问数利器，开启高效数据库交互新纪元
Post Views: 88 简介 SQLBot，作为一款集大模型与RAG技术于一体的智能问数系统，致力于显著提升用户与数据库之间的交互效率。它巧妙地将自然语言转化为精准的SQL查询，使得非技术背景的用户也能轻松驾驭数据查询，从而大幅降低了数据分析的准入门槛。 功能特性 开箱即用：仅需简单配置大模型与数据源，即可迅速投入使用。其强大的text-to-SQL生成能力，得益于大模型与RAG的深度融合，
AsteraLabs：CXL内存扩展在推理场景的应用
关键要点1. CXL内存优化了AI推理性能和系统性能。2. AI模型需要大量的内存和网络带宽来存储上下文窗口和键值对缓存。3. 使用CXL内存可以提高GPU利用率并降低CPU使用率。4. CXL内存可..........
CXL内存池与NVIDIA H100 GPU显存协同工作
Post Views: 54 引言与研究背景 AI大模型训练与推理的\"内存墙\"挑战 近年来，以GPT系列、LLaMA等为代表的大型语言模型在自然语言处理领域取得了突破性进展。然而，模型的性能提升往往伴随着参数量的爆炸式增长，从数十亿到数万亿。这给计算基础设施带来了前所未有的压力，其中最突出的是内存容量限制。 以当前最先进的NVIDIA H100 GPU为例，其搭载了高达80GB的HBM3高带宽内存
【人工智能-AI训练场景】CXL内存池与GPU显存的协同工作
一、人工智能-AI训练场景
1.1 CXL内存池与GPU显存的协同工作
在AI训练场景中，CXL内存池与GPU显存的协同工作主要通过分层内存架构和硬件级缓存一致性协议实现..........
