Post Views: 15 这是我们构建 MCP 服务器的四部分教程的最后一部分。在第一部分中，我们使用基本资源创建了第一个 MCP 服务器。第二部分添加了资源模板并改进了代码组织。在第三部分中，我们添加了提示符并进一步完善了服务器结构。现在，我们将通过添加工具来完成服务器的搭建。 什么是 MCP 工具？ 工具是 LLM 可以调用来执行操作或检索动态信息的可执行函数。与只读的资源和构建 LLM

Post Views: 14 这是我们构建 MCP 服务器的四部分教程的第三部分。在第一部分中，我们使用基本资源创建了第一个MCP 服务器；在第二部分中，我们添加了资源模板并改进了代码组织。现在，我们将进一步重构代码并添加提示功能。 什么是 MCP 提示？ MCP 中的提示符是服务器提供的结构化模板，用于标准化与语言模型的交互。与提供数据的资源或执行操作的工具不同，提示符定义了可重用的消息序列和工

Post Views: 19 该图像是使用 AI 图像创建程序创建的。 这个故事是在多位人工智能助手的帮助下写成的。 这是构建MCP 服务器教程（共四部分）的第二部分。在第一部分中，我们使用基本资源创建了第一个 MCP 服务器。现在，我们将使用资源模板扩展服务器的功能。本文中的代码假设您从上次中断的地方继续学习。 什么是资源模板？ 资源模板允许您使用 URI 模式定义动态资源。与具有固定 URI

Post Views: 22 什么是模型上下文协议？ 模型上下文协议(MCP) 是Claude等大型语言模型 (LLM) 与外部数据和功能安全交互的标准化方式。您可以将其想象成一个平视显示器，或者 AI 的 USB 端口——它提供了一个通用接口，允许任何兼容 MCP 的 LLM 连接到您的数据和工具。 MCP 提供了一个集中式协议，简化了 AI 即插即用服务的开发。与其他可能需要为每个 AI 模型

Post Views: 15 一、什么是MCP（Model Context Protocol） 定义 MCP（Model Context Protocol，模型上下文协议） ，2024年11月底，由 Anthropic 推出的一种开放标准，旨在统一大模型与外部数据源和工具之间的通信协议。MCP 的主要目的在于解决当前 AI 模型因数据孤岛限制而无法充分发挥潜力的难题，MCP 使得 AI 应用能够安

Post Views: 42 本文提供三个工具，1. nic_monitor 使用脚本语言 Bash Shell 编写的，用来监控以太网或者RDMA接口流量使用的。 2. nic_monitor_v2.0_eth.py 通过TUI界面实时显示以太网流量的工具，使用Python3编写的。3. nic_monitor_v2.1_rdma.py 通过TUI界面实时显示 IB 和 RoCE 流量的工具，使

Post Views: 949 Token 是什么 token 是大模型（LLM）用来表示自然语言文本的基本单位，可以直观的理解为 “字” 或 “词”。 通常 1 个中文词语、1 个英文单词、1 个数字或 1 个符号计为 1 个 token 一般情况下模型中 token 和字数的换算比例大致如下： 1 个英文字符 ≈ 0.3 个 token。 1 个中文字符 ≈ 0.6 个 token。 所以，我

Post Views: 867 以下是 vllm serve 的常见参数说明以及它们的作用： 1. 基本参数 model_tag 说明：用于指定要加载的模型，可以是 Hugging Face 模型仓库中的模型名称，也可以是本地路径。 示例： vllm serve "gpt-neo-2.7B" --config CONFIG 说明：允许从 YAML 配置文件加载参数。适合复杂配置。 示例： vllm

Post Views: 452 官方文档：Benchmark Suites — vLLM github官网项目：https://github.com/vllm-project/vllm 硬件状况：4张4090的24G的卡 咨询vllm官网的AI 问：如何完成基准测试 答：如下图所示 下载测试数据集 下载python测试脚本 如下是脚本的部分内容，全部代码过长无法粘贴（后面我选择了拉取整个vllm项

Post Views: 589 前情回顾 比较现实的是两个极端, 一方面是各种平台的测评, 例如公众号“ CLUE中文语言理解测评基准”的 另一方面是尤洋老师在微博的一个评论MaaS的商业模式和平台推理亏损, 这里提到了4台H800的总吞吐量 另一方面是各种私有化部署的需求, 例如小红书上最近经常刷到 还有章明星老师的KTransformer可以在单卡的4090 24GB上配合Intel CPU的