45天！落地LLM到企微/飞书的实操复现项目，本次分教育+医疗2组，动手实操做复现！全程覆盖五大板块:
①微信/飞书接入、②API管理、③数据集预处理、④大模型选择及调优、⑤知识库搭建**
1.1 服务内容
非常重要！想清楚你提供什么样的服务？解决现实场景中的什么问题？一定要在现有工作流的角度去看，工作流是啥意思？
本身群里的NLP技术问题，是雄哥或者工程师来解答的，但是雄哥时间不够用！只能请llm来帮忙，那我可能只需要补足协助它就行，这就是工作流的变化！
从现有工作流，哪些工作是可以用AI来做的？如果在企业做成这件事的话，增了什么效？降了什么本？（裁员？）
想明白了之后，你要想想提供服务的载体，是文本？图片？音/视频？给小学生教语文的教育机器人，你不可能让小学生键盘打字吧？那肯定是音视频/界面化互动了！
以上，想明白之后，还要再做最后一件事！有无现成项目！到GitHub检索一番！雄哥一直说，不要重复造轮子，站在巨人肩膀上跑更快！
这对你后面写sop有帮助，当前多模态也处在爆发临界点，大家多观察！先不延展，之后雄哥会在通识这块补上！
1.2 服务对象、服务区域
在我们正式做产品之前，我们要全局考虑，是给哪里的人做服务！这涉及到不同地点的法规要求，如果在大陆做商用生成服务，需首要考虑能否合法？这雄哥之前也详细聊过！
大模型合法化指南！被关停才后悔莫及！附算法备案范本！项目落地必看！
第二部分：已有及外部资源
我们填好上面这个表的时候，就要想该怎么去做这件事了。算力资源够不够？时间？预算？已有哪些资源？还需要什么资源？做一个盘点！
2.1 算力资源
在我们开课之前，雄哥就收集了一轮大家的算力，有多少算力，觉得你能在本地玩什么，这里雄哥之前做过一篇硬件指南，这里看！
【大模型】个人部署硬件指南！全网首个玩家万字攻略！一篇搞掂显卡+存储+平台选择困难！无广！
因为在国内，考虑可商用+中文支持，这里雄哥准备接入chatglm2，量化等级为 FP16 要占用 12.8GB 显存、int8 为 8.1GB 显存、int4 为 5.1GB 显存，量化后会稍微影响性能，但不多，配置要求如下：
| 类型 | 内存 | 显存 | 硬盘空间 | 启动命令 |
|---|---|---|---|---|
| fp16 | >=16GB | >=16GB | >=25GB | python openai\_api.py 16 |
| int8 | >=16GB | >=9GB | >=25GB | python openai\_api.py 8 |
| int4 | >=16GB | >=6GB | >=25GB | python openai\_api.py 4 |
本次雄哥以本地部署实操！如果你没有本地算力，那就上云，下波雄哥会单独做一个上云方案！
在实际的落地中，还需要考虑带宽、服务器负载、数据存储等，后续雄哥再回来延展！
2.2 启动预算
关于预算，其实雄哥在群里谈过很多次，一个正经的商用调优任务，成本百万起！一个全面的企业知识库搭建任务，周期2个月起，成本10万起！大部分是算力+人力成本，可能很多小朋友没有什么概念，看这个表！
第三部分：模块与SOP
这是通篇最重要的内容，你经过了以上两点的思考之后！你就要想办法把项目落地了，雄哥站在小白的角度，假设你什么都不懂，那你应该只知道他的起点和终点：
起点：微信/飞书/个人网站/公众号/QQ等（用户互动的入口）
中间过程：不知道
终点：大模型（LLM）
我们的目标，是把LLM部署在我们的服务场景里，群里已经有很多小伙伴提前超纲学习了，并且结合提示词工程，玩了起来。
但对于小白，你可以把微信理解成国内的排插，而LLM是国外的欧标插头，他们是不兼容的，那我们就需要在他们之间，加一个转换插头，让他们也能通的上电，就像这个图！
我们用的ChatGPT的交互网站，或者是open ai的官网的chat，那都是别人搭建好的chatbot，你只需要登录上去，就可以调用LLM互动了。
现在我们要把这个环境搭建在自己的服务里，应该怎么做呢？
难道要开发一个新的转接口？不需要！现在市面已经有相当成熟的开源项目，打开GitHub（需要魔法）！你可以看查到很多类似项目， 这里雄哥分享一部分（之后会教你怎样选模型，怎样接入的）：
1，接入微信
https://github.com/caesee/chagpt-on-wechat2，接入飞书
https://github.com/ConnectAI-E/Feishu-OpenAI3，接入QQ
https://github.com/RockChinQ/QChatGPT4，Next Web
https://github.com/Yidadaa/ChatGPT-Next-Web理论上，我们通过以上“转接头”，就能将llm通电，但还需要一条线，api！许多工具，基本都支持类似open AI格式的api key，但我们部署在本地的大模型+知识库，需要一个容器拉线出来，类似这样:
微信<>chat on WeChat<>fasgpt<>知识库<＞chatglm
1.1 服务内容
非常重要！想清楚你提供什么样的服务？解决现实场景中的什么问题？一定要在现有工作流的角度去看，工作流是啥意思？
本身群里的NLP技术问题，是雄哥或者工程师来解答的，但是雄哥时间不够用！只能请llm来帮忙，那我可能只需要补足协助它就行，这就是工作流的变化！
从现有工作流，哪些工作是可以用AI来做的？如果在企业做成这件事的话，增了什么效？降了什么本？（裁员？）
想明白了之后，你要想想提供服务的载体，是文本？图片？音/视频？给小学生教语文的教育机器人，你不可能让小学生键盘打字吧？那肯定是音视频/界面化互动了！
以上，想明白之后，还要再做最后一件事！有无现成项目！到GitHub检索一番！雄哥一直说，不要重复造轮子，站在巨人肩膀上跑更快！
这对你后面写sop有帮助，当前多模态也处在爆发临界点，大家多观察！先不延展，之后雄哥会在通识这块补上！
1.2 服务对象、服务区域
在我们正式做产品之前，我们要全局考虑，是给哪里的人做服务！这涉及到不同地点的法规要求，如果在大陆做商用生成服务，需首要考虑能否合法？这雄哥之前也详细聊过！
大模型合法化指南！被关停才后悔莫及！附算法备案范本！项目落地必看！
第二部分：已有及外部资源
我们填好上面这个表的时候，就要想该怎么去做这件事了。算力资源够不够？时间？预算？已有哪些资源？还需要什么资源？做一个盘点！
2.1 算力资源
在我们开课之前，雄哥就收集了一轮大家的算力，有多少算力，觉得你能在本地玩什么，这里雄哥之前做过一篇硬件指南，这里看！
【大模型】个人部署硬件指南！全网首个玩家万字攻略！一篇搞掂显卡+存储+平台选择困难！无广！
因为在国内，考虑可商用+中文支持，这里雄哥准备接入chatglm2，量化等级为 FP16 要占用 12.8GB 显存、int8 为 8.1GB 显存、int4 为 5.1GB 显存，量化后会稍微影响性能，但不多，配置要求如下：
| 类型 | 内存 | 显存 | 硬盘空间 | 启动命令 |
|---|---|---|---|---|
| fp16 | >=16GB | >=16GB | >=25GB | python openai\_api.py 16 |
| int8 | >=16GB | >=9GB | >=25GB | python openai\_api.py 8 |
| int4 | >=16GB | >=6GB | >=25GB | python openai\_api.py 4 |
本次雄哥以本地部署实操！如果你没有本地算力，那就上云，下波雄哥会单独做一个上云方案！
在实际的落地中，还需要考虑带宽、服务器负载、数据存储等，后续雄哥再回来延展！
2.2 启动预算
关于预算，其实雄哥在群里谈过很多次，一个正经的商用调优任务，成本百万起！一个全面的企业知识库搭建任务，周期2个月起，成本10万起！大部分是算力+人力成本，可能很多小朋友没有什么概念，看这个表！
第三部分：模块与SOP
这是通篇最重要的内容，你经过了以上两点的思考之后！你就要想办法把项目落地了，雄哥站在小白的角度，假设你什么都不懂，那你应该只知道他的起点和终点：
起点：微信/飞书/个人网站/公众号/QQ等（用户互动的入口）
中间过程：不知道
终点：大模型（LLM）
我们的目标，是把LLM部署在我们的服务场景里，群里已经有很多小伙伴提前超纲学习了，并且结合提示词工程，玩了起来。
但对于小白，你可以把微信理解成国内的排插，而LLM是国外的欧标插头，他们是不兼容的，那我们就需要在他们之间，加一个转换插头，让他们也能通的上电，就像这个图！
我们用的ChatGPT的交互网站，或者是open ai的官网的chat，那都是别人搭建好的chatbot，你只需要登录上去，就可以调用LLM互动了。
现在我们要把这个环境搭建在自己的服务里，应该怎么做呢？
难道要开发一个新的转接口？不需要！现在市面已经有相当成熟的开源项目，打开GitHub（需要魔法）！你可以看查到很多类似项目， 这里雄哥分享一部分（之后会教你怎样选模型，怎样接入的）：
1，接入微信
https://github.com/caesee/chagpt-on-wechat2，接入飞书
https://github.com/ConnectAI-E/Feishu-OpenAI3，接入QQ
https://github.com/RockChinQ/QChatGPT4，Next Web
https://github.com/Yidadaa/ChatGPT-Next-Web理论上，我们通过以上“转接头”，就能将llm通电，但还需要一条线，api！许多工具，基本都支持类似open AI格式的api key，但我们部署在本地的大模型+知识库，需要一个容器拉线出来，类似这样:
微信<>chat on WeChat<>fasgpt<>知识库<＞chatglm
