傻瓜式！一键部署llama2+chatglm2，集成所有环境和微调功能，本地化界面操作！
- 大模型
- 2024-06-03
- 240热度
- 0评论
只用一个工具，实现一键部署llama2+chatglm2，一键微调训练大模型！牛不牛
工具名称：text-generation-webui
开发者：oobabooga
https://github.com/oobabooga/text-generation-webui
功能简介：简单来说它就是个语言模型的启动器。你可以加载几乎所有的主流模型，并在本地运行+训练它们！
功能亮点：#一键安装环境。#模型兼容性极佳，#主流模型都可以加载。#一键式模型切换能力，快速在多个语言模型之间切换。#自带人设管理，一键加载。#Lora加载和训练。
以下是模型加载和微调的界面，简直太友好了\~
雄哥团队在汉化中，预计明天搞好，之后我传到知识星球；
开始安装部署！
总体的安装过程非常简单：
①下载一键启动器；②一键安装环境；③一键部署和启动；
1、下载一键启动器
这个文件雄哥已经在公号上传了，回复“启动器”就可以直接下载，请把这份文件保存在无中文！无特殊标点符号！纯英文的文件夹中！保存的这个盘至少要100G以上空间（要装模型）！
提示：按自己的系统下载，别下错了！
2、一键安装环境
这个时候，请全程打开节点，确保能完整下载到！
然后解压刚刚的压缩包，点击“start\_windows”，他会自动下载并安装所需要的环境！这里等待即可；
等待下载弹出下面这个界面：
A/B/C/D分别对应不一样的显卡类型，你选择自己电脑的类型，然后回车就行了。
之后一路等待，哪怕这个界面全部100%也别动，继续等，他会自动帮你下载配置的：
直到出现这个就完成了，你可以正常使用了！
3、一键部署和启动
部署好工具之后，一样的启动“start\_windows”，他会告诉你现在没有下载模型，是不是要下载模型。
雄哥先讲一下，这个工具，他支持自带下载、手动下载两个方式下载模型：
3.1 使用oobabooga内置下载器
优点：简单，不容易出错，模型文件格式肯定正确。
缺点：速度慢。
操作方法：
A、去Hugging Face找到你想部署大模型的网址，点如下图复制
B、然后回到刚刚这个界面
C、选择L选项 Manually specify a Hugging Face model
D、然后我们把刚刚复制的内容粘贴进去
回车，它就会开始自动下载了。（注意，这里只能下载无需申请的模型）
下载目录：\oobabooga\_windows\text-generation-webui\models
3.2 自己下载模型文件：
优点：速度快
缺点：得手动
方法：我们首先进入model存储目录
\oobabooga\_windows\text-generation-webui\models
然后我们去到Chatglm的huggingface页面：
https://huggingface.co/THUDM/chatglm-6b
选择files
把这里所有的文件都下载到刚刚创建的文件里面：
注意！
不同类型的模型有不同的模型格式，一般来说只要把huggingface里所有的文件都下载下来就行了
接下来我们继续oobabooga的模型加载
你应该已经下载好了模型。
如果model文件夹下只有一个模型，那oobabooga会自动加载，如果有多个模型，像雄哥这样，它就会跳出模型选择的页面：
现在我们以Vicuna-13b作为案例，来启动模型。
弹出：Running on local URL: http://127.0.0.1:7860
To create a public link, set share=True in launch().
就说明启动成功，然后和stable-diffusion一样
我们访问127.0.0.1:7860，就可以看到webui界面了
到此！大功告成！
