只用一个工具,实现一键部署llama2+chatglm2,一键微调训练大模型!牛不牛


工具名称:text-generation-webui

开发者:oobabooga

https://github.com/oobabooga/text-generation-webui

功能简介:简单来说它就是个语言模型的启动器。你可以加载几乎所有的主流模型,并在本地运行+训练它们!

功能亮点:#一键安装环境。#模型兼容性极佳,#主流模型都可以加载。#一键式模型切换能力,快速在多个语言模型之间切换。#自带人设管理,一键加载。#Lora加载和训练。

以下是模型加载和微调的界面,简直太友好了\~

雄哥团队在汉化中,预计明天搞好,之后我传到知识星球;

图片


开始安装部署!

总体的安装过程非常简单:

①下载一键启动器;②一键安装环境;③一键部署和启动;

1、下载一键启动器

这个文件雄哥已经在公号上传了,回复“启动器”就可以直接下载,请把这份文件保存在无中文!无特殊标点符号!纯英文的文件夹中!保存的这个盘至少要100G以上空间(要装模型)!

提示:按自己的系统下载,别下错了!

图片


2、一键安装环境

这个时候,请全程打开节点,确保能完整下载到!

然后解压刚刚的压缩包,点击“start\_windows”,他会自动下载并安装所需要的环境!这里等待即可;

等待下载弹出下面这个界面:

A/B/C/D分别对应不一样的显卡类型,你选择自己电脑的类型,然后回车就行了。

图片

之后一路等待,哪怕这个界面全部100%也别动,继续等,他会自动帮你下载配置的:

图片

直到出现这个就完成了,你可以正常使用了!

3、一键部署和启动

部署好工具之后,一样的启动“start\_windows”,他会告诉你现在没有下载模型,是不是要下载模型。

图片

雄哥先讲一下,这个工具,他支持自带下载、手动下载两个方式下载模型:

3.1 使用oobabooga内置下载器

优点:简单,不容易出错,模型文件格式肯定正确。

缺点:速度慢。

操作方法:

A、去Hugging Face找到你想部署大模型的网址,点如下图复制

图片

B、然后回到刚刚这个界面

图片

C、选择L选项 Manually specify a Hugging Face model

D、然后我们把刚刚复制的内容粘贴进去

回车,它就会开始自动下载了。(注意,这里只能下载无需申请的模型)

下载目录:\oobabooga\_windows\text-generation-webui\models

3.2 自己下载模型文件:

优点:速度快

缺点:得手动

方法:我们首先进入model存储目录

\oobabooga\_windows\text-generation-webui\models

图片

然后我们去到Chatglm的huggingface页面:

https://huggingface.co/THUDM/chatglm-6b

选择files

图片

把这里所有的文件都下载到刚刚创建的文件里面:

图片

注意!

不同类型的模型有不同的模型格式,一般来说只要把huggingface里所有的文件都下载下来就行了

接下来我们继续oobabooga的模型加载

你应该已经下载好了模型。

如果model文件夹下只有一个模型,那oobabooga会自动加载,如果有多个模型,像雄哥这样,它就会跳出模型选择的页面:

图片

现在我们以Vicuna-13b作为案例,来启动模型。

图片

弹出:Running on local URL: http://127.0.0.1:7860

To create a public link, set share=True in launch().

就说明启动成功,然后和stable-diffusion一样

我们访问127.0.0.1:7860,就可以看到webui界面了

图片

到此!大功告成!

本文二维码
最后修改:2024 年 05 月 10 日
如果觉得我的文章对你有用,请随意赞赏