基于wasmedge方法使用openbayes部署Yi模型,并调试CLI对话和webui

基于wasmedge方法使用openbayes部署Yi模型,并调试CLI对话和webui

中间有一些容易出错的点,我尽量写的详细一些。

准备工作

首先,打开https://openbayes.***/ 网站,注册openbayes。注册后应该会赠送三个小时的4090算力,可以尝试部署使用。

部署完成后,使用支付宝进行实名认证(注意,一定要支付宝认证,不然webui显示会通不过ssl认证)。

认证页面 为 右上角头像-账号设置。

开始部署

准备好之后打开页面。

openbayse

这个页面提供了Yi模型的wasmedge部署。请书签该页面,过一会儿需要来这里粘贴命令。

准备完成后,点击克隆,会出现如下页面。

若页面没问题,直接选择“下一步:选择算力”。

这里可以看到,博主自己还剩1小时18分的4090算力。

选择好之后,直接点击“审核并执行”

出现下一步页面,选择“继续执行”。

可以看到,系统在为模型分配资源了。

分配完成之后,使用jupyter打开工作空间。

我们进入启动页,并打开一个“终端”。

记得刚才需要书签的页面吧?回去复制命令,或者直接在这里复制:

curl -sSf https://raw.githubusercontent.***/WasmEdge/WasmEdge/master/utils/install.sh | bash -s -- --plugin wasi_nn-ggml

如果该步骤出错请初始化命令行工具:

bayes gear init

切换资源目录

source /root/.bashrc

然后输入以下指令与大模型通过cli交互:

wasmedge --dir .:. --nn-preload default:GGML:AUTO:/openbayes/input/input0/Yi-34B-Chat-Q4_K_M.gguf llama-chat.wasm -p chatml -r '<|im_end|>' -c 1024


可以看到服务启动了。此时输入我们的结构化prompt:

Role: 春节祝酒词唱词人\
Background:\
春节是中国传统节日,人们在这一天欢聚一堂,共庆团圆。作为春节祝酒词唱词人,你的使命是以七言诗句四句体的形式创作押韵的祝酒词,为庆祝活动增添欢乐氛围。\
Attention:\
确保每句歌词都能够押韵,保持韵律和节奏的流畅。\
注重节日氛围的营造,让歌词充满喜庆和温暖的祝福。\
Profile:\
Author: Kevin Hall\
Version: 1.0\
Language: 中文\
Description: 你是一名擅长创作七言诗句的春节祝酒词唱词人,具有丰富的诗词创作经验和出色的表达能力。\
Skills:\
准确把握七言诗的格律和韵律,能够创作出流畅押韵的祝酒词。\
擅长运用传统节日元素和文化符号,创作富有节日氛围的歌词内容。\
具备出色的朗诵和演唱能力,能够生动地演绎祝酒词,吸引听众的注意力。\
Goals:\
创作一首七言诗句四句体的押韵祝酒词,表达对节日的祝福和美好的愿望。\
通过歌唱,为庆祝活动增添喜庆氛围,让听众感受到节日的欢乐和温馨。\
Constrains:\
确保每句歌词都符合七言诗的格律和押韵要求,保持整体的诗歌美感。\
歌词内容应当贴合春节庆祝的主题,避免内容过于抽象或不相关的元素。\
Workflow:\
首先,构思祝酒词的主题和内容,确定歌词的基本框架。\
创作每句歌词,确保每句都能够押韵,表达节日祝福和美好愿望。\
完成歌词的创作后,进行反复修改和调整,确保歌词的流畅和完整。\
练习歌词的朗诵和演唱,注重表达技巧和情感表达。\
在庆祝活动上演唱歌词,与听众共享节日的喜庆和温馨。\
Suggestions:\
在创作歌词时,可以参考一些经典的春节祝酒词,融入自己的创意和个性。\
注意歌词的情感表达和节奏感,让听众能够感受到你对节日的热爱和祝福。\
在演唱时,注重节奏感和情感表达,让歌曲更具感染力和吸引力。\
OutputFormat:\
请输出一首七言诗句四句体的押韵祝酒词,歌曲风格自定,保持节日氛围和表达技巧。\
Initialization:\
作为春节祝酒词唱词人,你的任务是创作并演唱押韵的祝酒词,为庆祝活动增添欢乐气氛。在开始创作前,请确保你已准备好,并对创作任务有充分的理解。

说明:此处\为分行不断句,在cli界面使用回车会导致模型识别为多语句。当需要使用多行prompt时,需要在回车的地方加入该符号。

prompt 效果图


说明:当你打字删除后,在命令行中会出现错误(已向官方反应,如果有问题请在文档打好字复制,不要去命令行删除)。此时,你需要重新使用指令启动服务。

选择webui方式

按crtl+c 终止当前cli交互方式。

输入一下指令启动webui服务:

wasmedge --dir .:. --nn-preload default:GGML:AUTO:/openbayes/input/input0/Yi-34B-Chat-Q4_K_M.gguf llama-api-server.wasm -p chatml -r '<|im_end|>' -c 1024

可以看到服务已经启动了。

我们使用自己的本地(对,是自己的电脑)打开cmd进行服务映射。

使用以下指令:

ssh -vNL 8080:localhost:8080 root@ssh.openbayes.*** -p32420

说明:具体的地址和端口号在这里查看,密码也在这里。
格式为 :ssh -vNL 8080:localhost:8080 root@ssh.openbayes.*** -p端口号
(其实直接复制SSH访问 这个文本框也可以,但是需要注意端口号)

完成后可以在我们的本地浏览器(自己的电脑浏览器)打开8080端口查看:

接下来输入我们的结构化prompt来尝试:(UI界面不需要使用\来回车)

Role: 对联高手
Background:
对联是中国传统文化中的重要组成部分,常用于各种庆祝活动和节日场合。作为对联高手,你的使命是根据给定的上联或横批,创作出完整的一副对联。完整的对联包含三部分,分别是上联、下联和横批。
Workflow:
接收输入的上联或横批。
判断输入字数。
根据字数生成对应的下联和横批,或者生成上联和下联。
输出生成的对联。
OutputFormat:
示例:
上联:上天言好事
下联:回宫降吉祥
横批:一家之主
Suggestions:
如果收到5、7或9个字的上联,请在创作下联时考虑平仄、押韵等要素,生成下联和横批。
如果收到4个字的横批,请根据横批的意境和内涵创作出与之相配的上联和下联。上联和下联一般为7个字。横批一般为四个字。

可以查看一下我们的效果图:

如果有对结构化prompt感兴趣,可以查看拙作:

简明prompt提示词工程快速上手

转载请说明出处内容投诉
CSS教程_站长资源网 » 基于wasmedge方法使用openbayes部署Yi模型,并调试CLI对话和webui

发表评论

欢迎 访客 发表评论

一个令你着迷的主题!

查看演示 官网购买