sakura-share是一个运行在cloudflare workers的sakura节点负载均衡器,注册节点数据存储在d1数据库,每一个发向它的请求会被导向到已注册且可用的节点,失效的节点会被自动清除。
https://sakura-share.1percentsync.games/
,可在任何调用sakura llm的地方使用,支持/completion /completions /v1/chat/completions。(即将迁移到sakura-share.one)https://sakura-share.one/
同上
- 从 cloudflared 下载cloudflared并安装
- 下载脚本:cloudflared.ps1。
- 在启动一键包后,等待模型加载后,启动该脚本,会自动注册节点,按回车下线。
- 从 Sakura_Launcher_GUI 下载 Sakura GUI 启动器(0.0.5以上版本)。
- 在GUI启动器中,
运行server
页面勾选启动后自动共享
,或启动后在共享
页面点击上线
,即可一键共享你的Sakura给网友使用。
目前仅限模型:
sakura-14b-qwen2beta-v0.9.2-iq4xs
sakura-14b-qwen2beta-v0.9.2-q4km
/register-node
—— 注册节点/verify-node
—— 验证节点是否存活/delete-node
—— 删除节点/health
--匹配sakura一键包版本llama.cpp的/health端点,访问可查看目前的槽位情况。
{
"url": "https://www.pocketpair.jp/"
}