Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

Add Default Options Value Override in Panel #1753

Open
5 tasks done
MotorBottle opened this issue Aug 20, 2024 · 16 comments · May be fixed by #1859
Open
5 tasks done

Add Default Options Value Override in Panel #1753

MotorBottle opened this issue Aug 20, 2024 · 16 comments · May be fixed by #1859
Labels
enhancement New feature or request

Comments

@MotorBottle
Copy link
Contributor

MotorBottle commented Aug 20, 2024 •
edited
Loading

例行检查

  • 我已确认目前没有类似 issue
  • 我已确认我已升级到最新版本
  • 我已完整查看过项目 README，已确定现有版本无法满足需求
  • 我理解并愿意跟进此 issue，协助测试和提供反馈
  • 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

功能描述
在渠道设置中添加一个为特定模型覆写默认参数（override）的功能。这样就可以对对应的参数默认值进行修改，而不需要请求端主动添加这个参数。而如果用户发起请求时带上了这个参数，则无视这里的设定。这样可以增加relay的灵活性，类似下图（参照的模型重定向的输入逻辑）。
image

应用场景

  • 注意到发起API请求的用户端不一定了解一些option参数的意义或者不会去更改默认值，但默认值有时候并不是最理想的值。
  • 一些API接口每次请求都必须带上某一特定参数，比较麻烦。
  • 此外有一些API的参数例如baichuan的websearch字段或者Ollama的num_ctx参数并非通用的option参数，通常无法由终端请求设定（例如chatgpt-next-web就无法传送额外的参数），那么如果要修改一些参数的默认值，就需要在渠道设置中添加一个为特定模型覆写默认参数（override）的功能。这样就可以对对应的参数默认值进行修改。
@MotorBottle MotorBottle added the enhancement New feature or request label Aug 20, 2024
@SDAIer
Copy link

SDAIer commented Sep 26, 2024

ollama的num-ctx的确需要能够更改，默认比较小导致无法处理长文本。可是通过oneapi调用怎么更改这个默认值

@MotorBottle
Copy link
Contributor Author

ollama的num-ctx的确需要能够更改，默认比较小导致无法处理长文本。可是通过oneapi调用怎么更改这个默认值

这个直接传num_ctx参数就可以了，用0.6.9alpha版本，我加了这个参数进去

@MotorBottle
Copy link
Contributor Author

docker-compose.yml里image那里制定一下版本，然后怎么传这个参数你得看fastgpt的文档

@SDAIer
Copy link

SDAIer commented Sep 26, 2024

你上面提到的
"在渠道设置中添加一个为特定模型覆写默认参数（override）的功能。这样就可以对对应的参数默认值进行修改，而不需要请求端主动添加这个参数。而如果用户发起请求时带上了这个参数，则无视这里的设定。这样可以增加relay的灵活性，类似下图（参照的模型重定向的输入逻辑）。"

这个还没好吗?

@SDAIer
Copy link

SDAIer commented Sep 27, 2024

这个不能在oneapi中开放这个参数直接更改吗

@MotorBottle
Copy link
Contributor Author

这个不能在oneapi中开放这个参数直接更改吗

你自己pull下来改了再编译就行

@MotorBottle
Copy link
Contributor Author

对比一下添加num_ctx前后，处理请求时ollama服务运行的机器ollama ps指令打印的模型显存占用有没有变化

@MotorBottle
Copy link
Contributor Author

用ollama渠道，自定义可能需要你自己修改代码

@SDAIer
Copy link

SDAIer commented Sep 30, 2024

麻烦看下阿里的enable_search参数
#1857

@MotorBottle
Copy link
Contributor Author

麻烦看下阿里的enable_search参数

#1857

和这个issue有什么关系呢？

@SDAIer
Copy link

SDAIer commented Sep 30, 2024 via email

@MotorBottle
Copy link
Contributor Author

嗯，那也适合默认为开启，需求确实是广泛存在的

@MotorBottle MotorBottle linked a pull request Oct 1, 2024 that will close this issue
Open
@SDAIer
Copy link

SDAIer commented Oct 16, 2024

你好， 0.6.9-alpha，可以解决num_ctx,但是存在其他问题，例如模型重定向失败、部分模型也失败。#1880

请问还有哪个稳定的版本可以支持num_ctx参数

@finylink
Copy link

请问这个问题解决了吗？怎么添加额外参数？

@SDAIer
Copy link

SDAIer commented Oct 31, 2024 via email

@finylink
Copy link

config.json中增加 
…
---Original--- From: @.> Date: Thu, Oct 31, 2024 09:51 AM To: @.>; Cc: @.@.>; Subject: Re: [songquanpeng/one-api] Add Default Options Value Override inPanel (Issue #1753) 请问这个问题解决了吗？怎么添加额外参数？ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

请问怎么加？

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
enhancement New feature or request
Projects
None yet
Milestone
No milestone
Development

Successfully merging a pull request may close this issue.

Add Default Options Value Override Feature MotorBottle/one-api
3 participants
@MotorBottle @finylink @SDAIer