Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

推理功能是否用到ReST-MCTS? #8

Closed
RyanOvO opened this issue Dec 26, 2024 · 4 comments
Closed

推理功能是否用到ReST-MCTS? #8

RyanOvO opened this issue Dec 26, 2024 · 4 comments
Assignees

Comments

@RyanOvO
Copy link

RyanOvO commented Dec 26, 2024

推理和反思功能是否用到了ReST-MCTS呢?或是其它的实现有用到ReST-MCTS呢?

@zRzRzRzRzRzRzR
Copy link
Member

单次推理中没有进行反思,而是根据用户的输入(或者用脚本实现输入)后作出下一步规划

@RyanOvO
Copy link
Author

RyanOvO commented Dec 27, 2024

单次推理中没有进行反思,而是根据用户的输入(或者用脚本实现输入)后作出下一步规划

好的,感谢解答,有两个问题:

  1. 涉及到反思的部分是否用到ReST-MCTS呢?
  2. 规划的作出是基于COT?

@wenyihong
Copy link
Contributor

  1. 目前的模型版本还没有基于反思进行训练和推理,同时我们也关注到LLM乃至GUI Agent上使用反思都得到了不错的提升。
  2. 关于反思和ReST-MCTS,在GUI Agent领域的一大问题是,受限于数据采集的难度和当前模型的性能,难以构建良好的数据和Reward。与此同时,这一版CogAgent的GUI Agent能力有明显的提升,我们认为是一个良好的基座模型,可以基于此进行相关算法的研发、数据构造。

@RyanOvO
Copy link
Author

RyanOvO commented Dec 28, 2024

  1. 目前的模型版本还没有基于反思进行训练和推理,同时我们也关注到LLM乃至GUI Agent上使用反思都得到了不错的提升。
  2. 关于反思和ReST-MCTS,在GUI Agent领域的一大问题是,受限于数据采集的难度和当前模型的性能,难以构建良好的数据和Reward。与此同时,这一版CogAgent的GUI Agent能力有明显的提升,我们认为是一个良好的基座模型,可以基于此进行相关算法的研发、数据构造。

好的,感谢解答。

@RyanOvO RyanOvO closed this as completed Dec 28, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants