[AIStudio] Inference Request Stalls After Enabling logprobs

[megemini]

AIStudio 中无法正确使用 logprobs，根据 https://paddlepaddle.github.io/FastDeploy/best_practices/FAQ/#4-inference-request-stalls-after-enabling-logprobs 的说法，需要修改系统参数，但是 AIStudio 没有权限 ～

1. 文档中说 FD 未来会使用其他方式解决此问题，下个版本会有吗？
2. AIStudio 是否可以将镜像默认就修改好这些参数？（这个问题似乎跟 FD 关系不大，希望能内部沟通一下？）

感谢！

[Jiang-Jia-Jun]

如果需要返回logprob，需要增加--enable-logprob参数。 已联系AIStudio同学确认中，会在此issue中反馈结论

[megemini]

如果需要返回logprob，需要增加--enable-logprob参数。 已联系AIStudio同学确认中，会在此issue中反馈结论

我使用的命令是：

python -m fastdeploy.entrypoints.openai.api_server \
    --model /home/aistudio/paddleocr_vl_15 \
    --port 8185 \
    --metrics-port 8186 \
    --engine-worker-queue-port 8187 \
    --max-model-len 16384 \
    --max-num-batched-tokens 16384 \
    --gpu-memory-utilization 0.8 \
    --max-num-seqs 256 \
    --enable-logprob \
    --max-logprobs 5 \
    --logprobs-mode "raw_logprobs"

现象是，服务启动正常，但是客户端请求后，服务端就没响应了。应该是 https://paddlepaddle.github.io/FastDeploy/best_practices/FAQ/#4-inference-request-stalls-after-enabling-logprobs 这里的原因。

[Jiang-Jia-Jun]

@megemini Hi，你说的是对的，目前由于AIStudio环境的消息队列配置，所以会导致这里的问题。这个问题已经反馈给AIStudio平台，预计3月中解决上线