System Info / 系統信息
cuda12.9
Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece?
Version info / 版本信息
3.2.0
The command used to start Xinference / 用以启动 xinference 的命令
官方的dockercompose
Reproduction / 复现过程
xinference:3.2.0
rerank模型:bge-reranker-v2-m3
启动3.2.0,使用vllm推理部署,启动后,调用/v1/rerank接口无任何响应,一直处于请求中状态,回退到1.15.0版本,启动模型则能正常使用,在容器内部直接请求也无任何响应,截图如下
Expected behavior / 期待表现
rerank模型接口能够正常使用
System Info / 系統信息
cuda12.9
Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece?
Version info / 版本信息
3.2.0
The command used to start Xinference / 用以启动 xinference 的命令
官方的dockercompose
Reproduction / 复现过程
xinference:3.2.0
rerank模型:bge-reranker-v2-m3
启动3.2.0,使用vllm推理部署,启动后,调用/v1/rerank接口无任何响应,一直处于请求中状态,回退到1.15.0版本,启动模型则能正常使用,在容器内部直接请求也无任何响应,截图如下
Expected behavior / 期待表现
rerank模型接口能够正常使用