Skip to content

V3.2.0版本,rerank接口调用无响应 #5484

Description

@ran411285752

System Info / 系統信息

cuda12.9

Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece?

  • docker / docker
  • pip install / 通过 pip install 安装
  • installation from source / 从源码安装

Version info / 版本信息

3.2.0

The command used to start Xinference / 用以启动 xinference 的命令

官方的dockercompose

Reproduction / 复现过程

xinference:3.2.0
rerank模型:bge-reranker-v2-m3

启动3.2.0,使用vllm推理部署,启动后,调用/v1/rerank接口无任何响应,一直处于请求中状态,回退到1.15.0版本,启动模型则能正常使用,在容器内部直接请求也无任何响应,截图如下

Image

Expected behavior / 期待表现

rerank模型接口能够正常使用

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    Type

    No type

    Projects

    No projects

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions