The inference results appear to be a repetition of several words

[SZlulingyi]

i am using the model“pentagoniac/SEMIKONG-8b-GPTQ” and using "python -m vllm.entrypoints.api_server --model /public/home/lulingyi/repo/semikong/model/SEMIKONG-8b-GPTQ --device cuda --max-lora-rank 32 --dtype float16 --port 8080".
When I’m making inferences, the responses seem to be repetitive, consisting of the same few words or numbers. How can I address this issue?

[mfq2003]

hello, where did you get the file:pentagoniac/SEMIKONG-8b-GPTQ?
I even did not find it!
can you help me, please?

[mfq2003]

Hello, I have successfully deployed 8B model, have you deployed 70B model?

[mfq2003]

您好，我已经成功部署了 8B 模型，您部署过 70B 模型吗？

大概需要怎么样的GPU环境呢

[mfq2003]

我在使用8B模型时，并未出现您所说的情况，请问是否是您max——length出现了问题呢

[K-learning-C]

我在使用8B模型时，并未出现您所说的情况，请问是否是您max——length出现了问题呢

请问您是怎么部署成功8B模型的？我试了作者提供的pip方法，但是一直在requirements的flash_attn这一步出错。screenshot attached below.

[mfq2003]

我在使用8B模型时，并未出现您所说的情况，请问是否是您max——length出现了问题呢

请问您是怎么部署成功8B模型的？我试了作者提供的pip方法，但是一直在requirements的flash_attn这一步出错。屏幕截图附在下面。

cuda版本过低或者pip版本过低

[mfq2003]

我在使用8B模型时，并未出现您所说的情况，请问是否是您max——length出现了问题呢

请问您是怎么部署成功8B模型的？我试了作者提供的pip方法，但是一直在requirements的flash_attn这一步出错。屏幕截图附在下面。

作者的re.txt我也是一直下载不成功，我用的是hugging face的接口，你去hungging face找到这个模型就知道了

[K-learning-C]

@mfq2003 我从hugging face下载，能部署成功 谢谢

[AIHE9211]

你好，我已经成功部署了8B模式，你部署过70B模式吗？

你好，我这里部署时遇到了环境不兼容的问题，想问一下你部署时的transformers，huggingface-hub都是什么版本？

[mfq2003]

去搜一下semikong的modelfile文件就行，或者semikong是基于哪个模型微调的，找找基础模型的modelfile，或者你问问ai，让他给你写一个即可

[mfq2003]

我使用的是“pentagoniac/SEMIKONG-8b-GPTQ”，并使用“Python -M vllm.entrypoints.api_server --model /public/home/lulingyi/repo/semikong/model/SEMIKONG-8b-GPTQ --device cuda --max-lora-rank 32 --dtype float16 ---port 8080”。当我做推断时，回答似乎很重复，都是同样的几个词或数字。我该如何解决这个问题？
去搜一下semikong的modelfile文件就行，或者semikong是基于哪个模型微调的，找找基础模型的modelfile，或者你问问ai，让他给你写一个即可