Qwen3-VL 量化失败

[l00jj]

MNN 版本号 3.5.0-62-g8637da94
整个流程就是

cd ~/MNN/transformers/llm/export
pip install -r requirements.txt
python llmexport.py --path ~/Qwen3-VL-4B-Instruct --export mnn --hqq --visual_quant_bit 8

我使用 https://www.modelscope.cn/models/Qwen/Qwen3-VL-4B-Instruct 这个版本的进行量化

量化的结果在这里
https://www.modelscope.cn/models/ghost7/Qwen3-VL-4B-Instruct-MNN_V-8bit/files

❓ 我在 MNNChat 上测试输入任何内容都得到无限的 FFFFFFFF...，所以我是哪一步有问题？

我如果希望语言部分能接近这个版本
https://www.modelscope.cn/models/MNN/Qwen3-VL-4B-Instruct-MNN/files
❓ 但视觉部分至少 8bit 或者 fp16，参数应该怎么设置？

❓ 另外如果我想用GPU Vulkan 推理或者NPU推理，是不是需要量化的时候选特别的参数？

[wangzhaode]

最新的代码转换的模型不能在旧引擎运行了，最近一次修改把默认的量化scale从fp32改成fp16了

[etrangerlx]

转成的MNN在PC上能跑出正确结果么

[wangzhaode]

刚刚合并了一个bugfix: #4502 请拉最新的代码再测试一下试试看

[l00jj]

@wangzhaode

模型用的还是原版的 https://www.modelscope.cn/models/Qwen/Qwen3-VL-4B-Instruct 进行量化
量化参数如下

cd ~/MNN/transformers/llm/export
pip install -r requirements.txt
python llmexport.py --path ~/Qwen3-VL-4B-Instruct --export mnn --hqq --visual_quant_bit 8

量化后的结果
https://www.modelscope.cn/models/ghost7/Qwen3-VL-4B-Instruct-MNN_V-8bit/files

⚠️ 我量化出来的模型使用提示缺少 llm_demo 会提示 /tokenizer.txt，所以我就把原版的 /tokenizer.txt 放入量化后的模型文件夹内
❓ 上面缺少 /tokenizer.txt 这个是我的问题还是 Bug ？里面只有一个 tokenizer.mtok 没有 txt

推理测试使用仓库的版本是 3.5.0-73-g53efb8a1

---

环境是 P30Pro Termux Proot-Ubuntu 25，使用 CPU 编译和推理

(venv) root@localhost:~/MNN/build# ./llm_demo ~/Qwen3-VL-4B-Instruct-MNN_V-8bit/llm.mnn
config path is /root/Qwen3-VL-4B-Instruct-MNN_V-8bit/llm.mnn
CPU Group: [ 0  1  2  3 ], 830000 - 1805000
CPU Group: [ 4  5 ], 826000 - 1920000
CPU Group: [ 6  7 ], 1460000 - 2600000
The device supports: i8sdot:1, fp16:1, i8mm: 0, sve2: 0, sme2: 0
main, 276, cost time: 7874.064941 ms
Prepare for tuning opt Begin
Prepare for tuning opt End
main, 284, cost time: 737.036987 ms

User: hello

A: 战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战 斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗战斗^C

---

安卓原生的库我不会使用使用
使用 linux x64 编译的版本 3.5.0-76-g2f679dc5
编译过程

# NDK 版本 https://dl.google.com/android/repository/android-ndk-r26d-linux.zip
# 设置环境
export ANDROID_NDK=~/android-ndk-r26d
cd ~/MNN/project/android
# 编译产物地址
rm -rf build_64 && mkdir build_64 && cd build_64
# 编译armv8动态库
../build_64.sh

产物如下
https://www.modelscope.cn/models/ghost7/mnn_android_so_zip/files

应该怎么通过 adb shell 使用？

[wangzhaode]

3.5.0-73-g53efb8a1

这个版本是什么意思？请发一下具体的commit是哪个

[wangzhaode]

./llm_demo ~/Qwen3-VL-4B-Instruct-MNN_V-8bit/llm.mnn

这个用法不对，输入需要给config.json 而不是 llm.mnn 正常应该写：./llm_demo ~/Qwen3-VL-4B-Instruct-MNN_V-8bit/config.json

但是我下载了你转换的模型测试确实输出乱码：

(base) ➜  build git:(master) ✗ ./llm_demo ./Qwen3-VL-4B-Instruct-MNN_V-8bit/config.json prompt.txt 
config path is ./Qwen3-VL-4B-Instruct-MNN_V-8bit/config.json
CPU Group: [ 8  10  20  12  22  0  14  2 ], 1200000 - 4300000
CPU Group: [ 16  15  3  19  7  6  18  4 ], 1200000 - 4400000
CPU Group: [ 5  17  1  13 ], 1200000 - 4500000
CPU Group: [ 11  9  23  21 ], 1200000 - 4800000
The device supports: i8sdot:0, fp16:0, i8mm: 0, sve2: 0, sme2: 0
main, 276, cost time: 10637.731445 ms
Prepare for tuning opt Begin
Prepare for tuning opt End
main, 284, cost time: 558.018982 ms
prompt file is prompt.txt
''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''
#################################
prompt tokens num = 77
decode tokens num = 512
 vision time = 0.92 s
 pixels_mp = 0.07 MP
  audio process time = 0.00 s
  audio input time = 0.00 s
prefill time = 1.93 s
 decode time = 39.04 s
 sample time = 0.13 s
prefill speed = 39.80 tok/s
 decode speed = 13.12 tok/s
 vision speed = 0.072 MP/s
 audio RTF = -nan 
##################################

我在 master commit id 34d776a675bffa3c5521832492de372a6e3b0fb7 测试如下：

(base) ➜  export git:(master) ✗ python llmexport.py --path ~/data/models/Qwen3-VL-4B-Instruct --export mnn --hqq --visual_quant_bit 8
Skipping import of cpp extensions due to incompatible torch version. Please upgrade to torch >= 2.11.0 (found 2.8.0+cu128).
Loading weights: 100%|██████████████████████████████████████████████████████████████████████| 713/713 [00:00<00:00, 5323.30it/s]
✅ Done load pretrained model /home/yanxing/data/models/Qwen3-VL-4B-Instruct[ 1.89 s]
✅ Done export visual to ./model/onnx/visual.onnx                       [10.10 s]
✅ Done convert onnx model to ./model/visual.mnn                        [66.00 s]
✅ Done export onnx model to ./model/onnx/llm.onnx                      [ 2.61 s]
✅ Done convert onnx model to ./model/llm.mnn                           [ 1.29 s]
Load LayerNorm data: 100%|██████████████████████████████████████████████████████████████| 3441/3441 [00:00<00:00, 235039.49it/s]
Quant weights: 100%|███████████████████████████████████████████████████████████████████████| 3441/3441 [00:14<00:00, 237.94it/s]
✅ Done quant model weight to ./model/llm.mnn.weight                    [16.41 s]
✅ Done export tokenizer to ./model/tokenizer.mtok                      [ 0.58 s]
✅ Done export config to ./model/llm_config.json                        [ 0.00 s]
(base) ➜  export git:(master) ✗ cd ../../../build
(base) ➜  build git:(master) ✗ ./llm_demo ../transformers/llm/export/model/config.json            
config path is ../transformers/llm/export/model/config.json
CPU Group: [ 8  10  20  12  22  0  14  2 ], 1200000 - 4300000
CPU Group: [ 16  15  3  19  7  6  18  4 ], 1200000 - 4400000
CPU Group: [ 5  17  1  13 ], 1200000 - 4500000
CPU Group: [ 11  9  23  21 ], 1200000 - 4800000
The device supports: i8sdot:0, fp16:0, i8mm: 0, sve2: 0, sme2: 0
main, 276, cost time: 10923.470703 ms
Prepare for tuning opt Begin
Prepare for tuning opt End
main, 284, cost time: 570.161011 ms

User: hello

A: Hello! How can I assist you today? 😊

User: 

[l00jj]

@wangzhaode

加载库

定位到 master commit 34d776a

cd ~/MNN
git switch --detach 34d776a675bffa3c5521832492de372a6e3b0fb7
git rev-parse HEAD

编译

rm -rf build && mkdir build && cd build
cmake ../ -DMNN_BUILD_LLM=true
make -j$(nproc)

量化

cd ~
modelscope download --model 'Qwen/Qwen3-VL-4B-Instruct' --local_dir 'Qwen3-VL-4B-Instruct'

cd ~/MNN/transformers/llm/export
pip install -r requirements.txt
python llmexport.py --path ~/Qwen3-VL-4B-Instruct --export mnn --hqq --visual_quant_bit 8

Loading weights: 100%|█| 713/713 [00:01<00:00, 373.85it/s, Materializing param=model.visua
✅  Done load pretrained model /root/Qwen3-VL-4B-Instruct                [
✅  Done export visual to ./model/onnx/visual.onnx                       [
✅  Done convert onnx model to ./model/visual.mnn                        [
✅  Done export onnx model to ./model/onnx/llm.onnx                      [
✅  Done convert onnx model to ./model/llm.mnn                           [
Load LayerNorm data: 100%|████████████████████████| 3441/3441 [00:00<00:00, 114491.74it/s]
Quant weights: 100%|██████████████████████████████████| 3441/3441 [15:32<00:00,  3.69it/s]
✅  Done quant model weight to ./model/llm.mnn.weight                    [
✅  Done export tokenizer to ./model/tokenizer.mtok                      [
✅  Done export config to ./model/llm_config.json                        [
MNNModel ./model/llm.mnn has convert to JsonFile ./model/llm.mnn.json.

cd ~/MNN/build

~/MNN/build# ./llm_demo ../transformers/llm/export/model/config.json 
config path is ../transformers/llm/export/model/config.json
The device supports: i8sdot:0, fp16:0, i8mm: 0, sve2: 0, sme2: 0
main, 276, cost time: 23532.392578 ms
Prepare for tuning opt Begin
Prepare for tuning opt End
main, 284, cost time: 3026.253906 ms

User: hello

A: ''''''''''''''''''''''^C

无解┓( ´∀` )┏

[wangzhaode]

在执行模型导出前先编译一下MNN

编译的时候要打开MNN_BUILD_CONVERTER宏

[wangzhaode]

在导出模型前在本地编译一下模型转换器试试 先在build目录执行 cmake -DMNN_BUILD_CONVERTER=ON .. && make -j8 然后重新导出；最近版本升级比较多，pip install MNN 里的convert还没更新

@l00jj

[l00jj]

@wangzhaode

终于成功了，环境是 x64 上面的完成的
master commit id 34d776a

# 编译参数
cmake ../ \
    -DMNN_BUILD_LLM=ON \
    -DMNN_BUILD_CONVERTER=ON

~# cd ~/MNN/build

./llm_demo ~/Qwen3-VL-4B-Instruct-MNN/config.json
config path is /root/Qwen3-VL-4B-Instruct-MNN/config.json
The device supports: i8sdot:0, fp16:0, i8mm: 0, sve2: 0, sme2: 0
main, 276, cost time: 27663.699219 ms
Prepare for tuning opt Begin
Prepare for tuning opt End
main, 284, cost time: 3064.361084 ms

User: hello

A: Hello! How can I assist you today? 😊

User: ^C

我再验证一下其他的平台和多模态问题

[wangzhaode]

ok 确实是个问题 最近版本更新有点大 还没有发布新版本 我修改一下docs 说明一下

[l00jj]

@wangzhaode

P30Pro 上可以实现 CPU 对纯文字的推理
版本最新的 commit
模型用 https://www.modelscope.cn/models/ghost7/Qwen3-VL-4B-Instruct-MNN/files

但我测试图片解析它提示无法获取
测试用例
https://raw.githubusercontent.com/l00jj/mnn/refs/heads/main/test_qwen3vl_1/prompt.txt

(venv) root@localhost:~/MNN/build# ./llm_demo ~/Qwen3-VL-4B-Instruct-MNN/config.json ~/mnn/test_qwen3vl_1/prompt.txt
config path is /root/Qwen3-VL-4B-Instruct-MNN/config.json

您好！不过目前我无法直接查看或分析图片，因为我的功能是基于文字输入进行理解和回答。如果您能提供图片中 UI 界面的文字内容、功能描述或相关问题，我会尽力为您提供帮助。

例如，您可以告诉我：

目前使用 chatMNN 因为版本问题也无法使用新量化的模型输出 !!!!!!!