megemini
- 进阶任务序号：#15
- 赛题名称：基于天数智芯硬件与文心多模态模型的创新应用
- 关联厂商：天数
-
RFC 文档
- 已经完成 RFC 文档
- AI Studio 地址：https://aistudio.baidu.com/project/edit/10221576
-
代码实现
- 已经完成 AI Studio 项目的 notebook
- 已经创建了双卡的天数环境
- 已完成 cli 的脚本，
drug_ocr_cli.py针对最新实现的脚本，有两处大的改进：- 增加了 patch aistudio sdk 的函数，原因是，paddlespeech 与 fastdeploy 对于 aistudio sdk 使用的版本不一样，因此，需要先利用脚本修改源码，将其统一
- 增加了针对 tts 合成的音频文件进行音量修改的函数，原因是，天数的框架开发环境的音频编码库好像与 paddlespeech 有点兼容问题，导致合成的音频会出现截止的情况，因此，与 paddlespeech 的研发讨论后，决定增加这个后处理的函数。
- 已发布 AI Studio notebook 项目：https://aistudio.baidu.com/projectdetail/10413884
注意：因为后面提到的 AI Studio 环境问题，此 notebook 的 ERNIE-4.5-0.3B-Paddle 输出混乱，因此，此 notebook 仅作为参考，可在本地最新的天数环境运行调试。
- 已经在天数双卡环境中验证了
tensor_parallel_size为2时，可以加载与使用ERNIE-4.5-VL-28B-A3B-Thinking模型，单卡占用显存约20G，共计40G显存的占用。
-
README
- 可以参考 AI Studio 项目的 notebook
-
演示视频/截图
-
问题与解决
- 问题：天数的框架开发环境极度不稳定，导致没有办法持续的验证优化后的脚本。
天数的框架开发环境好像是共享的模式，所谓的启动、关闭，只是用于控制用户是否可以 ssh 远程连接到服务器。这就导致了，经常出现：
- 突然被断开连接，踢出了环境
- 新连接的环境，显存已经被占用满了
- 运行过程中提示硬盘没有空间了，实际上 aistudio 的工作目录只有 76G 的文件（包括模型文件等）
- 运行过程中提示识别不到模型，实际上模型没有问题，可能再运行一次就好了
- 运行过程中加载模型很慢，有的时候要将近10分钟才能加载完
ERNIE-4.5-VL-28B-A3B-Thinking - 加载完模型后，输出 token 到一半就卡住了，再运行一次可能又会在其他地方卡住
- ixsmi 命令有时候不能反应当前环境的显存使用情况，比如，模型都加载完了，还显示只有 64MB 的显存占用
以上只是这两周遇到的部分环境问题，导致，从上周开始调试到现在，只有
2次能够完整的运行完脚本，其他时间都是不断的被各种情况打断。目前的状态是：脚本应该没有什么问题，但是，还需要再至少完整的运行完一次，从而抓取完整的日志。
周报目录中的
drug_ernie03.log是使用ERNIE-4.5-0.3B-Paddle完整运行后的日志，ERNIE-4.5-VL-28B-A3B-Thinking也完整运行过一次，不过，当时并没有注意到这个模型会先输出 thinking 部分，导致最终输出的 token 不够，因此，最新的drug_ocr_cli.py脚本已经进行了修改，但是，到目前为止，整整一周多的时间都没有再完整的运行过一次。
- 调试双卡环境
- AI Studio 环境极度不稳定
| 交付物 | 状态 | 备注 |
|---|---|---|
| RFC 文档 | ✅ 已完成 | - |
| 代码实现 | ✅ 已完成 | |
| README | ✅ 已完成 | - |
| 演示视频/截图 | ✅ 已完成 | - |