xiaoxiaodeng14
- 进阶任务序号:#15
- 赛题名称:基于天数智芯硬件与文心多模态模型的创新应用
- 关联厂商:天数智芯
-
环境搭建
- 完成开发环境配置:paddleocr、文心大模型、embedding模型、向量库等环境搭建
-
模型调研
- 下载相关模型
- 完成文心多模态模型接口调试
- 完成paddleocr模型接口的测试
- 完成embedding模型接口的测试
- 测试向量库的添加和查询
-
问题与解决
- 问题:ERNIE-4.5-VL-28B-A3B-Thinking 在32GB的显存中部署失败
- 解决:已转为使用ERNIE-4.5-0.3B-Paddle作为问答大模型
- 问题:paddleocr和embedding模型的依赖库版本冲突
- 解决:分别单独创建依赖环境完成调试
- 编写各模块的组合工作,进行模块级联调
- 跑通 demo 示例
- 由于算力资源较少,每天的额度只有几个小时,调试进展较慢。
| 交付物 | 状态 | 备注 |
|---|---|---|
| RFC 文档 | ✅ 已完成 | - |
| 代码实现 | 🔄进行中 | - |
| README | 🔄进行中 | - |
| 演示视频/截图 | ⬜未开始 | - |