[Bug] 引用 GIF 会污染会话历史并导致 Gemini 后续请求持续失败

[TenmaGabriel0721]

What happened / 发生了什么

在 AstrBot v4.26.6 中，引用一条包含动画 GIF 的消息并唤醒多模态模型后，GIF 会以 data:image/gif;base64,... 的形式进入并持久化到会话历史。

当实际模型只支持 JPEG/PNG/WebP、不支持 GIF（例如部分 Gemini OpenAI-compatible 网关）时，之后即使用户只发送纯文本，每次请求也会继续携带历史 GIF，并持续返回 convert_request_failed。

现场已经开启 provider_settings.sanitize_context_by_modalities=true，但清理器只判断模型是否支持 image 模态，不检查图片的具体 MIME。模型配置包含 image 后，GIF 会被原样保留。

相关代码路径：

• astrbot/core/astr_main_agent.py：引用链中的 Image 被加入 req.image_urls。
• astrbot/core/provider/modalities.py：只按 text/image/audio/tool_use 清理，不检查 image/gif。
• astrbot/core/utils/media_utils.py：当前实现和测试明确保留动画 GIF。
• astrbot/core/pipeline/process_stage/method/agent_sub_stages/internal.py：成功轮次会将包含 GIF 的 all_messages 保存进会话历史。
• astrbot/core/provider/sources/openai_source.py：图片降级重试只匹配非 VLM、审核失败、invalid_attachment 等，不匹配 convert_request_failed / mime type is not supported。

这似乎与 v4.26.2 的“保留图片格式”改动有关。v4.26.0 的 ensure_jpeg() 会把非 JPEG（包括 GIF）转为静态 JPEG；v4.26.2+ 则明确保留动画 GIF。

期望行为：

1. 在发送给 Provider 前，根据模型支持的图片 MIME 白名单处理图片；不支持 GIF 时可转为首帧 PNG/JPEG或替换为 [Image]。
2. 对已经保存到历史中的 data:image/gif 同样进行清理，避免会话持续损坏。
3. 遇到 mime type is not supported / convert_request_failed 时，可删除不支持的图片后自动重试一次。

Reproduce / 如何复现？

1. 使用 AstrBot v4.26.6，配置一个声明支持 image 的 Gemini/OpenAI-compatible 模型，但该接口实际不接受 image/gif。
2. 开启 provider_settings.sanitize_context_by_modalities。
3. 在 QQ 群中发送一个动画 GIF。QQ 消息中的文件名可以是 .jpg，真实文件内容为 GIF。
4. 引用这条 GIF 消息并 @/唤醒机器人。
5. 再发送一条普通纯文本消息。
6. 后续请求会携带历史中的 GIF，并持续报错。

用于复现的图片指纹：

GIF89a
240x240
126979 bytes
Base64 prefix: R0lGODlh8ADwAPcAAPxzxu+vcPWy...

AstrBot version, deployment method (e.g., Windows Docker Desktop deployment), provider used, and messaging platform used. / AstrBot 版本、部署方式（如 Windows Docker Desktop 部署）、使用的提供商、使用的消息平台适配器

• AstrBot: v4.26.6
• Deployment: Linux
• Provider: OpenAI-compatible Gemini (gemini-3.5-flash)
• Platform: QQ Official；原始 GIF 同时可由 aiocqhttp/QQ 消息产生
• sanitize_context_by_modalities: true
• Model modalities: text, image, audio, tool_use

OS

Linux

Logs / 报错日志

引用消息被识别为包含图片，并直接交给支持图片的主模型：

[Core] [DBUG] Skipping quote image captioning because the main provider supports image input.

GIF 被写入历史后，下一次纯文本请求报错：

[Core] [WARN] Chat Model gemini/gemini-3.5-flash request error:
Error code: 500 - {
  "error": {
    "message": "mime type is not supported by Gemini: 'image/gif', url: 'base64:data:image/gif;base64,R0lGODlh8ADwAPcAAPxzxu+vcPWy...', supported types are: [image/webp image/heif video/mp4 video/avi image/heic video/mpg video/mpegps video/flv audio/mp3 image/png image/jpg text/plain video/mpeg video/wmv application/pdf audio/mpeg video/mov audio/wav image/jpeg]",
    "type": "new_api_error",
    "code": "convert_request_failed"
  }
}

同一个 Base64 前缀会在后续请求中重复出现，直到会话历史被裁剪或清理。

Are you willing to submit a PR? / 你愿意提交 PR 吗？

• Yes!

Code of Conduct

• I have read and agree to abide by the project's Code of Conduct.

[dosubot]

Hi @TenmaGabriel0721! I'm Dosu and I'm helping the AstrBotTeam team.

确认了这个问题。通过代码验证，这是 v4.26.2 GIF 保留修复（commit c6b2c65）引入的一个兼容性缺口。

问题根因

三个层面的缺失共同导致了这个问题：

1. GIF 始终被保留，无条件不转换

ensure_jpeg() 在检测到动画帧后直接返回原始路径，不做任何格式转换 [1]：

image_is_animated = (
    getattr(opened_img, "is_animated", False)
    or getattr(opened_img, "n_frames", 1) > 1
)
if image_has_alpha or image_is_animated:
    return image_path  # 原样返回

2. 模态清理只检查泛化的 "image" 能力

sanitize_contexts_by_modalities() 只判断 provider 是否声明了 "image" 模态，不区分具体 MIME 类型 [2]：

supports_image = "image" in modalities

声明了 image 的 provider，其历史中所有图片（含 GIF）都会被原样保留 [3]。

3. 错误处理未覆盖 MIME 拒绝场景

openai_source.py 的图片降级重试只匹配三类错误：非 VLM 模型、内容审核失败、invalid_attachment [4]。convert_request_failed 和 mime type is not supported 不在检测范围内，不会触发图片移除重试。

目前没有 per-provider MIME 白名单

当前不存在任何 per-provider 的图片 MIME 类型配置。IMAGE_FORMAT_MIME_TYPES 是全局映射 [5]，所有 provider 共用，没有"此 provider 只接受 jpeg/png/webp"的声明机制。

与之前 Issue 的关系

这是 #9016 的后续——#9016 报告了 GIF 被强制转为 JPEG 的问题，c6b2c65b 修复后 GIF 得到了保留 [6]，但没有为不支持 GIF 的 provider 添加按需转换逻辑。

可能的修复方向

你提出的三个期望行为都是合理的，从实现角度：

1. per-provider MIME 白名单 + 按需转换：在 provider config 中增加 supported_image_mimes 字段，发送前若图片 MIME 不在白名单中则转为首帧 PNG/JPEG。
2. 历史清理：在 sanitize_contexts_by_modalities() 中增加 MIME 级别检查，对历史中的 data:image/gif 做同样的转换或替换为 [Image]。
3. 错误匹配扩展：在 _handle_api_error() 中增加对 convert_request_failed / mime type is not supported 的检测，触发移除不支持的图片后重试。

方案 3 的实现成本最低，可以作为止血方案；方案 1+2 是更彻底的解决方式。

To reply, just mention @dosu.

---

Share context across your team and agents. Try Dosu.