Skip to content

lingxiaobc/deepseek_capability_assessment

Repository files navigation

📊 DeepSeek 高中物理识图解题能力评测

一项「AI 教育产品落地」导向的大模型能力边界评测

用一套真实高考模拟卷,测出大模型在学科解题中「能用 / 不能用 / 怎么用」的分界线,并给出可落地的产品保护方案。

DeepSeek 试卷 能力标签 v0.1

🎯 这个项目做了什么(30 秒读懂)

我用一套真实高中物理试卷,对 DeepSeek 识图模式 做了受控评测:每题独立对话、统一提示词、以官方答案 + 人工逐题复核判分。

核心交付不是「DeepSeek 行不行」,而是一张清晰的能力边界地图——它在哪些题型稳定可靠,在哪些场景必须加保护、甚至不能直接用,以及教育产品该怎么设计。

🔍 发现问题
定位图像理解、实验读数、长链计算三大短板
🏷️ 归因分类
归纳出 7 类典型失败模式及其产品影响
💡 设计方案
给出题型识别、图像结构化、分步校验等 6 项机制

📈 一图看懂结论

≈12/18
粗粒度正确率(约 67%)
✅ 强项区
基础概念 · 常规选择题
标准物理模型
⚠️ 风险区
图像理解 · 实验读数
复杂计算 · 长链推导
🧩 7 类
典型失败模式
逐一归因到产品影响
📅 按题型细分表现(点开查看)
题型 题号范围 粗粒度表现 初步结论
单选题 1–10 8/10 正确 基础概念、常规模型表现好;图像轨迹、空间位置识别不稳定
多选题 11–13 3/3 正确 最终答案较好,但部分依赖题型先验或多重假设
实验题 14-1 至 14-3 1 全对 / 2 部分错 器材位置、仪器读数、曲线理解存在明显风险
计算题 15–18 多数未完全正确 图像依赖越高、建模链条越长,越易条件误读或推导偏移

⭐ 核心交付:能力边界地图

这是本报告最重要的产出。把大模型从「能不能用」的模糊判断,拆成 适合 / 谨慎 / 不建议 三档,产品即可按图施工。

✅ 适合直接使用 —— 概念清晰、模型明确、表述标准
✅ 高中物理基础概念解释
✅ 常规选择题解析与思路讲解
✅ 学生错题后的思路提示与复盘
✅ 教师备课初版讲解生成
✅ 按知识点生成复习材料
✅ 对学生答案做初步错因分类
✅ 为教师提供教学建议草稿
💡 定位:教师助手 + 学生学习辅助工具,提升讲解与反馈效率。
⚠️ 需谨慎使用 —— 不建议让模型直接给最终结果
⚠️ 图像条件复杂的物理题
⚠️ 需要精确仪器读数的实验题
⚠️ 教材黑白线图依赖度高的题目
⚠️ 复杂几何关系建模
⚠️ 多小问连续推导的大题
⚠️ 需要精确数值计算的题目
⚠️ 用于自动判分的高风险场景
💡 定位:解题思路「草稿生成器」,必须叠加结构化校验与人工复核。
🚫 当前不建议直接替代教师 —— 高风险判分层
🚫 主观题最终评分
🚫 实验题精确判分
🚫 复杂计算题标准答案生成
🚫 学生答题卡全自动诊断
🚫 高考级别题目最终答案确认
💡 定位:仅作辅助,必须保留教师复核闭环。

🔍 典型失败案例:图像理解是最大短板

高中物理题里,图像不是附属信息,而是题目条件本身。图像一旦读错,后面推理再完整也建立在错误前提上。以下三个案例层层递进。

案例 1 | 第 4 题 · 原题图像
第4题原题
模型输出 · 轨迹形状理解错误
模型错误-轨迹
失败点:模型未识别出轨迹的非对称性,疑似当作标准对称抛物线,因而漏掉「存在空气阻力」这一关键条件。
影响:物理模型选择错误 → 全题判断偏差。证明模型对曲线形态 / 轨迹对称性 / 物理含义的理解不稳定。
案例 2 | 第 9 题 · 原题图像
第9题原题
模型输出 · 点位空间位置识别错误
模型错误-点位
失败点:D 点实际位于导体内部,模型未能识别点位所属区域。
影响:后续电场、电势相关选项整体偏离。证明模型对点位 / 区域 / 空间关系的视觉理解不稳定。
案例 3 | 第 15 题 · 原题图像
第15题原题
模型输出 · 凸液面 / 凹液面理解错误
模型错误-液面
失败点:试题图右侧边缘向下弯呈上凸,模型却将凸液面误解为凹液面,导致第一问判断错误。
影响:实验装置图中的细节形态识别是高风险环节,模型表现不稳定。

🧩 7 类典型失败模式

错误类型 典型表现 对产品的影响
🔁 图像轨迹误读 将非对称轨迹理解为标准抛物线 物理模型选择错误
📍 空间位置识别错误 点位、导体内外、接触关系判断错误 后续选项整体偏离
📏 仪器读数错误 螺旋测微器、图像刻度等读数不准 实验题判分风险高
🔗 关键信息绑定错误 将条件关联到错误对象 推理链条从中段开始偏移
🧠 常见题型先验干扰 依训练中常见题型补全题意 得到看似合理却错误的答案
➗ 长链推导错误累积 前几步正确,后续计算/建模偏离 大题稳定性不足
🌀 过度长推理 大量假设、反复否定、冗余分析 阅读成本高,污染后续判断

💡 从评测到方案:教育产品设计启示

把「单模型一次性回答」改造成「多环节可验证工作流」——这是本评测落地的价值。

1️⃣ 题型识别前置
解题前先判定单选/多选/实验/计算/图像题,不同题型进入不同校验流程,而非一套通用提示词。
2️⃣ 图像结构化解析
先输出图像结构(物体、位置、对称性、点位、读数、不确定项),再进入物理推理。
3️⃣ 模型与脚本协作
模型建物理模型与讲解,脚本负责精确计算、代数化简、数值与单位校验。
4️⃣ 分步校验机制
题意复述→条件提取→模型选择→公式→分步计算→单位/数量级检查→置信度标注,十步可审计。
5️⃣ 低置信度提示
图像无法明确识别、刻度不清、多模型并存、长链推导、多次自我修正时,主动提示「需人工复核」。
6️⃣ 多 Agent 交叉验证
解题 / 图像解析 / 模型检查 / 计算校验 / 教学解释 多角色协作,结果可验证。

👤 这个项目证明了我能做什么

🏫 真实教育场景理解
一线高中物理教学经验,熟悉学生在知识理解、图像分析、实验题、计算题中的真实卡点。
🔬 模型评测能力
能设计可控测试流程(独立对话、统一提示词、官方答案 + 人工复核),记录并判断模型表现。
🧩 失败案例归因能力
不止看「对错」,更关注错误根因:图像误读、条件绑定错、长链偏移、仪器读数错。
🎯 产品边界判断能力
能判断哪些场景可直接辅助、哪些必须加脚本校验 / 人工复核 / 产品保护机制。
📐 教育产品设计能力
能从模型能力边界反推产品方案:题型识别、图像结构化解析、分步校验、低置信度提示、多 Agent 复核、教师审核闭环。

📌 结论一句话

DeepSeek 具备进入高中物理学习辅助场景的潜力,但在正式用于试卷分析、答题卡批改或复杂题目自动判分前,必须补充图像结构化解析、分步校验、脚本计算、置信度提示和人工复核机制。大模型进入教育场景,合理定位是「教师与学生之间的智能辅助层」,而非直接替代教师。

🔬 测试方法与局限(透明度声明)
  • 测试平台:DeepSeek 网页端 · 识图模式
  • 测试材料:2026 年义乌适应性考试物理试卷(18 个题号条目)
  • 控制变量:每题新开独立对话窗口,避免上下文污染;所有题目使用同一提示词
  • 提示词:「现在你是学生,请你解答下面的题目,选择题和填空题请直接给出答案。答题给出作答步骤和过程。」
  • 不提前告知题型(单选 / 多选),要求模型自行判断
  • 评分依据:官方公布答案与评分细则,人工逐题复核

⚠️ 局限:仅基于一套试卷,样本量有限;未做多轮提示词优化,也未提供图像标注 / 题型提示 / 人工纠错。结论代表该测试条件下的初步观察,不应泛化为 DeepSeek 的全部能力。这正是后续 v0.2 迭代(多地区卷、多模型对比、错误标签体系)要补的部分。

📂 项目结构
deepseek高中物理识图模式解题能力测评报告/
├── README.md                     # 本文件(HR / 面试官快速入口)
├── DeepSeek 高中物理识图解题能力评测报告 v0.1.md   # 完整评测报告原文
├── deepseek典型错误展示.md        # 典型错误案例图文
├── 试题图片/                      # 原卷试题图像(1.png … 18.png)
├── 错误案例图片/                  # 模型错误输出截图
└── 2605义乌适应性考试答案.pdf     # 官方答案与评分细则

本报告为 v0.1。后续将扩展多套地区卷、做多模型对比、并落地「模型解题 + 脚本计算 + 教师复核」产品原型。

About

利用高中物理模拟题测评deepseek识图模式能力

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

No releases published

Packages

 
 
 

Contributors