请问评测GPT4o时，Prompt是什么呢？

[Chen-Song]

如题，请问评测GPT4o时，Prompt是什么呢？

[lutongyv]

评测GPT4o时，我们首先对pdf进行预处理，拆分为图像并对图像中矩形区域进行预标注；
对于拆分后的图像，组合上prompt，同时向GPT4o发起请求，因此prompt如下：

图片中用红色框和名称(%s)标注出了一些区域。
如果区域是表格或者图片，使用 的形式插入到输出内容中，否则直接输出文字内容。
使用markdown语法，将图片中识别到的文字转换为markdown格式输出。你必须做到：

1. 输出和使用识别到的图片的相同的语言，例如，识别到英语的字段，输出的内容必须是英语。
2. 不要解释和输出无关的文字，直接输出图片中的内容。例如，严禁输出 “以下是我根据图片内容生成的markdown文本：”这样的例子，而是应该直接输出markdown。
3. 内容不要包含在markdown中、段落公式使用 $$ $$ 的形式、行内公式使用 $ $ 的形式、忽略掉长直线、忽略掉页码。
   再次强调，不要解释和输出无关的文字，直接输出图片中的内容。

[Chen-Song]

感谢你的回复。请问“对图像中矩形区域进行预标注”这个步骤，可以解释得更详细一点吗？是把图像每一页用一个红色矩形框 框出来进行吗？还是需要把每一行都用红色矩形框 框出来呢？另外，"用红色框和名称(%s)"，这个名称是指什么呢？

期待你的回复。

[lutongyv]

“对图像中矩形区域进行预标注”，主要是对矩形图像（图像、表格、图表等）进行标注；
名称指的是矩形图像的名称，用来标识该矩形图像在pdf文件中所在的页数，用于后续使用 的形式插入到输出内容（markdown）

[Chen-Song]

请问可以分享一下，你们标注后的图像结果吗？

[Chen-Song]

我这边想评测一下，各个多模态大模型的效果

[lutongyv]

类似下图